Strona główna » Badania usability

Audyt użyteczności – kiedy analiza ekspercka to strata czasu

16 sierpnia 2012 napisała Iga [ 5 odpowiedzi ] Drukuj wpis

Jest jeden produkt z wachlarza usług usability/ux, który wykonuję bardzo rzadko i zwykle z niechęcią. Jest to jednocześnie usługa, która cieszy się chyba największą popularnością wśród klientów rozpoczynających dopiero swą przygodę z usability. Jest to audyt ekspercki użyteczności.

Co to jest audyt użyteczności?

Zwany jest także analizą ekspercką, gdyż jest dokonywany przez eksperta użyteczności. Specjalista, wykorzystując swoją wiedzę i doświadczenie, odnajduje i opisuje problemy danego produktu lub ogólnie ocenia jego użyteczność. W tym celu korzysta z jednej lub kilku metod:

  • analiza heurystyczna (heuristic evaluation) – to weryfikacja interfejsu pod kątem heurystyk, czyli ogólnych zasad, wskazówek, drogowskazów dla użyteczności aplikacji. Najpopularniejszymi heurystykami są z całą pewnością te opracowane przez Nielsena i Molicha (10 heurystyk użyteczności), ale mamy też 8 złotych zasad Shneidermana, 30 zasad użyteczności Connella czy reguły poznawcze Gerhardt-Powals. Problem z heurystykami jest taki, że są to tylko ogólne zasady, więc analiza wymaga dużego doświadczenia i dobrego wyczucia badacza, aby wnioski audytu były jak najbardziej trafne.Analiza heurystyczna - (c) WitFlow
  • wędrówka poznawcza (cognitive walkthrough) – w której audytor wciela się w rolę odbiorcy i testuje system realizując typowe zadania użytkownika. Korzyścią tej metody jest możliwość sprawdzenia użyteczności nie tylko poszczególnych ekranów, ale też całych procesów.Wędrówka poznawcza - (c) WitFlow
  • lista kontrolna (usability checklist) – czyli długa lista cech i warunków, jakie powinien spełniać serwis czy aplikacja. Zestaw zasad może być opracowany samodzielnie przez agencję, lub bazować na ogólnie dostępnych źródłach, np. 247 zasadach webusability wg UserFocus. Zwykle są one bardziej konkretne, niż heurystyki (np. logo powinno linkować do strony głównej), co jest zarówno zaletą, jak i wadą. Zaletą, bo analizę w oparciu o listę kontrolną może przeprowadzić prawie każdy, nawet osoba nie będąca doświadczonym ekspertem użyteczności. Jest też bardziej obiektywna, gdyż łatwiej jest jednoznacznie określić, czy dany warunek jest spełniony. Poważnym jednak ograniczeniem listy kontrolnej jest właśnie dosłowność i odgórność zasad. A przecież nie każda zasada będzie użyteczna w każdym kontekście (bo to zależy). Taka lista kontrolna nie jest też w stanie przewidzieć wszystkich możliwych problemów użyteczności.Lista kontrolna - (c) WitFlow

Dlaczego eksperckie audyty są słabą metodą testowania użyteczności?

Ekspert nie jest użytkownikiem

Ciężko mu będzie sprawdzić, czy projekt jest dopasowany do potrzeb grupy celu, szczególnie jeśli target charakteryzuje się wyjątkowymi cechami, umiejętnościami lub wiedzą. Najprawdopodobniej przeoczy więc problemy, które napotka pierwszy prawdziwy użytkownik. Nie odkryje błędnych założeń projektowych, problemów leżących w samej koncepcji systemu czy też komunikacji.

Ekspert się myli

Może się domyślać, że jakiś element interfejsu będzie sprawiał użytkownikom problem lub że założenie projektu nie będzie zrozumiałe dla grupy celu, jednak pewności mieć nie będzie. Taką pewność dają tylko badania z prawdziwymi użytkownikami. Trudniej też będzie mu określić ważność zagadnienia i odseparować własne przekonania od rzeczywistej skali problemu.

Ekspert jest nadgorliwy

Znanym problemem analiz eksperckich są fałszywe alarmy, czyli zgłoszenia problemów, które tak naprawdę nie są problematyczne i nie wpływają na interakcje użytkowników z systemem. Zdarza się,  że specjalista użyteczności spodziewa się, że jakiś element interfejsu będzie użytkownikom sprawiał problem, tymczasem obserwacja dwunastego testu z użytkownikiem dowodzi inaczej – zadania są wykonywane płynnie, a dany element nie ma żadnego znaczenia dla przebiegu interakcji. Takie forsowanie w audycie swoich własnych preferencji projektowych jest tym bardziej prawdopodobne, im mniejsze doświadczenie audytora i im większe jego ego ;) Zderzenie przekonań eksperta z wynikami badań pozwala określić, na ile dana kwestia faktycznie wymaga poprawki.

Eksperta łatwo zignorować

To jeden z podstawowych powodów, dla których nie lubię prowadzić audytów. Jeśli analiza ekspercka jest jedyną metodą sprawdzenia użyteczności projektu, to zwykle jej wyniki lądują w koszu. Właścicielowi projektu bardzo łatwo jest przyjąć postawę obronną – „co ten ekspert wymyśla? a skąd on to wie? czepia się  szczegółów!” itd. Efektem takiej postawy obronnej jest ignorowanie rekomendacji. Dla mnie osobiście jest to koszmarnie demotywujące, bo – jako projektantowi – naprawdę zależy mi na poprawieniu interakcji użytkownikom. Niby skończony projekt – jest zarobek, ale poczucie zmarnowanego czasu i  straconych przez klienta szans osobiście bardzo mi doskwiera.

Lepiej, jakby to ekspert zaprojektował, bo zaprojektowałby to lepiej

To drugi z powodów, dla których nie lubię analiz eksperckich. Nie czerpię satysfakcji z krytykowania prac innych (serio!). Ilekroć jestem postawiona przed koszmarnie nieużyteczną aplikacją, mam ochotę po prostu zaprojektować to od nowa. Czasem opisywanie problemu i rozwiązania zajmuje więcej czasu, niż stworzenie makiety danego ekranu. Po co więc tracić ten cenny czas, skoro można by go spożytkować znacznie bardziej produktywnie – projektując lepszy interfejs.

I jest też druga strona medalu. Ilu ekspertów miało okazję wdrożyć w projekcie poprawki w oparciu o przeprowadzony przez siebie audyt? Pierwszy raz, kiedy stanęłam przed takim zadaniem, otworzył mi oczy – rekomendacje i rozwiązania, jakie opisywałam w raporcie, miały sens, były zasadne i dobre. Ale połączenie ich wszystkich w jednym projekcie okazało się naprawdę trudnym zadaniem. Dlatego właśnie wolę projektować, niż oceniać interfejsy – bo to po prostu trudniejsze i ciekawsze wyzwanie!

Kiedy warto przeprowadzić audyt ekspercki?

Są jednak sytuacje, kiedy audyt ekspercki warto przeprowadzić.

Aby wyłapać podstawowe błędy przed badaniami z użytkownikami

Jeśli interfejs boryka się z wieloma, bezdyskusyjnymi dla projektanta problemami, warto przeprowadzić szybki audyt i wprowadzić podstawowe poprawki przed przeprowadzeniem testów z użytkownikami. Dzięki temu uczestnicy badań nie ugrzęzną na oczywistych błędach, a badanie skupi się na mniej ewidentnych problemach.

Aby uzupełnić wyniki badań z użytkownikami

Testy użyteczności zwykle odkrywają ogólne problemy (np. niezrozumienie idei serwisu lub użytych pojęć, skomplikowanie formularza czy brak kierowania uwagą odbiorców), tymczasem ekspert zwraca większą uwagę na szczegóły (niepodlinkowane logo, nieaktywnie wyglądający przycisk akcji, brak informacji o procesie w toku jego trwania). Testy z użytkownikami nie są też w stanie zanalizować tak kompleksowo interfejsu z powodu ograniczenia czasowego, zwykle więc skupiają się na podstawowych akcjach w serwisie. Ekspert ma możliwość przetestować również mniej popularne funkcjonalności. Najpełniejszą diagnozę danego serwisu zapewni więc połączenie testów z użytkownikami z audytem eksperckim.

Aby zweryfikować zgodność projektu z dobrymi praktykami

Część problemów użyteczności może nie wystąpić w trakcie testów z użytkownikami. Jednak bez dwóch zdań będą to błędy sprzeczne z dobrymi praktykami użyteczności i wymagające poprawy. Najczęstszym (choć pozornie oczywistym) błędem użyteczności, jaki odkrywałam przy każdym swoim audycie, była niespójność elementów aktywnych. Internet jest pełen serwisów i aplikacji z 5, 8 a nawet 10 stylami dla odnośników i przycisków. Jest to przykład problemu, który bezapelacyjnie wymaga poprawy, nawet jeśli „nie wyszedł” na testach.

Aby zweryfikować efekt końcowy  z założeniami projektowymi

Audyt ekspercki można też zastosować już po wdrożeniu interfejsu zaprojektowanego przez specjalistę użyteczności, w celu weryfikacji wdrożenia z założeniami projektowymi. Pozwala to w miarę sprawnie sprawdzić, czy przypadkiem wdrożenie nie „popsuło” projektu ;)

Audyt czy badania z użytkownikami?

Najlepiej to i to! Jeśli budżet Ci na to nie pozwala – zdecyduj się na badania z użytkownikami. Jeśli nadal budżet Ci na to nie pozwala (w końcu analiza ekspercka jest tańsza), to zastanów się, czy nie lepiej zamiast audytu, poprosić eksperta, żeby zaprojektował Ci lepszy interfejs. Bo krytykować i wymądrzać się jest łatwo, ale stworzyć coś naprawdę dobrego – to dopiero sztuka!

Warto poczytać:

Sauro, J. (2010) 6 Things You Didn’t Know About Heuristic Evaluations

Six, J.M. (2009) Usability Testing Versus Expert Reviews

Expert usability review vs. usability testing

 

Autorka

Iga Mościchowska

www: http://witflow.com
Managing Partner i UX Director w firmie WitFlow. Z zamiłowania projektant interakcji i badacz użyteczności, z wykształcenia socjolog. Szkoli, wykłada na AGH, występuje na konferencjach branżowych. Pracowała m.in. dla marek: Amica, Agora, eBay Classifieds, Egmont, Maspex Wadowice, MSZ, Polskapresse, PWN.pl, Vattenfall, a także dla licznych startupów. Czytaj więcej
Tagi: , , , ,
  • Marta

    Ciekawe podejście :) Zgadzam się szczególnie z kwestią, że widząc coś zawsze ma się ochotę zaprojektować to po swojemu ;)

  • Adam

    I audyt i badania mają swoje wady.

    Audyt bo ekspert nie jest docelowym użytkownikiem i może nie do końca rozumieć jego potrzeby (ale może zrozumieć po głębszym wczuciu się w temat).

    Badania bo nie wyczerpują tematu, bo są w sztucznej sytuacji, bo nie wiemy co badana osoba myśli a widzimy jedynie co robi i co mówi, a na pewno nie powie wszystkiego co zrodziło się w głowie – o niektórych napotkanych problemach nie wspomni nawet nieświadomie lub świadomie.

    Zgadzam się. Najlepiej projektować. Nawet jeśli problem jest mały to nowy projekt może być lepszy niż ten z wprowadzonymi poprawkami po audycie/badaniach.

  • http://www.facebook.com/iga.moscichowska Iga Mościchowska

    Tylko ja wcale tego nie powiedziałam :) To nie jest kwestia ochoty i ego, tylko kwestia maksymalizacji korzyści i efektywności działania. Moim zdaniem zamiast opisywać problem i możliwe działania, efektywniej jest zaprojektować nowe rozwiązanie, które odpowiada na odkryte problemy. Projektowanie jest też trudniejsze, niż po prostu krytykowanie czyichś rozwiązań.

  • Kuba

     Jeszcze dodam, że nie każdy kto uważa się za „eksperta” tym ekspertem jest.
     I taka uwaga do całego sektora UX – jeżeli jakaś duża firma raz trafi na samozwańczego eksperta może nigdy do badań UX nie wrócić – sądząc całą branżę po jednym przypadku. A ekspertów wątpliwej jakości chyba nie brakuje bo na temat tego w którym miejscu jest przycisk potrafi się wypowiedzieć każdy – z mniejszym lub większym sensem. Na temat tego jak powinna zostać zaprogramowana pętla już nie.

    Podsumowując – audyt jest fajny pod warunkiem, że wykona go fajna osoba znająca się na UX i ludziach, założeniach projektu, jego ograniczeniach i umiejąca dyskutować a przy tym sprzedać swoje racje:)

  • http://uxwatch.blogspot.com/ AD

    W dużym stopniu się zgadzam, co do uwag dot. audytów eksperckich, ale pamiętam też słowa Rolfa Molicha z WUD 2011, który uważa, że audyt doświadczonego specjalisty użyteczności przynosi podobne efekty, jak badania (ponoć zweryfikowane na podstawie badań:).

    Problem tylko w tym, kto jest tym „dobrym ekspertem”. Poza tym, jak kogoś nie stać na badania (bo najczęściej z tego powodu się z nich rezygnuje), to czy będzie go stać na dobrego specjalistę?