Strona główna » Badania usability

10 przykazań obserwatora testów użyteczności

2 sierpnia 2011 napisała Ewa [ 1 odpowiedź ] Drukuj wpis

1. Nie łącz roli obserwatora i moderatora

Zadaniem obserwatora jest – jak sama nazwa wskazuje – obserwowanie sesji testowych oraz sporządzanie notatek. Moderator natomiast prowadzi użytkownika przez badanie. W idealnym świecie badawczym są to dwie różne osoby. Obserwator – jeśli jest taka możliwość – znajduje się poza pomieszczeniem, w którym prowadzone jest badanie i śledzi jego przebieg na monitorze. Moderator powinien się skupić na swoim zadaniu, a nie prowadzić notatki – szczególnie, że może to dodatkowo krępować respondenta. Jeśli więc moderujesz testy, nie rób notatek, a zaangażuj do tego inną osobę.

2. Nie pozwól, by notowanie przeszkadzało w obserwowaniu

Każdy, kto miał okazję obserwować testy użyteczności wie, że momentami tempo wydarzeń jest tak duże, że trudno nadążyć. Błędy użyteczności mogą pojawiać się seriami, jeden po drugim. W czasie gdy notujemy pierwszy z nich, umykają nam następne. Podnosimy wzrok z nad kartki i okazuje się, że użytkownik już przeszedł do innej czynności, mówi już o nowych rzeczach, a my właściwie to musimy się domyślać, co się działo w międzyczasie. Jak nad tym zapanować?
Jednoczesne obserwowanie i notowanie wymaga podzielności uwagi, a im więcej ma się praktyki, z tym większą łatwością to przychodzi. Na szczęście są też praktyczne techniki sporządzania notatek, które można dopasować do potrzeb konkretnych badań.

3. Notuj tylko to, co ważne dla badania

Początkujący badacz staje przed pokusą notowania dokładnie wszystkiego, co respondent robi i mówi. Nie chce, by cokolwiek umknęło. W praktyce jest to jednak nieefektywna taktyka. Notuj tylko to, co prowadzi Cię bliżej odpowiedzi na pytania badawcze.

4. Nie notuj wypowiedzi słowo w słowo

O ile nie jesteś wprawną stenotypistką, dosłowne spisywanie cytatów odwraca uwagę od obserwacji (patrz punkt 2). Co więcej, efektem takiego podejścia są sterty stron nieuporządkowanych notatek, cytatów, myśli i uwag badacza – ciężko się później w nich odnaleźć i wyłuskać istotne elementy, a przez to opracowanie sensownych z punktu widzenia celu badania wniosków staje się szalenie żmudne i czasochłonne. Jeśli potrzebujesz dokładny zapis wypowiedzi użytkowników – zleć transkrypcję nagrań, ale nie notuj każdego słowa.

5. Stosuj predefiniowane kody i metki czasowe

Gdy w trakcie sesji trafiasz na moment, który wiesz, że warto będzie zilustrować w raporcie lub słyszysz ciekawy cytat, oznacz to dokładnym czasem i ustalonym z góry kodem – później łatwiej znajdziesz fragment filmu obrazujący zaobserwowany problem.
Niektóre programy do rejestracji testów (np. Morae) pozwalają na tagowanie obserwacji bezpośrednio na nagraniach. Jeśli jednak nie masz takiego narzędzia do dyspozycji, wystarczy papier i stoper.
Kody ustal sobie przed testami na podstawie celu badania, planu analizy i raportu czy obserwacji z pilotażu. Przykładowe kody to:

  • „Użytkownik trafia na problem”,
  • „Użytkownik trafia na powtarzający się problem (zauważony we wcześniejszej sesji)”
  • „Użytkownik sugeruje rozwiązanie”,
  • „Krytyczny błąd uniemożliwiający samodzielne ukończenie zadania”,
  • „Pozytywna opinia respondenta”.

Tak naprawdę kody mogą być różne. Najwygodniej, aby odzwierciedlały plan analizy i raportu – wówczas podsumowanie wyników będzie nie tylko szybsze i łatwiejsze, ale przede wszystkim skoncentrowane wokół faktycznych celów badania.

6. Rozróżniaj zachowania od opinii

Ze szczególną dozą ostrożności podchodź do tego, co użytkownik mówi. Najlepiej wyraźnie rozróżniaj w notatkach obserwacje zachowań od deklaracji i opinii respondentów.
(Polecam artykuł o tym, jak słuchać użytkowników).

7. Korzystaj ze ściąg, screenshotów i innych pomocy

Jeśli chodzi o obserwację, nie ma nic złego w wykorzystywaniu dróg na skróty. Np. zamiast opisywać ścieżkę, po której użytkownik porusza się w kierunku rozwiązania zadania, można wcześniej wydrukować sobie mapy strony i tylko zaznaczać liczbami czy strzałkami kolejność oglądanych podstron czy wybieranych funkcji.

8. Koniecznie odnotuj wszelkie podpowiedzi moderatora

Zarówno te bezpośrednie, których moderator musi udzielić, aby można było kontynuować badanie, jak i wszelkie momenty, w których moderator pośrednio czy nawet nieświadome sugeruje respondentowi, co zrobić czy co dany element znaczy. Pamiętaj, że te podpowiedzi wpływają na zachowania użytkownika i mogą zaburzyć wyniki testów.

9. Uporządkuj notatki po każdej sesji testowej

Nawet jeśli Ci się wydaje, że będziesz pamiętać, co notujesz – nie będziesz. Już po paru testach obserwacje zaczną Ci się mieszać. Dlatego tak ważne jest zaplanowanie sobie przerwy między sesjami na uporządkowanie, wyczyszczenie i uzupełnienie notatek po każdym wywiadzie, kiedy jeszcze jego wspomnienie jest świeże.

10. Zawsze notuj tak, jakby testy nie były nagrywane

Pamiętaj, że technologia zawodzi. Zawodzi też czynnik ludzki. Czasem może się okazać, że nie masz nagrania video czy audio (lub obu) – bo coś się zepsuło, rozłączyło, skończyło się miejsce na dysku itp. Dlatego zawsze notuj tak, jakby nie było kamer i mikrofonów.

 

Zobacz także:
10 przykazań moderatora testów użyteczności

Autorka

Ewa Sobula

www: http://www.linkedin.com/pub/ewa-sobula/30/407/694
UX designer w Sabre Airline Solutions. Umiejętności badawcze i analityczne rozwijała na socjologii, by lepiej rozumieć użytkowników. Równolegle uczyła się tworzenia serwisów internetowych, by poznać technologiczne możliwości i ograniczenia. Teraz z przyjemnością łączy te kompetencje projektując i badając serwisy. Czytaj więcej
Tagi: , , , , ,