Strona główna » Badania usability

Protokół głośnego myślenia w testach użyteczności

11 kwietnia 2012 napisała Iga [ 4 odpowiedzi ] Drukuj wpis

głośne mówienieW większości prowadzonych przeze mnie testów użyteczności wykorzystuję tzw. protokół głośnego myślenia (ang. thinking aloud protocol/method). Jestem zdecydowanym zwolennikiem tej metody, znając oczywiście jej zagrożenia i ograniczenia. Polega to na tym, iż uczestnicy badania wykonując zadania stale „głośno myślą”, czyli werbalizują swój proces myślenia i komentują reakcje aplikacji. Dzięki takiej werbalizacji badacz może zrozumieć, w jaki sposób użytkownik postrzega system i jak przebiegają jego procesy myślowe: na co zwraca uwagę, jak interpretuje różne elementy systemu, dlaczego postępuje tak, a nie inaczej.

Początkowo protokół głośnego myślenia był używany jako metoda badań psychologicznych. Z czasem zaczęto go stosować w badaniach interfejsu, aby z jego pomocą zrozumieć proces poznawczy użytkowników komputerów i aplikacji.

Jak zachęcać do mówienia?

Do badan z głośnym myśleniem należy dobierać takie osoby, które nie maja problemów z wyrażaniem opinii (np. z powodu dużej nieśmiałości). W trakcie trwania badań moderator powinien zachęcać uczestnika testu do mówienia poprzez aktywne słuchanie, potakiwanie, zadawanie pytań oraz powtarzanie wypowiedzianych przez użytkownika kwestii. Pytania nie mogą być oczywiście sugerujące, ani stronnicze. Lepiej też nie pytać użytkowników „dlaczego” – takie sformułowanie może być odebrane jako atak – „wytłumacz się ze swojego zachowania” – i powodować sztuczną racjonalizację swoich działań. Lepiej sprawdzają się pytania w stylu:

  • Spodziewałeś się, że…?
  • Twoim celem było…?
  • Co myślałeś wykonując taką czynność?
  • Co chciałbyś osiągnąć w tym miejscu aplikacji?
  • Jakiego efektu spodziewałeś się wykonując tą czynność?
  • Jakiego działania spodziewałeś się teraz po aplikacji?
  • Jak sądzisz, co ta wiadomość oznacza?

Zauważyłam też, że bardzo dobrze działa ogólne i nie zobowiązujące „co się (teraz) dzieje?” – szczególnie, kiedy uczestnik testu milknie na dłuższy okres. Takie krótkie pytanie świetnie sprawdza się w roli przypomnienia o protokole głośnego myślenia i nie trąci sztucznością.

Retrospektywny protokół głośnego myślenia

Tą technikę stosuje się najczęściej w trakcie wykonywania zadań, jednak istnieje także jej retrospektywna wariacja. Po zakończonym teście użytkownikowi pokazuje się nagranie, na którym on sam wykonuje zadania. Użytkownik jest proszony o wytłumaczenie swoich działań i podanie przyczyn, dla których postępował akurat w taki sposób. Metoda ta daje bardziej dogłębne informacje, na których wyrażenie w czasie rozwiązywania testu użytkownik zwykle nie ma czasu. Także badaczowi łatwiej jest po skończonym teście zadać dodatkowe pytania wyjaśniające.

Z drugiej strony uważa się, iż taki wariant sprzyja racjonalizowaniu swoich działań przez uczestników badań. Dodatkowym problemem retrospektywnej metody głośnego myślenia jest prawie dwukrotnie dłuższy czas prowadzenia testu, co czyni z niej niezwykle kosztowną metodę badania użyteczności. Dlatego też nigdy nie zdecydowałam się na zastosowanie jej w praktyce i znam tylko w teorii.

Ograniczenia

Niebezpieczeństwem protokołu głośnego myślenia są nie mające pokrycia w rzeczywistości teorie użytkowników o przyczynie określonych problemów interfejsu. Ewaluator musi mieć na uwadze, iż komentarze użytkowników nie zawsze odpowiadają rzeczywistym problemom (poczytaj o drugim prawie ucd – nie słuchaj swoich użytkowników).

W literaturze można odnaleźć sprzeczne dane odnośnie wpływu głośnego myślenia na skuteczność i szybkość wykonywania zadań przez użytkowników. Niektóre badania wykazują pozytywny wpływ werbalizacji na szybkość wykonywania zadań, inne – negatywny. Przymus głośnego myślenia może być przede wszystkim dla ludzi nienaturalny. Szczególnie trudna może się okazać werbalizacja sposobu myślenia dla użytkowników-ekspertów, którzy wykonują operacje w danym systemie z taką wprawą i szybkością, że nie mają nic do skomentowania. Z powodu automatyzacji określonych czynności mogą oni wręcz nie uświadamiać sobie, jakie interakcje właśnie wykonują i dlaczego. Werbalizacja własnych myśli może również zmienić sposób postępowania użytkowników, poprzez uświadomienie im własnych poczynań.

Jednak dzięki głośnemu myśleniu możemy odkryć, że zrozumienie interfejsu przez użytkownika odbiega znacznie od wykonywanych działań. W skrajnym przypadku zdarzyło mi się kiedyś, że użytkowniczka wykonała poprawnie zadanie, jednak dzięki protokołowi głośnego myślenia odkryliśmy, że w jej oczach zadanie nie zostało zakończone, a ona nie odnalazła właściwej funkcji. Gdyby nie werbalizacja jej myśli, trwalibyśmy w przekonaniu, że aplikacja nie sprawiła żadnych problemów. Dlatego ja zwykle decyduję się na zastosowanie protokołu głośnego myślenia, które stanowi po prostu obfite źródło dodatkowych informacji, które poddaje się analizie.

 

Źródła:

Nielsen, J. (1993) Usability Engineering. Morgan Kaufmann Publisher, San Francisco

Fonteyn, M.E., Kuipers, B., Grobe, S.J. (1993) A Description of Think Aloud Method and Protocol Analysis. Qualitative Health Research, Vol. 3 No. 4, November 1993, ss. 430-441

 

Autorka

Iga Mościchowska

www: http://witflow.com
Managing Partner i UX Director w firmie WitFlow. Z zamiłowania projektant interakcji i badacz użyteczności, z wykształcenia socjolog. Szkoli, wykłada na AGH, występuje na konferencjach branżowych. Pracowała m.in. dla marek: Amica, Agora, eBay Classifieds, Egmont, Maspex Wadowice, MSZ, Polskapresse, PWN.pl, Vattenfall, a także dla licznych startupów. Czytaj więcej
Tagi: , ,
  • http://ifixux.pl Paulina Makuch

    A tak z ciekawości – jak „dobierasz takie osoby, które nie maja problemów z wyrażaniem opinii (np. z powodu dużej nieśmiałości)”? Uwzględniasz to jakoś na etapie rekrutacji?
    Bo ja nie. Jakoś nie wyobrażam sobie sprawdzania „otwartości” i „wygadania” respondenta. Ale może znasz jakiś dobry sposób?

    I tak jakoś zawsze tak wychodzi, że większość osób jest wygadanych, a tylko 1/3 nieśmiała :)

  • http://witflow.com Iga

    Nie, faktycznie nie uwzględniam tego na etapie rekrutacji. Czasem trafiają się osoby, które z łatwością wczuwają się w protokół głośnego myślenia, nie potrzeba o nim w ogóle przypominać. A czasem wymaga to ciągłego „nagabywania” – czyli właśnie tych dodatkowych pytań. Ale nigdy nie trafiłam na osobę wybitnie nieśmiałą (poza dziećmi, ale to zupełnie inna historia).

  • Michał Meiser

    Dobór panelu testowego, rozumiem, że zdolności komunikacyjne są atutem.
    Ale czy przygotowujac badanie, starasz sie wstepnie określić profile użytkowników do rekrutacji,
    zwłaszcza przy testowaniu projektow „user specific” – kierujesz się modelami ról biznesowych? Czy może w oparciu o profile „personas” jako kolekcji bardziej ludzkich cech użytkowników? Czy raczej pomijasz to i dopiero po badaniu klasyfikujesz użytkownika wg wyniku badania?

  • http://witflow.com Iga

    @Michał – Oczywiście – jednym z pierwszych kroków przygotowując się do badań jest opracowanie wytycznych do rekrutacji. Zbiór cech zawsze zależy od danego badania, w jednej sytuacji ważne będzie doświadczenie z e-commerce, w innej – zainteresowanie branżą motoryzacyjną, w kolejnej – stanowisko kierownicze. Część informacji z person będzie bardzo dobrym źródłem tych wytycznych (np. doświadczenie z komputerem lub podobnymi programami), ale z całą pewnością nie wszystkie. Więcej o sposobie rekrutacji respondentów pisała też Ewa – http://uxbite.com/2011/04/podstawy-rekrutacji-respondentow/