Strona główna » Badania usability

Nie tylko kilka pytań „po”, czyli jak zbadać satysfakcję

22 września 2010 napisała Barbara [ Brak odpowiedzi ] Drukuj wpis

Bezproblemowe działanie interfejsu to nie wszystko. Aby produkt mógł odnieść sukces musi również przynosić satysfakcję, zabawę, pozytywne emocje. Musi mieć „to coś” i wywołać u użytkowników chęć ponownego użycia. Ale jak sprawdzić, jakie emocje wywołuje korzystanie z danego interfejsu i jak je zmierzyć?

Satysfakcja, obok skuteczności i wydajności jest jedną z metryk stosowanych do ewaluacji interfejsów według normy ISO. Jest to najtrudniejszy do zmierzenia wymiar ergonomii produktu.

Problemy z uchwyceniem poziomu satysfakcji

Sama satysfakcja jest trudna do uchwycenia, gdyż odnosi się do emocji użytkownika, które nie zawsze są uświadamiane, są hamowane lub trudne do zwerbalizowania. Jakie są zatem najczęstsze powody trudności z określeniem stopnia zadowolenia użytkownika?

Grzeczność – uczestnik badania jest zbyt uprzejmy i czuje się zobowiązany do pozytywnej oceny testowanego interfejsu.

Jak temu zaradzić? Przede wszystkim należy uczulać, iż testowany produkt nie jest Twoim dziełem, a szczere i krytyczne uwagi oraz oceny przysłużą się do jego ulepszenia.

Niepewność swoich działań – część użytkowników może traktować sytuację badania jako stresujący test. Zgłaszając pozytywne opinie odnośnie interfejsu potwierdzają jednocześnie swoje umiejętności jego obsługi.  Jest to rodzaj samopotwierdzenia swoich kroków i umiejętności, na zasadzie, „skoro mówię (niekoniecznie uważam), że wszystko jest proste, to znaczy, że dobrze wykonałem zadania”.

Jak temu zaradzić? Należy pogłębiać pytania i odnosić je do konkretnych sytuacji. Najczęściej jednak z tego typu użytkowników nie da się wyciągnąć realnych emocji (które odczuwali przy wykonywaniu konkretnych zadań), gdyż zostały one zracjonalizowane. W tym wypadku należy ostrożniej podchodzić do wyników takiego testu.

Problemy z werbalizacją – użytkownik jest typowym introwertykiem, ma opory przed głośnym myśleniem i problemy z werbalizacją emocji.

Jak temu zaradzić? Oprócz zachęcania do głośnego myślenia, tutaj najlepiej sprawdzają się techniki pomiaru, które wykraczają poza standardowe kwestionariusze.

Ograniczenia badań przy użyciu kwestionariusza

Najczęściej używanym narzędziem do badania stopnia satysfakcji użytkowników jest kwestionariusz oparty na skali Likerta. Jest to zwykle kilka – kilkanaście zdań twierdzących (najlepiej pozytywnych i negatywnych), do których użytkownik musi się ustosunkować w skali od 1 – 5 lub 1-7. Takie narzędzia pozwalają na badanie postaw i opinii, a dzięki dość dużej czułości skali (odpowiedzi pozytywne – neutralne – negatywne) respondent może wybrać możliwość (intensywność), która najlepiej charakteryzuje jego odczucia. Ponadto dzięki swej formie przeprowadzenie badania nie zajmuje wiele czasu, a uzyskane dane pozwalają na wyłonienie dominującego modelu czy szczególnych upodobań oraz analizę statystyczną.

Jednak sprawdzanie poziomu satysfakcji przy pomocy takich skal może być niewystarczające. Po pierwsze niektórzy respondenci wykazują tendencje do wybierania wartości średnich, które nie wymagają precyzowania własnych odczuć. Po drugie często emocje towarzyszące korzystaniu z interfejsu są tak ambiwalentne, że  trudno określić je za pomocą stopnia na skali. Po trzecie przy stosowaniu kwestionariusza opartego na skali Likerta praktycznie niemożliwym jest uzyskanie dodatkowych, jakościowych informacji dotyczących zadowolenia z korzystania z serwisu.

Badanie tak nienamacalnych aspektów jakimi są emocje, satysfakcja, pozytywne wrażenia przy użyciu kwestionariusza, może przynieść dość powierzchowne dane. Dlatego też coraz częściej stosuje się dodatkowe sposoby badania satysfakcji.

Metody badania satysfakcji - zestawienie

Nowe metody badania satysfakcji

W odpowiedzi na ograniczenia tradycyjnych metod badania satysfakcji i emocji  specjaliści usability z  Microsoftu stworzyli w 2002 Microsoft Desirability Toolkit, dokument opisujący nowe sposoby określania poziomu zadowolenia u użytkowników.

Pierwsze podejście specjalistów Microsoftu do stworzenia nowego narzędzia zaowocowało kwestionariuszem opierającym się na zdjęciach ludzkich twarzy wyrażających emocje od radości do gniewu wraz z siedmiostopniową skalą Likerta (precyzującą stopień odczuwanych emocji). Użytkownicy zostali poproszeni o wybór wyrazu twarzy, który najlepiej odpowiada ich odczuciom w stosunku do produktu. Dodatkowo badacze dopytywali użytkowników o inne aspekty i odczucia związane z używaniem produktu. Okazało się jednak, że takie rozwiązanie jest efektywne tylko w badaniach z użytkownikami, którzy mają silnie rozwinięty zmysł charakteryzowania emocji i duży zasób słownictwa. W innych przypadkach takie badania sprawiały uczestnikom trudności polegające na werbalizacji emocji, wyczuwaniu niuansów (np. między „złością” a „frustracją”) i ocenianiu ich w odniesieniu do interfejsu.

Fragment kwestionariusza z twarzami wyrażającymi emocje, źródło: Measuring Desirability: New Methods for Evaluating Desirability in a Usability Lab Setting.

Drugą z nowych metod wypracowanych przez praktyków Mictrosoftu był pomiar zadowolenia przy pomocy zastawu kart z kilkudziesięcioma przymiotnikami (z których co najmniej 40% było negatywnych).  Zadaniem uczestników badania był wybór kilkunastu wyrażeń charakteryzujących interfejs, a następnie zawężenie ich do  5 słów najlepiej określających ich odczucia po wykonaniu zadań na produkcie oraz uzasadnienie wyboru w toku dyskusji z badaczem. W ten sposób użytkownicy dostarczyli ogromnej porcji informacji na temat emocji i odczuć związanych z używaniem produktu odnoszących się zarówno do łatwości używania, grafiki jak i samego konceptu.

Zestaw najczęściej wybieranych określeń w odniesieniu do konkretnego interfejsu, źródło: Measuring Desirability: New Methods for Evaluating Desirability in a Usability Lab Setting.

Obie te metody stanowią jednak raczej uzupełnienie tradycyjnych badań kwestionariuszowych. Dostarczają one ogromnej liczby danych jakościowych, których jednak nie można analizować statystycznie ani uogólniać na całą populację. Dodatkowo przeprowadzenie takich badań zajmuje o wiele więcej czasu, niż ewaluacja na bazie kwestionariusza. Niezbywalna zaleta tych badań polega na kontakcie badacza z użytkownikiem. Jakościowe badanie pozwala zrozumieć emocje i problemy użytkowników, pozwala na poznanie subiektywnych uczuć i doznań. Natomiast dane ilościowe można uzyskać stosując kwestionariusze oparte na skali Likerta oraz przeprowadzając ilościową analizę treści wypowiedzi uczestników badania.

To zależy

Kolejny raz potwierdzona zostaje zasada, że metody badań muszą zostać dobrane do celów i założeń. Jeśli tworzymy stronę korporacyjną, w której emocje użytkowników są sprawą drugorzędną stosujemy proste metody badania satysfakcji. Jeśli zaś potrzebujemy pogłębionej informacji zwrotnej, warto zdecydować się na kilka metod umożliwiających szersze poznanie odczuć użytkownika.

Źródła:

http://www.userfocus.co.uk/articles/satisfaction.html

http://www.userfocus.co.uk/articles/discount.html

http://www.microsoft.com/usability/UEPostings/DesirabilityToolkit.doc

Autorka

Barbara Rogoś-Turek

www: http://witflow.com
Managing Partner i Research Director w WitFlow. Trenerka, prelegentka, propagatorka projektowania użytecznego i budzącego pozytywne emocje. Ewangelistka pracy grupowej. Po godzinach wyszukuje przejawy dobrego user experience i designu poruszając się na różowym rowerze po ulicach Wrocławia. Czytaj więcej
Tagi: , , ,