Strona główna » Badania usability

Statystyka w użyteczności – dlaczego liczenie do 5 nie wystarczy

25 czerwca 2010 napisała Ewa [ Brak odpowiedzi ] Drukuj wpis

Statystyka nie jest dziedziną specjalnie popularną ani lubianą. Liczby i wzory mają taką magiczną właściwość wzbudzania co najmniej niechęci, jeśli nie strachu wśród niektórych ludzi.

Na polu użyteczności statystyka jest zaniedbywana. Od czasu do czasu powracają dyskusje na jej temat, jednak w codziennej praktyce jest ona odsunięta na dalszy plan.

Faktycznie w badaniach użyteczności w przeważającej mierze mamy do czynienia z danymi jakościowymi, jednak nie jest to wymówka, by zapomnieć o liczbach. Nie wystarczy umieć policzyć do osławionych 5, a poleganie tylko na własnych opiniach i odczuciach bywa zwodnicze.

W filmie, chomikowi (a właściwie to chomiczycy) Hammy oferowane są warzywa z dwóch grup – organicznej i zwykłej uprawy. Produkty organiczne zjada 8 razy, zwykłe produkty 4 razy. Ewidentnie wygrywa jedzenie z organicznych upraw, prawda?

Nieprawda. Tak, wydaje się, że tak powinno być. Ludzie łatwo się dają uwieść takim przekonaniom (częściowo możecie o tym poczytać w artykule 7 pułapek poznawczych w użyteczności). Tymczasem wynik Hammy, choć spektakularny i zgodny z intuicją, nie jest istotny statystycznie. Oznacza to, że chomikowe wybory mogą być zupełnie przypadkowe i nie zależeć od pochodzenia smakołyka. Warto o tym pamiętać, zanim zacznie się wyciągać nieuprawnione wnioski.

Czemu gardzimy statystyką?

Rozmowy o statystyce, szczególnie w kontekście reprezentatywności, bywają traktowane z lekką podejrzliwością. Zapewne głównie dlatego, że często sprowadzają się do zarzutów o nieistotność i niereprezentatywność badań.

Jakich argumentów się używa, chcąc uniknąć statystyki?

  • „Próba w badaniach użyteczności jest zbyt mała, by prowadzić na niej analizę statystyczną, więc nie warto w ogóle się przejmować statystyką”

To jest wylewanie dziecka razem z kąpielą. To, że w praktyce analiza statystyczna nie ma zastosowania w testach na małych próbach, nie zwalnia z jej znajomości w ogóle. Szczególnie wówczas, gdy mamy do czynienia z analizami ruchu internetowego czy testami a/b.

  • „Robimy badania jakościowe”

Jedno nie wyklucza drugiego. Dane jakościowe stanowią rdzeń zdecydowanej większości testów. Upraszczając, sadzamy użytkownika przed ekranem i obserwujemy, jakie problemy i w jakich sytuacjach napotyka – oczekujemy wglądu, nie liczb. Nie oznacza to jednak, że musimy je ignorować.

Po co te liczby?

Przeprowadziłeś testy. Zebrałeś wyniki, opracowałeś problemy. Przygotowałeś rekomendacje, a może i projekt zmian. Jesteś przekonany o tym, że te zmiany są konieczne. I świetnie. Tylko na jakiej podstawie? Skąd pewność, że problem, jaki napotkało powiedzmy 3 z Twoich 5 badanych faktycznie będzie dotkliwy dla reszty użytkowników? Istnieje przecież możliwość, że akurat przypadkowo trafiłeś na bardzo nietypową trójkę. Oparcie w statystyce jest kluczem do zaufania wynikom badań, a także mocnym argumentem uzasadniającym Klientowi konieczność zmiany.

Aby w praktyce wyłapać główne problemy w trakcie testów, nie musimy zagłębiać się w zagadnienia statystyczne. Uzupełnienie analizy o dane ilościowe jest natomiast pomocne, gdy chcemy:

  • odpowiedzieć na pytanie, czy inwestycja w zmianę jest opłacalna,
  • porównać odmienne wyniki z różnych źródeł.

Do czego wiedza statystyczna jest potrzebna?

Po pierwsze, umiejętności analizy statystycznej są konieczne w badaniach mierzących zachowania użytkownika:

  • analiza ruchu internetowego (web analytics),
  • clicktracking,
  • testy a/b,
  • eye-tracking.

Po drugie, badania  z użytkownikami także mogą dostarczyć danych liczbowych opisujących działania respondenta (np. liczba błędów, czas) i jego opinie (np. ocena satysfakcji).

Po trzecie, ułatwia to zrozumienie doboru użytkowników do testów. Testy z niewielkimi grupami użytkowników sprawdzają się w odkrywaniu poważnych błędów. Żeby odkryć także mniejsze problemy potrzebne są już badania na większych próbach.

Wnioskowanie

Dla specjalisty użyteczności istotna jest znajomość podstaw wnioskowania statystycznego – czyli działu statystyki zajmującego się problematyką uogólniania wyników badania próby na populację. Pozwala to na wyciąganie wniosków na temat ogółu użytkowników na podstawie tego, co udało się zaobserwować wśród badanej grupy. Zawsze, gdy prowadzimy badania na próbie istnieje ryzyko, że wyniki w niej uzyskane nie będą odpowiadać ogółowi użytkowników. Taki już urok badań na próbie – zawsze istnieje szansa, że akurat trafi nam się grupa respondentów bystrzejszych lub mniej rozgarniętych, szybszych lub wolniejszych, ciekawszych lub bardziej znudzonych niż ogół przeciętnie.

Wnioskowanie może służyć:

  • określeniu jak bardzo wyniki badań na próbie odbiegają od tego, co ma miejsce wśród ogółu użytkowników,
  • odpowiedzi, na ile prawidłowości zaobserwowane w trakcie badań faktycznie występują w całej zbiorowości.

Wnioskowanie statystyczne ma znaczenie tylko w przypadku danych ilościowych (np. ilu użytkowników napotkało dany problem). Testy użyteczności pozwalają zebrać w głównej mierze cenne dane jakościowe, które mogą dostarczyć odpowiedzi na pytanie nie tylko ilu respondentów napotyka błąd, ale i dlaczego.

Kiedy się przejmować statystyką?

Jeśli zależy nam na:

  • zmierzeniu wartości i zachowań (np. ruchu sieciowego),
  • ustaleniu wagi błędów i priorytetów wśród poprawek i zmian,
  • porównaniu rozwiązań czy alternatywnych projektów (głównie testy a/b).

Kiedy się nie przejmować?

  • Gdy testy z użytkownikami mają dostarczyć wglądu, pogłębić wiedzę o tym, jak użytkownicy zachowują się w serwisie, a nie przynieść konkretne decyzje projektowe.
  • Warto też pamiętać, że nie zawsze trzeba mieć pewność rzędu 95%, aby uznać dane rozwiązanie projektowe za warte przemyślenia.

Wiedza z obszaru statystyki jest niezbędna w użyteczności. Nie po to, by przeprowadzać analizy statystyczne tam, gdzie nie ma takiej potrzeby, ale po to, by nie nadinterpretować, nie szafować nieuprawnionymi wnioskami. Warto, znać możliwości analizy statystycznej i korzystać z niej, gdy jest to sensowne. Poznać znaczy oswoić i uporządkować.

Ponadto, solidne podstawy statystyczne pozwolą usability jako dziedzinie dojrzeć i uczynić ją bardziej wiarygodną.

Do zagadnień statystyki w użyteczności będę powracać w następnych postach. Nie chcesz tego przegapić? Subskrybuj RSS lub polub nas na Facebooku.


Źródła:

What every user experience professional needs to know about statistics and usability tests
How To Specify the Participant Group Size for Usability Studies: A Practitioner’s Guide
Easy statistics for AdWords A/B testing, and hamsters

Autorka

Ewa Sobula

www: http://www.linkedin.com/pub/ewa-sobula/30/407/694
UX designer w Sabre Airline Solutions. Umiejętności badawcze i analityczne rozwijała na socjologii, by lepiej rozumieć użytkowników. Równolegle uczyła się tworzenia serwisów internetowych, by poznać technologiczne możliwości i ograniczenia. Teraz z przyjemnością łączy te kompetencje projektując i badając serwisy. Czytaj więcej
Tagi: , , ,
  • http://www.conversion.pl/blog Mariusz

    Bardzo ciekawy artykuł – zdecydowanie się zgadzam z Twoim podejściem. Zainteresowanych meandrami statystyki w testach A/B odsyłam do artykułu, który omawia ich podstawę statystyczną: http://bit.ly/ejH2HI