Strona główna » Badania usability

Co rozprasza naszych respondentów i czemu wystrzegać się lustra

21 listopada 2012 napisała Barbara [ 10 odpowiedzi ] Drukuj wpis

Badam użyteczność od 5 lat, a w ciągu ostatniego roku miałam okazję prowadzić lub obserwować ponad sto testów. Choć na badaniach wszelkiego typu zjadłam zęby, nie obyło się bez ciekawych lub strasznych sytuacji.

Dziś chciałabym przedstawić moją subiektywną listę dystraktorów, które mogą wpłynąć na komfort respondenta. Z różnych powodów zmniejszają one naturalność badania lub wywołują niepotrzebny stres u uczestników testów. Część z nich jesteśmy w stanie wyeliminować, efekt innych możemy jedynie złagodzić. Jedno jest pewne – warto je znać.

Sprzęt i oprogramowanie

Komputer stał się narzędziem bardzo prywatnym. Już kilkuletnie dzieci mają swoje własne „pecety” (które dzielą co najwyżej z rodzeństwem). Dorośli najczęściej posiadają osobiste urządzenia, z których korzystają na co dzień. Co więcej – posiadają w nich spersonalizowane ustawienia oraz przyzwyczajeni są do obsługi konkretnego modelu. Nie jest to może tak znaczące jak przy telefonach komórkowych, ale można zauważyć wpływ zmiany komputera na testach użyteczności.

Najczęściej zauważam wpływ na komfort uczestnictwa w teście takich elementów jak:

  • Klawiatura – płaska albo masywna, numeryczna lub nie.  Wpływa na szybkość pisania, popełniane literówki i błędy, które na początku mogą krępować uczestników testów. Bardzo często na początku testu, z ust respondenta pada wyjaśnienie w stylu: „moja klawiatura jest inna- tutaj się trochę mylę”. Największy wpływ klawiatury na interakcje zauważyłam w czasie testu gry z 5 latkiem, który miał trudność w operowaniu strzałkami, bo były inne niż w jego domowym komputerze.
    Tego czynnika nie jesteśmy w stanie wyeliminować, każde laboratorium ma swoje ograniczenia sprzętowe. Chyba, że prowadzimy badania na urządzeniach respondentów. Warto jednak pamiętać o nich szczególnie w testach ilościowych z pomiarem czasu wykonania zadań.
  • Myszka i touchpad – jeśli testujemy na laptopie powinniśmy zawsze udostępnić respondentom zarówno touchpad jak i myszkę – w zależności od preferencji. Co więcej, życie nauczyło mnie, że w czasie rekrutacji warto pytać  respondentów czy są  prawo – czy leworęczni. Zmuszenie respondenta leworęcznego do korzystania z myszki prawą ręką może zniechęcić go do wykonywania zadań, zmniejszyć płynność interakcji i zirytować.
  • Przeglądarka i ustawienia – umożliwienie respondentom wyboru przeglądarki, z której korzystają najczęściej to oczywista oczywistość testowania. Kilkakrotnie zdarzyło mi się jednak, że respondenci szukali swoich spersonalizowanych ustawień w testowej przeglądarce, oczekując, że będzie ona  „taka jak w domu”. Bardzo często szukali również zapamiętanych adresów albo deklarowali, że nie znają hasła, bo mają je zapamiętane w przeglądarce. Dotyczyło to przede wszystkim starszych lub mniej zaawansowanych w obsłudze komputera uczestników, którzy najsilniej reagowali na zmianę warunków korzystania z Internetu.
    Tej przeszkody również nie jesteśmy w stanie wyeliminować, jednak powinniśmy odnotowywać jej wpływ na przebieg testu użyteczności.

Laboratorium, czyli lustereczko powiedz przecie…

Samo laboratorium badawcze bywa przyczyną dyskomfortu u respondentów, a nawet zagrożeniem dla nich. W czasie prowadzenia testów z dziećmi przydarzyły mi się dwie mrożące krew w żyłach sytuacje. Podczas przeprowadzania wywiadu wstępnego z rodzicem dziecka, ciekawski maluch zainteresował się bliżej niszczarką. Innym razem pięciolatek postanowił sprawdzić, czy włączony wentylator naprawdę się kręci w środku.  O tym, jak minimalizować katastrofy przy prowadzeniu testów z dziećmi możecie przeczytać w osobnym artykule.

Natomiast aranżacja miejsca prowadzenia testów może być również źródłem stresu dla dorosłych respondentów. Laboratorium badawcze, w którym zwykle prowadzę sesje to dwa osobne pokoje oddzielone wygłuszoną ścianą, posiadające niezależne wejścia – tak aby zarówno respondenci jak i obserwatorzy badania mogli czuć się komfortowo i swobodnie. Dźwięk, obraz z kamery rejestrującej sylwetkę respondenta oraz interakcje z pulpitu komputera są transmitowane z laboratorium do obserwatorium. W ten sposób osoby śledzące testy mają pełen obraz informacji, a respondent nie jest świadomy ich obecności (wie tylko, że spotkanie jest nagrywane). Dzięki czemu można wyeliminować dodatkowy stres sytuacji testowej.

Niedawno miałam jednak okazję przeprowadzić kilkadziesiąt badań w typowej fokusowni, w której sala testowa i obserwacyjna oddzielone są lustrem weneckim. Wniosek z tych sesji jest jeden: lustro weneckie jest bardzo silnym elementem rozpraszającym respondentów.

 


Dlaczego? Respondenci znają funkcję lustra weneckiego i są świadomi bycia obserwowanym. Sprawia to, że część z nich może zachowywać się mniej naturalnie niż w podobnej sytuacji bez dyskomfortu związanego z byciem obserwowanym. Nietrudno się domyślić, że dla części uczestników testów obecność nieznanych osób po drugiej stronie lustra jest po prostu krępująca. Może również utrudnić moderatorowi nawiązanie kontaktu z uczestnikiem sesji.

W czasie jednego z badań respondentka wchodząc do sali zakrzyknęła: „gdybym wiedziała, że będę obserwowana poszłabym do fryzjera”, a potem przez 45 minut testu mimowolnie poprawiała fryzurę. Kilkoro respondentów skomentowało fakt bycia obserwowanym.

Pracownia badawcza z lustrem weneckim nie była też komfortowa dla obserwatorów (w tym klienta). Musieli oni siedzieć w mroku, aby nie być widocznym z sali testowej, co przy 6 sesjach badawczych dziennie skłaniało ich do ucinania sobie drzemek ;). Jednocześnie możliwość obserwacji sytuacji testowej przez lustro weneckie nie wnosi żadnej wartości do testów użyteczności – aby przeprowadzić rzetelną obserwację zarówno twarz respondenta jak i obraz pulpitu komputera i tak musi być transmitowany do obserwatorium. Żadne ułożenie w fokusowni nie pozwala na wygodną obserwację testów.

Czytałam również o sytuacji, w której w czasie testu z udziałem dziecka lustro weneckie zaabsorbowało je tak mocno, że pochłonięte zabawą ze swoim własnym odbiciem nie podjęło interakcji z moderatorem.

Słowem: jestem przeciwnikiem stosowania luster w laboratorium użyteczności w imię komfortu i spokoju ducha moich respondentów.

Planując badania użyteczności musimy stworzyć naturalne i jak najbardziej przyjazne dla respondentów środowisko badawcze.  Jeśli nie możemy wyeliminować pewnych czynników wpływu, powinniśmy je brać pod uwagę w czasie analizy danych. W kontrolowaniu czy wszystko zostało właściwie przygotowane pomoże Wam przygotowana przez Ewę checklista.

 

Autorka

Barbara Rogoś-Turek

www: http://witflow.com
Managing Partner i Research Director w WitFlow. Trenerka, prelegentka, propagatorka projektowania użytecznego i budzącego pozytywne emocje. Ewangelistka pracy grupowej. Po godzinach wyszukuje przejawy dobrego user experience i designu poruszając się na różowym rowerze po ulicach Wrocławia. Czytaj więcej
Tagi: , ,
  • http://www.facebook.com/sledz.drums Piotr Szweda

    Bardzo ciekawy wpis! Tylko poproszę jeszcze o poprawienie linka ;) Pozdrawiam! 

  • http://www.facebook.com/profile.php?id=1053370515 Basia Rogoś-Turek

    Dziękuję bardzo! A link już poprawiony :)

  • http://ifixux.pl/ Paulina

    Niestety muszę się z Tobą Basiu nie zgodzić w kwestii lustra weneckiego. Przeprowadzam badania w laboratorium z wielkim lustrem od kilku lat, zarówno z dorosłymi jak i z dziećmi. I dziwią mnie trochę opisane przez Ciebie sytuacje, kiedy pani przez 45 minut pamiętała o lustrze i tym, że jest obserwowana.

    Fakt, zdarzyło mi się, że wchodząc do pokoju badawczego kilka osób zwróciło wprost uwagę na lustro. Jednak po kilku minutach rozmowy w wywiadzie wstępnym respondenci rozluźniają się na tyle, że zupełnie zapominają o lustrze. Ba, nawet zapominają o kamerze! Należy oczywiście pamiętać, aby nie sadzać osoby tak, aby widziała swoje odbicie. Ja zazwyczaj sadzam tyłem do lustra lub pod takim kontem, aby lekko było widać profil.

    Nie zgodzę się również, że lustro nic nie wnosi. Fakt, jest transmisja dźwięku, monitora i twarzy respondenta, ale to nie oddaje w pełni sytuacji. Moim zdaniem ważna jest obserwacja całej mowy ciała, zarówno respondenta jak i moderatora. Zachowanie moderatora przecież też może wpływać na respondenta i klient powinien móc obiektywnie to obserwować. A co z z sortowaniem kart, kartami reakcji czy inny metodami projekcyjnymi? A współprojektowanie?Tego już nie da się tak łatwo transmitować samą wizją i fonią.

    I trzeci argument – moim zdaniem lustro bardzo „zbliża” klienta do respondentów, czują, że są bliżej niego, co z kolei zwiększa odczuwanie empatii.

    Uchrońcie lustra weneckie! :)

  • http://www.facebook.com/iga.moscichowska Iga Mościchowska

    Lustra weneckie są przydatne tam, gdzie kontekst i mowa ciała mają istotne znaczenie,np. przy fokusach czy wspomnianych przez Ciebie warsztatach z współprojektowania. Ale moim zdaniem nie na testach użyteczności! Tam tylko szkodzą, nie wnosząc absolutnie żadnej korzyści. Najważniejsze jest to, co dzieje się na ekranie oraz ewentualne wypowiedzi czy wyraz twarzy respondenta. Obserwator nie jest w stanie oglądać naraz zarówno respondenta, monitor i salę przez lustro weneckie. A skupiać powinien się jednak na monitorze, bo tam dzieją się problemy użyteczności.Mówisz, że prowadziłaś wiele badań w sali z lustrem weneckim. A prowadziłaś jakieś bez lustra? Bo może warto spróbować.:)

  • http://ifixux.pl/ Paulina

    Iga, czy dobrze rozumiem, że Twoim zdaniem mowa ciała respondenta i moderatora nie ma znaczenia przy testach użyteczności? Jasne, że ekran i twarz badanego są najważniejsze, ale o korzyściach obserwacji przez lustro już napisałam powyżej.

    I tak, obserwator jest w stanie patrzeć jednocześnie na ekran i przez lustro. Wszyscy moi klienci tak robią i nigdy nie narzekali, że to za dużo bodźców. Na moim fanpejdżu http://www.facebook.com/IfixUX/posts/176206355852088 wypowiedź jednego z nich.Oczywiście, że przeprowadzałam badania bez lustra, z takim samym telewizorem i słuchawkami jak u Was. Nie zauważyłam, żadnej znacznej poprawy w samopoczuciu i zachowaniu respondentów.

  • http://www.facebook.com/iga.moscichowska Iga Mościchowska

    Mowa ciała ma moim zdaniem mniejsze znaczenie, niż działania, a poza tym jest także widoczna na ekranie monitora – niepotrzebne do tego lustro weneckie.
    Ok, ty nie zauważyłaś różnic – ja je zaobserwowałam :) Ot, mamy kompletnie odmienne doświadczenia i opinie.
    Swoją drogą, przeprowadzaliśmy badania dla eBaya zarówno w warunkach naszego laboratorium, jak i w fokusowni z lustrem weneckim. Spytam przy okazji, gdzie im się lepiej obserwowało.

  • Pingback: Badania użyteczności - co rozprasza użytkowników - UXfocus

  • Michał Kulczycki

    Wszystkie elementy wpływające za zachowanie ludzi w takiej sytuacji, które Pani wymienia (poza przeglądarką), zostały już lata temu wszechstronnie przebadane w psychologii, m. in. w ramach badania interakcji człowiek-maszyna, badań za pośrednictwem komputera, oraz w psychologii społecznej (np. z tym lustrem, p.
    przedmiotowa samoświadomość Wicklunda). Myślę, że nie warto wyważać otwartych drzwi :)PS. Gratuluję zmysłu obserwacyjnego i zapewniam, że nie próbuję być złośliwy.

  • http://www.facebook.com/profile.php?id=1053370515 Basia Rogoś-Turek

    Po tym, jaką dyskusję wzbudził ten post widzę, że warto nadal pisać o takich zagadnieniach. Poza tym, co innego badania, a co innego rzeczywiste doświadczenia praktyka, który dodatkowo może się poszczycić niezłym zmysłem obserwacyjnym.

  • Michał Kulczycki

    Mi nie chodzi o to, że nie warto pisać. Przeciwnie! Warto jak najbardziej. Natomiast twierdzę, że zamiast testować „w boju” warto też sprawdzić co już na ten temat wiadomo.

    Co do „rzeczywistego doświadczenia” – tu nie ma przeciwstawienia: to o czym pisałem to wiedza w pełni praktyczna, tyle że uzyskiwana na przestrzeni kilkudziesięciu lat w bardzo różnych środowiskach.