Badania użyteczności a pomiar zachowań użytkowników

badania-uzytecznosci-1

 

 

 

 

 

 

/fragment pracy doktorskiej Marty Więckowskiej: Badania w projektowaniu/

Badania użyteczności polegają na obserwacji użytkownika podczas wykonywania czynności w wybranym interfejsie, serwisie internetowym. Obserwacja jest precyzyjnie przygotowana tak, aby zarejestrować wszystkie zachowania użytkownika łącznie ze sposobem poruszania się w interfejsie, komentarzami, reakcjami. Wykorzystujemy do tego celu takie narzędzia jak: rejestracja obrazu interfejsu, zapis wykonywanychakcji, ankiety, wywiady. Zadania wykonywane przez użytkownika są tak dobrane, aby sprawdzić istotne funkcjonalności interfejsu.
Zebrany materiał: zapis podejmowanych akcji przez użytkownika użytkownika, jego komentarze oraz wyniki ankiety oceny interfejsu – należy w odpowiedni sposób opracować, tak by uzyskać jak najwięcej informacji na podstawie, których będzie można dokonać oceny użyteczności interfejsu.
Zestaw zebranego materiału jest bardzo różnorodny, dlatego jego analizę należy tak zaprojektować, aby móc obserwować relacje pomiędzy jej poszczególnymi elementami.
W badaniach użyteczności stosujemy metody umożliwiajace uzyskanie dwów rodzajów danych: ilościowe i jakościowe.

Wyniki badań ilościowych są obiektywne, udzielają odpowiedzi na pytanie
ile i mogą być poddane obróce statystycznej. Wyników badań jakościowych mają najczęściej charakter subiektywny i udzielają odpowiedzi na pytanie dlaczego.
Podczas badania – obserwacji zachowania użytkownika – dokonujemy nastepujących rodzajów pomiaru (dane ilościowe):

– czas wykonania zadania
– czas pomiędzy poszczególnymi krokami
– drogi użytkownika, kolejno wykonywanych czynności, w tym:
– rodzaje akcji jakie wykonywał użytkownik (np. klikanie, przewijanie, wpisywanie)
– ilość kroków wykonanych do osiągnięcia celu
– ilości popełnionych błędów
– czy zadanie zostało wykonane, czy został osiągnięty wyznaczony cel.

Te dane możemy porównać z innymi elementami zachowania użytkownika – wyrazem twarzy, wypowiadanymi komentarzami podczas badania, oceną serwisu (dane jakościowe). Zebrane dane powinny pozwolić nam określić poziom użyteczności serwisu, jakie elementy interfejsu, są w pełni zrozumiałe dla użytkownika a które sprawiały problem, były niezrozumiałe.

Zebrane wnioski będą stanowić podstawę rekomendacji – czy należy wprowadzić zmiany do interfejsu i jakie to zmiany powinny być. Wyniki mogą również stać się podstawą przeprowadzenia kolejnego badania, które wyjaśni wątpliwości, które pojawiły się podczas opracowywania wyników.

Jak na podstawie tak różnych danych uzyskać taki rezultat?

Istotnym elementem jest zestawianie i porównywanie zebranych pomiarów. Tak jak sam czas wykonania zadania nie pozwala na dalsze wnioskowanie – tak zestawienie tego pomiaru z drogą użytkownika i obserwacją, w których miejscach pojawiały się dłuższe przerwy pomiędzy podejmowanymi krokami, może stanowić podstawę do wyciągania konkretnych wniosków. Dlatego należy jak najpełniej opisać zachowanie użytkownika – zebrać maksymalną ilość informacji, bez konieczności wracania do źródłowego zapisu, np. w postaci nagrania video ekranu monitora podczas wykonywania poleceń przez użytkownika.
Analiza zachowania użytkownika powinna uwzględniać zestawienia pomiarów jakościowych i ilościowych, np.:

  1. Zestawienie drogi użytkownika, którą możemy zapisać na wcześniej przygotowanej strukturze serwisu wraz z najkrótszą drogą dotarcia do celu
  2. Czas pomiędzy kolejnymi krokami wykonywanymi w interfejsie – określenie miejsc w których pojawiały się dłuższe przerwy pomiędzy kolejnymi krokami
  3. Podejmowane akcje – czy użytkownik kliknął w przycisk, wpisał tekst itd.
  4.  Zdefiniowanie rodzajów błędów, częstotliwości ich występowania oraz miejsc ich występowania w interfejsie.
  5. Zestawienie komentarzy z wykonywanymi czynnościami.

Można pod uwagę wziąć jeszcze kilka innych czynników, jak wyraz twarzy, pomiar zachowań biometrycznych. Powyżej wymienione wydają się podstawowe i można je zarejestrować przy pomocy łatwo dostępnych narzędzi. Powyższe analizy dotyczą zapisu zachowania jednego użytkownika. Kolejnym krokiem analizy będzie porównanie zachowań wszystkich użytkowników i obserwacja podobieństw i różnic.
Wizualna postać opracowania takich danych jest bardzo istotna, tak aby można było zarówno obserwować szczegóły pomiaru jak i ogólny jego charakter. Klarownie przedstawione dane, które jako liczby lub pojedyncze słowa „nic nie mówią”, prezentowane za pomocą zapisu wizualnego mogą stać się podstawą wyciągania wniosków.
Konstruując zapis znaczenie każdego jego elementu musi zostać precyzyjnie określone. Stosowane skale muszą być opisane. Wybrane symbole muszą mieć przyporządkowane znaczenia. Każda odległość, grubość linii, szerokość, kształt elementu, jego kolor, wielkość – każda z tych cech wizualnych nie może być przypadkowo nadana – powinna się wpisywać w zaprojektowany system zapisu zachowania użytkownika.

T. Tullis i B. Albert, autorzy książki Measuring user experience i strony internetowej http://www.measuringux.com stworzyli klasyfikację miar użyteczności ze względu na mierzoną jednostkę, która wyróżnia cztery kategorie analizy danych12:

  1. Miary wydajności (ang. performance metrics)

  2. Miary problemów (ang. issue-based metrics)

  3. Miary fizjologiczne i behawioralne (ang. behavioral and physiological metrics)

  4. Miary łączone i porównawcze (ang. combined and comparative metrics).

Miary wydajności
Wskaźniki wydajności powstają w oparciu o zachowania użytkowników, którzy realizują przygotowane
przez eksperta użyteczności zadania na podstawie określonego scenariusza. Badanie
i analiza obejmuje obiektywny pomiar zachowań użytkownika według następujących kategorii:

1. Wykonanie/ukończenie zadania (ang. task sucess), miara podstawowa.
Miara sprawdza efektywność ukończenia przez użytkownika przygotowanych dla niego zadań. Istnieją dwa typy tej miary: sukces binarny (ang. binary success) oraz poziom wykonania zadania (ang. levels of sucess). Sukces binarny zawiera dwa parametry: wykonanie zadania i nie wykonanie zadania. Poziomy wykonania zadania dotyczą odnotowania częściowego wykonania zadania przez użytkownika i wymagają zdefiniowania warunków ich oceny, np.:

sześciostopniowa skala ukończenia zadania:
− prawidłowe wykonanie całego zadania (bez pomocy moderatora)
− prawidłowe wykonanie całego zadania (z pomocą moderatora)
− częściowe wykonanie zadania (bez pomocy moderatora)
− częściowe wykonanie zadania (z pomocą moderatora)
− nieukończenie zadania (użytkownik uważa, że zrealizował zadania, ale tak
nie jest)
− nieukończenie zadania (użytkownik zrezygnował z realizacji zadania, gdyż
przerosło ono jego możliwości)

skala oceny w oparciu o ilość występujących problemów:
− brak problemów
− niewielkie problemy (użytkownik wykonał zadanie, ale popełnił drobne
błędy lub doszedł do rozwiązania nie wprost)
− znaczące problemy (użytkownik wykonał zadanie, ale realizując je popełnił
wiel błędów)
− brak realizacji zadania

2. Czas wykonania zadania (ang. time-on-task)
Pomiar czasu niezbędnego do realizacji danego zadania mierzony od momentu rozpoczęcia
realizacji zadania do jego zakończenia. Szybsza realizacja zadania oznacza większą
satysfakcję, która przekłada się na zwiększenie skuteczności, wydajności systemu.

3. Błędy (and. errors)
Pomiar ilości i rodzajów błędów popełnionych podczas wykonywania zadania. Po opracowaniy
listy możliwych błędów i pogrupowaniu dokonuje się następujących opracowań:
– odsetek uczestników, którzy popełnili dany błąd
– obliczenie całkowitego błędu w badaniu
– ustalenie progu ilości błędów dla każdego zadania lub pojedynczego użytkownika i
odnotowanie tylko tych przypadków, gdzie próg został przekroczony.
– częstość występowania błędu obliczona w każdym zadaniu możne wskazać, które
błędy występują najcześciej i są najbardziej kłopotliwe dla użytkowników.
– wskaźnik błędów, który konstruuje się sumując liczbę błędów dla danego zadania i
dzieląc tę sumę przez całkowitą liczbę możliwych błędów.

4. Efektywność (ang. efficiency)
Miara efektywności dotyczy pomiar wysiłku użytkownika, jaki musi on włożyć w celu realizacji przygotowanego dla niego zadania. Pomiar efektywności stanowi wskaźnik, który określa czy dane rozwiązanie interakcji należy jeszcze uprościć, czy jest ono satysfakcjonujące.

Miarę wydajności – efektywności stanowi ilość czynności, jakie użytkownik musi
wykonać w celu realizacji danego zadania. Badacz może stworzyć listę akcji podejmowanych przez użytkownika, które będą składać się na miarę efektywności (np. wprowadzenie tekstu w odpowiednie miejsce, przewinięcie strony, etc).

Na miarę wydajności składa się również stopień zagubienia uzytkownika, który można określić poprzez obliczenie współczynnika zagubienia na stronie (ang. lostness), zaproponowany w 1996 przez Pauline Smith, gdzie
L – współczynnik zagubienia,
N – liczba różnych stron odwiedzonych podczas wykonania zadania,
S – liczba wszystkich stron odwiedzonych podczas wykonania zadania, wliczając
ponowne wizyty na tych samych stronach,
R – minimalna liczba stron, które należy odwiedzić, aby wykonać zadanie.
Wartości wskaźnika powyżej 0,42 według badań Smith’a, oznacza, że użytkownicy zaczynają odczuwać zagubienie na stronie.

5. Zdolność nauki (przyswajalność) (ang. learability)
Wskaźnik ten pozwala ocenić, czy użytkownik nabiera biegłości w obsłudze danego systemu w czasie. Odbywa się to na podstawie analizy różnic
w czasie wykonania zadania wynikających z powtórnego korzystania
z systemu. Ustala się interwał czasowy pomiędzy kolejnymi próbami obsługi danego systemu. W ramach pojedynczej próby dokonywane są pomiary czasu wykonania zadania, rodzajów i ilości popełnianych błędów, czyli pomiary metryk wydajności.

Miary problemów
Miary problemów dotyczą zdefiniowanie rodzajów przeszkód uniemożliwiających ukończenie zadania. Najprostszym sposobem identyfikacji błędów jest wnikliwa analiza komentarzy jakich udzielili użytkownicy podczas badania. W ramach analizy ustalane są wskaźniki ciężkości błędów (ang. severity ratings), które pozwalają ustalić ważność zidentyfikowanych problemów. Mogą one reprezentować stopnie problemów, których podział wynika z analizy zachowań użytkownika i działania systemu np. małe błędy, błędy umiarkowane, duże. W dalszej kolejności opracowywane są kategorie problemów, np. problemy związane z nawigacją, architekturą informacji, funkcjonalnością.
Można również zdefiniować tzw. unikatowe problemy.

Miary fizjologiczne i behawioralne
Miary te uwzględniają dwa rodzaje pomiaru:

1.Pomiar zachowań werbalnych:
– należy określić kategorie oceny komentarzy, pozwalające przypisać je do jednej z trzech
grup: pozytywne, negatywne, neutralne
– zliczenie wypowiadanych przez użytkownika komentarzy
– obliczenie częstości występowania komentarzy z danej kategorii

2.Pomiar zachowań niewerbalnych:
– analiza mimiki twarzy użytkownika
– śledzenie ruchu gałek ocznych
– zmiana średnicy źrenicy oka
– przewodność skóry
– częstość akcji serca.

Advertisements

1 thought on “Badania użyteczności a pomiar zachowań użytkowników”

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s