W jaki sposób oceniać i dokonywać pomiaru użyteczności?

pomiar-ilustracja-news-29-11-2012+02

Zapewniający: efektywną pracę, łatwość nauki, satysfakcję, zadowolenie, pozytywne emocje, spełnia oczekiwania, pozytywnie zaskakuje, ułatwia…
Do listy cech użytecznego serwisu można dopisać jeszcze wiele innych pojęć. Użyteczność z jednej strony jest wrażeniem użytkownika, subiektywną oceną – z drugiej strony możemy ją przełożyć na konkretne sytuacje odpowiadając sobie na pytania: czy użytkownicy wracają do naszego systemu, ile czasu zajmuje im wykonanie określonego zadania, jak często sięgają po pomoc przy jego obsłudze? …

Istnieje wiele metod analiz użyteczności. Audyty eksperckie, wywiady, rozmowy z użytkownikami. Jednak najlepszym sposobem oceny systemu jest obserwacja samych użytkowników podczas korzystania systemu. W wyniku przeprowadzenia badania otrzymujemy m.in. nagrania prezentujące co działo się na ekranie monitora, twarz użytkownika czy nawet głośno wypowiadane przez niego komentarze.

W jaki sposób na podstawie takiego materiału opracować wnioski z badania? Z pewnością uczestniczenie w takim badaniu nakreśliło obraz poziomu użyteczności danego systemu. Jednak wiele rzeczy mogło nam umknąć – dlatego wnikliwa analiza zgromadzonych materiałów jest bardzo ważna.

Oglądamy nagrania z badań i co dalej?

Trzeba znaleźć sposób opisu tego co obserwujemy. Zapis badania musi umożliwić odnotowanie wszystkich istotnych zdarzeń, z punktu widzenia użyteczności. Również powinien pozwolić na sumowanie wyników i łatwe ich porównywanie pomiędzy poszczególnymi sesjami.

Tullis i Albert stworzyli klasyfikację miar użyteczności ze względu na mierzoną jednostkę:
− miary wydajności (ang. performance metrics),
− miary problemów (ang. issue-based metrics),
− miary fizjologiczne i behawioralne (ang. behavioral and physiological metrics),
− miary łączone i porównawcze (ang. combined and comparative metrics).

Poszczególne miary odnoszą się do zapisu takich zdarzeń jak:
* popełniane błędy (ilość, rodzaj, częstotliwości)
* czas wykonania zadania
* wykonanie zadania – osiągnięcie celu lub jego brak
* poziomy wykonania zadania
* ilość wykonanych kroków
* droga użytkownika

Przy analizie poszczególnych miar analizuje się poszczególne zdarzenia oraz zachodzące zależności pomiędzy nimi: np.
– ilość popełnionych błędów a wybrana droga
– czas spędzony na wykonanie zadania a ilość wykonanych kroków.

Możemy również tworzyć kategorie oceny poszczególnych zdarzeń i przypisywać im określone wartości liczbowe, np. wypowiadane komentarze możemy podzielić na pozytywne, negatywne, neutralne i przypisać im częstotliwość występowania.

Podane powyżej sposoby zapisu zachowania użytkownika odnoszą się do pomiaru danych ilościowych. Potrafimy określić ile błędów popełnił użytkownik, ile kroków wykonał, ile czasu spędził wykonując zadanie. Możemy nawet obliczyć współczynnik zagubienia – którego wartość powie nam czy użytkownik zagubił się w systemie. Mamy zbiór obiektywnych danych. Jednak nie dadzą one odpowiedzi dlaczego tak się dzieje. Jedynie możemy stwierdzić określone fakty. Odpowiedź a to pytanie może dać analiza danych jakościowych, które odnoszą się np. do interpretacji komentarzy. Tutaj wzory statystyczne nam nie pomogą. W kolejnej odsłonie przybornika badacza użyteczności poruszymy również ten problem.

Teraz zachęcam do zapoznania się ze szczegółami pomiaru danych ilościowych:
marta wieckowska_badania_uzytecznosci-pomiar
pomiar zachowań użytkowników

Advertisements