Jesteś w: Home / Archiwum dla kategorii metryka-na-piatek

Metryka na piątek – Współczynnik zagubienia

25/02/2011 - Kategoria: badania, cytaty, metryka-na-piatek, narzędzia

W ramach jednego z z poprzednich wpisów –  “Magia numerów: Trzy kliknięcia i ani jednego więcej” przywoływałem (postrzeganą i zdiganozowaną jako fałszywą) regułę trzech kliknięć. Analizując historię tej metryki, zacząłem się zastanawiać na inną metodą mierzenia wydajności użytkownika w nawigacji – powiązanego z ilością odwiedzonych stron.

Z pomocą przyszło kilka źródeł i artykułów, z których najciekawszym jest artykuł “Towards a practical measure of hypertext usability” który ukazał się 15 lat temu (!) w znakomitym czasopiśmie Interacting for Computers. Artykuł opisuje w szczegółach badanie grupy 16-17 uczniów,  przeszukujących strony uczelni pod kątem dni otwartych i egzaminów.

We wspomnianym artykule autorka zaproponowała współczynnik zagubienia na stronie (lostness), określony następującym wzorem:

gdzie:

  • L: współczynnik zagubienia
  • N: liczba różnych stron odwiedzonych podczas wykonywania zadania
  • S: liczba wszystkich stron odwiedzonych podczas wykonywania zadania (wliczając ponowne odwiedziny tych samych stron)
  • R: minimum  stron potrzebnych do wykonania zadania

Przeprowadzone przez Pauline A. Smith badania wykazały, że wartością graniczną, dla której zaczyna się powyżej której pojawia się u badanych uczucie zagubienia, jest wartość 0,42. Aby jednak nie traktować tego wskaźnika, jako kolejnego z serii  “magicznych numerów”, autorka dodaje:

 

It is not suggested that any of the measures proposed are definitive, rather that they could provide assistance for the implementors of hypertext systems in allowing them to practically and quickly identify and focus on areas of their information base where the users are exhibiting dysfunctional behaviour. It is suggested that they could be more useful for this purpose than the more traditional measures of tune taken to complete a task and the number of errors.

Warto też dodać, że samego współczynnika zagubienia nie można korelować z satysfakcją użytkownika (lub jej brakiem) bez przeprowadzenia i obserwowania dodatkowych wskaźników.

Bibliografia dla zainteresowanych:

Metryka na piątek – Czas do zachwytu

30/07/2010 - Kategoria: metryka-na-piatek

There are a lot of metrics out there we can use to  how positive a user experience is. We can look at “time on site” to see how long someone uses a web site. We can look at “return visits” to see how many times someone returns to a web site. (…)

Here’s a simpler but just as interesting metric you might try to measure:

How long does it take for a new visitor/customer to be delighted using your product or service?

Here are a few things you might measure:

  • Time to positive feedback – How long until someone gives you a thumbs up?
  • Time to smile – If you interact with people face-to-face, how long does it take for someone to smile at you?
  • Time to share – If you have a sharing feature, are people using it? Or, are they sharing it with social media or word-of-mouth?
  • Time to create & save – How long until someone saves something that you let them create?

Przeczytaj więcej w artykule Time to Delight w serwisie – 52 Weeks of UX.

Metryka na piątek – Severity Ratings Based on a Combination of Factors

16/07/2010 - Kategoria: badania, cytaty, metryka-na-piatek

W ramach ostatniego przed wakacjami, warszawskiego UXBookClub przerabialiśmy książkę “Measuring the User Experience”. W rozdziale “Issues-Based Metrics” znalazłem interesujący pomysł na zbudowanie skali priorytetów błędów, która może być dość użyteczna w analizach eksperckich.

Rubin (1994) offers a different way of looking at the combination of severity and the frequency of occurrence of issues. First, he assigns a severity rating on a 4-point scale (1 = irritant, 2 = moderate, 3 = severe, 4 = unusable). Next, he assigns a frequency of occurrence, also on a 4-point scale (1 = occurs < 10 percent of the time; 2 = occurs 11 to 50 percent of the time; 3 = occurs 51 to 89 percent of the time; 4 = occurs more than 90 percent of the time). He then simply adds the two scores to arrive at a criticality score between 2 and 8. This approach gives a numeric severity score that may be helpful when combined with other types of data.

Building on Rubin’s method for combining different types of scores, it’s possible to add a third dimension based on importance to the business goals. For example, you might combine three different 3-point scales:

  • Impact on the user experience (1 = low, 2 = medium, 3 = high)
  • Predicted frequency of occurrence (1 = low, 2 = medium, 3 = high)
  • Impact on the business goals (1 = low, 2 = medium, 3 = high)

By adding up the three scores, you now have an overall severity rating ranging from 3 to 9. Of course, a certain amount of guesswork is involved in coming up with the levels, but at least all three factors are being taken into consideration.

Źródło: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics, Thomas Tullis, William Albert