Wer sich mit der Durchführung von Usability-Tests auseinandersetzt, stolpert irgendwann über diese Formel: N = (1-(1- L)n). Wenn Du diese Formel noch nicht kennst, dann kennst Du aber bestimmt die Kernaussage: „Sie müssen nur 5 Nutzer testen, um 85% der Fehler auf Ihrer Website zu entdecken“. Sowohl Formel als auch Aussage stammen vom Usability Guru Jakob Nielsen, der diese Gleichung 1993 zum ersten Mal aufstellte. Was er sagt, gehört erst einmal so umgesetzt.

Ich habe mir die Formel vor einiger Zeit einmal genauer angeschaut und mich gefragt, wie kommt man eigentlich auf diese Werte? N steht für die Anzahl an Fehlern im Design, n ist die Anzahl der Nutzer und L ist der Anteil an Usability Fehlern auf der Website, die von einem Nutzer in der Testsituation entdeckt werden. Nielsen setzt L mit 31% fest. Das bedeutet, dass einem Nutzer (n=1) 31%, also ca. ein Drittel, aller auf der Website vorhandenen Usability Fehler auffallen.

Ich habe schon viele Websites getestet und häufig waren die Websites hinsichtlich Möglichkeiten und Funktionen so komplex, dass auch nach dem 15. Interview neue Fehler gefunden und aufgedeckt wurden. Deswegen stelle ich die Frage, ob 31% in der heutigen Zeit noch der richtige Wert für diese Formel ist? Ich finde nicht.

Zwei Dinge sind nämlich maßgeblich entscheidend für die Komplexität der Website: Zum einen die Heterogenität der Nutzer (-bedürfnisse, -erwartungen und –anforderungen). Zum anderen die Möglichkeiten auf der Website. Die beiden Faktoren sind natürlich nicht unabhängig voneinander, denn je heterogener die Nutzer, desto vielfältiger sind die Möglichkeiten auf der Website.

Ein gutes Beispiel für eine sehr komplexe Website, die vielen unterschiedlichen Bedürfnissen gerecht werden muss, ist die Website der Deutschen Bahn. Neben Fahrkartenkauf (im In- und Ausland, mit Spartarifen, alleine oder in der Gruppe, am Wochenende, …) gibt es auch die Möglichkeiten für Auskunft, BahnCard Bestellung, Hotel und Mietwagenangebote und noch viel mehr. Es wird nicht möglich sein, mit 5 Nutzern alle Punkte zu identifizieren. Das mentale Modell des Nutzers zieht sich irgendwann zurück: Overload!

Deswegen habe ich auf Basis meiner bisherigen UX Studien ein Modell entworfen, dass die Anzahl der notwendigen Nutzer anhand von 2 Faktoren berechnet: Fehlerauffälligkeit (= Komplexität der Website) und der Heterogenität der Nutzerschaft.

graph

 

Je nach dem welche Werte man einsetzt – und wie gesagt, hierbei handelt es sich nur um meine Erfahrungswerte – erhält man einen unterschiedlich steilen / flachen Zusammenhang zwischen dem Anteil der entdeckten Fehlern und der Anzahl der dafür notwendigen Interviews.

 

Autor: Till Winkler