Nutzerbefragung zur Bewertung der Usability?

Qualitative und quantitative Nutzerbefragungen

Man unterscheidet quantitative und qualitative Nutzerbefragungen. Beide verfolgen unterschiedliche Ziele.

Qualitative Nutzerbefragungen: Interviews

Unter qualitativen Nutzerbefragungen versteht man Einzelinterviews, die das Ziel verfolgen,

1. mehr über Beschwerden zu erfahren und diese zu objektivieren und
2. Ideen für künftige Produktentwicklungen zu sammeln.

Damit wird die qualitative Nutzerbefragung dazu missbraucht, das nachzuholen, was man mit einem systematischen Usability und Requirements Engineering bereits vor Entwicklungsbeginn hätte analysieren müssen.

Tipps zu qualitativen Nutzerbefragungen

1. Führen Sie nur Einzelinterviews mit circa fünf Personen pro Benutzergruppe.
2. Befragen Sie die Nutzer für ca. 45-60 Minuten.
3. Nutzen Sie standardisierte und validierte Fragebögen

Probleme und Fallen bei der qualitativen Nutzerbefragung

Bei den qualitativen Nutzerbefragungen unterlaufen Medizinprodukteherstellern regelmäßig folgende Fehler:

• Gesetzeskonformität: Sie glauben, damit die regulatorischen Anforderungen zu erfüllen. Dazu weiter unten mehr.
• Wahl der Interviewpartner: Sie wählen keine repräsentativen Nutzer als Interviewpartner, sondern den „Lieblingsarzt“ oder „Opinion Leader“.
• Wahl der Fragen: Die Fragen richten sich zu sehr auf die Wünsche der Nutzer, und man verwechselt „user requests“ mit „user requirements“.

Quantitative Nutzerbefragungen

Bei einer quantitativen Nutzerbefragung geht es darum, quantitative Vergleiche anzustellen. Dies strebt man an, um

• verschiedene Versionen eines Produkts vergleichen zu können, beispielsweise um die Verbesserung der Gebrauchstauglichkeit eines Produkts nachzuweisen.
• verschiedene Produkte beispielsweise das eigene mit dem der Konkurrenz zu vergleichen.

Quantitative Nutzerbefragungen setzen fast immer auf Fragebögen auf.

Tipps zu quantitativen Nutzerbefragungen

1. Befragen Sie mindestens 25 Personen.
2. Nutzen Sie unbedingt standardisierte Fragebögen  (siehe unten).
3. Achten Sie darauf, dass die Fragen in weniger als 10 Minuten zu beantworten sind.

Fragebögen für die quantitativen Nutzerbefragung

Die Zeitschrift iX gibt in ihrer Ausgabe 2/2014 (Seite 90ff) eine gute Übersicht über validierte Fragebögen. Sie nennt die folgenden:

1. AttrakDiff2 (kostenlos) Die Webseite http://www.attrakdiff.de/ ist leider häufiger offline.
2. IsoMetrics
3. ISO 9241-10 (kostenlos)
4. QUIS
5. SUMI
6. SUS (kostenlos)
7. UEQ (kostenlos)
8. UFOS (kostenlos)
9. VisAWI (kostenlos)
10. WAMMI

Probleme und Fallen bei der quantitative Nutzerbefragung

Auch bei den quantiativen Nutzerbefragungen unterlaufen Medizinprodukteherstellern Fehler. Insbesondere glauben Sie, damit die regulatorischen Anforderungen zu erfüllen. Dazu weiter unten mehr.

Quantitative und Qualitative Nutzerbefragungen zum Bewerten der User Experience

Während die Nutzerbefragungen nicht sehr hilfreich sind, um regulatorische Anforderungen nachzuweisen (siehe unten), sind sie ein probates Mittel, um die User Experience (nicht Usability!) zu bewerten. Durch Befragen der Nutzer, auch der potenziellen und künftigen Nutzer, erfahren Sie mehr über den antizipierten Nutzen und Bedürfnisse.

Erfüllen Nutzerbefragungen die gesetzlichen Anforderungen?

Nutzerbefragung & IEC 62366:2007

Die IEC 62366:2007 verlangt eine Usability Verifizierung sowie Usability Validierung. Mit einer Nutzerbefragung erfüllen erfüllen Sie weder das eine noch das andere:

• Usability Verifizierung: Bei einer Usability Verifizierung müssen Sie prüfen, ob spezifizierte Anforderungen an das Produkt (mit Bezug zur Usability) umgesetzt sind. Das können Sie nur mit einer Inspektion lösen, nicht mit einer Befragung.
• Usability Validierung: Bei der Usability Validierung müssen repräsentative Nutzer in einer repräsentativen Nutzungsumgebung die häufigen und sicherheitsrelevanten Nutzungsszenarien durchlaufen. Auch das können Sie mit einer Nutzerbefragung nicht ersetzen. Die teilnehmende Beobachtung ist die Methode der Wahl.

D.h. mit Nutzerbefragungen erreichen Sie im Sinn einer IEC 62366:2007 nichts.

Nutzerbefragung & IEC 62366:2015

Die IEC 62366-1:2015 kennt keine Usability Verifizierung und Validierung mehr. Vielmehr unterscheidet sie die entwicklungsbegleitende und die abschließende Bewertung.

• Entwicklungsbegleitende („formative“) Bewertung: Bei dieser Bewertung muss festgelegt werden, welche Teile der Nutzungschnittstelle (UI) zu bewerten sind. Es wäre zwar denkbar, dass man diese Bewertung in Form von Befragungen durc2hführt. Methodisch wäre dies aber sehr zweifelhaft. Sinnvolle entwicklungsbegleitende Bewertungen wären entweder eine Usability Verifizierung oder Validierung.
• Abschließende („summative“) Bewertung: Diese Prüfung verlangt, dass die gefährdungsbezogenen Nutzungsszenarien zu bewerten sind. Auch dies lässt sich in Form einer Nutzungsbefragung nicht wirklich leisten.

D.h. mit Nutzerbefragungen erfüllen Sie auch die Forderungen der IEC 62366:2015 nicht.