Nutzerbefragung zur Bewertung der Usability?

Qualitative und quantitative Nutzerbefragungen

Man unterscheidet quantitative und qualitative Nutzerbefragungen. Beide verfolgen unterschiedliche Ziele.

Qualitative Nutzerbefragungen: Interviews

Unter qualitativen Nutzerbefragungen versteht man Einzelinterviews, die das Ziel verfolgen,

1. mehr über Beschwerden zu erfahren und diese zu objektivieren und
2. Ideen für künftige Produktentwicklungen zu sammeln.

Damit wird die qualitative Nutzerbefragung dazu missbraucht, das nachzuholen, was man mit einem systematischen Usability und Requirements Engineering bereits vor Entwicklungsbeginn hätte analysieren müssen.

Tipps zu qualitativen Nutzerbefragungen

1. Führen Sie nur Einzelinterviews mit circa fünf Personen pro Benutzergruppe.
2. Befragen Sie die Nutzer für ca. 45-60 Minuten.
3. Nutzen Sie standardisierte und validierte Fragebögen

Probleme und Fallen bei der qualitativen Nutzerbefragung

Bei den qualitativen Nutzerbefragungen unterlaufen Medizinprodukteherstellern regelmäßig folgende Fehler:

• Gesetzeskonformität: Sie glauben, damit die regulatorischen Anforderungen zu erfüllen. Dazu weiter unten mehr.
• Wahl der Interviewpartner: Sie wählen keine repräsentativen Nutzer als Interviewpartner, sondern den „Lieblingsarzt“ oder „Opinion Leader“.
• Wahl der Fragen: Die Fragen richten sich zu sehr auf die Wünsche der Nutzer, und man verwechselt „user requests“ mit „user requirements“.

Quantitative Nutzerbefragungen

Bei einer quantitativen Nutzerbefragung geht es darum, quantitative Vergleiche anzustellen. Dies strebt man an, um

• verschiedene Versionen eines Produkts vergleichen zu können, beispielsweise um die Verbesserung der Gebrauchstauglichkeit eines Produkts nachzuweisen.
• verschiedene Produkte beispielsweise das eigene mit dem der Konkurrenz zu vergleichen.

Quantitative Nutzerbefragungen setzen fast immer auf Fragebögen auf.

Tipps zu quantitativen Nutzerbefragungen

1. Befragen Sie mindestens 25 Personen.
2. Nutzen Sie unbedingt standardisierte Fragebögen  (siehe unten).
3. Achten Sie darauf, dass die Fragen in weniger als 10 Minuten zu beantworten sind.

Fragebögen für die quantitativen Nutzerbefragung

Die Zeitschrift iX gibt in ihrer Ausgabe 2/2014 (Seite 90ff) eine gute Übersicht über validierte Fragebögen. Sie nennt die folgenden:

1. AttrakDiff2 (kostenlos)
2. IsoMetrics
3. ISO 9241-10 (kostenlos)
4. QUIS
5. SUMI
6. SUS (kostenlos)
7. UEQ (kostenlos)
8. UFOS (kostenlos)
9. VisAWI (kostenlos)
10. WAMMI

Probleme und Fallen bei der quantitative Nutzerbefragung

Auch bei den quantiativen Nutzerbefragungen unterlaufen Medizinprodukteherstellern Fehler. Insbesondere glauben Sie, damit die regulatorischen Anforderungen zu erfüllen. Dazu weiter unten mehr.

Quantitative und Qualitative Nutzerbefragungen zum Bewerten der User Experience

Während die Nutzerbefragungen nicht sehr hilfreich sind, um regulatorische Anforderungen nachzuweisen (siehe unten), sind sie ein probates Mittel, um die User Experience (nicht Usability!) zu bewerten. Durch Befragen der Nutzer, auch der potenziellen und künftigen Nutzer, erfahren Sie mehr über den antizipierten Nutzen und Bedürfnisse.

Erfüllen Nutzerbefragungen die gesetzlichen Anforderungen?

Nutzerbefragung & IEC 62366:2007

Die IEC 62366:2007 verlangt eine Usability Verifizierung sowie Usability Validierung. Mit einer Nutzerbefragung erfüllen Sie weder das eine noch das andere:

• Usability Verifizierung: Bei einer Usability Verifizierung müssen Sie prüfen, ob spezifizierte Anforderungen an das Produkt (mit Bezug zur Usability) umgesetzt sind. Das können Sie nur mit einer Inspektion lösen, nicht mit einer Befragung.
• Usability Validierung: Bei der Usability Validierung müssen repräsentative Nutzer in einer repräsentativen Nutzungsumgebung die häufigen und sicherheitsrelevanten Nutzungsszenarien durchlaufen. Auch das können Sie mit einer Nutzerbefragung nicht ersetzen. Die teilnehmende Beobachtung ist die Methode der Wahl.

D.h. mit Nutzerbefragungen erreichen Sie im Sinn einer IEC 62366:2007 nichts.

Nutzerbefragung & IEC 62366:2015

Die IEC 62366-1:2015 kennt keine Usability Verifizierung und Validierung mehr. Vielmehr unterscheidet sie die entwicklungsbegleitende und die abschließende Bewertung.

• Entwicklungsbegleitende („formative“) Bewertung: Das Ziel dieser Bewertung besteht darin, frühzeitig Schwachstellen im Design zu identifizieren und zu beheben, bevor das Produkt in die abschließende Verifizierung oder Validierung übergeht. Es gibt hierzu eine Vielzahl an Methoden, welche im Anhang E der IEC TR 62366-2:2016 beschrieben werden. One-on-one-Interviews stellen hierbei nur eine Möglichkeit dar. Um ein benutzerfreundliches und sicheres Medizinprodukt zu entwickeln, sollten im Laufe des Entwicklungsprozesses verschiedene Methoden zum Einsatz kommen.
• Abschließende („summative“) Bewertung: Diese abschließende Prüfung erfordert die Bewertung gefährdungsbezogener Nutzungsszenarien. Im Gegensatz zu Befragungen werden hier objektive Daten durch simulierte Nutzungstests und Beobachtungen gesammelt. Ziel ist es, die sichere und effektive Nutzung des Produkts zu gewährleisten und Risiken zu minimieren.

D.h. mit Nutzerbefragungen erfüllen Sie auch die Forderungen der IEC 62366:2015 nicht.

Änderungshistorie:

• 2025-05-14: Redaktionelle Änderungen