Heuristische Evaluation von Medizinprodukten

Die heuristische Evaluation ist ein Verfahren, mit dem Usability-Experten die Gebrauchstauglichkeit von Produkten anhand von Heuristiken (dazu gleich mehr) beurteilen.

1. Heuristische Evaluation: Begriffsklärung

a) Heuristiken sind keine Prinzipien

Eine heuristische Evaluation (oder Evaluierung) ist ein Verfahren, das – wie der Name sagt – auf Heuristiken basiert. Heuristiken sind nicht mit Prinzipien gleichzusetzen. Eine Heuristik ist eine grobe Daumenregel, mit Hilfe derer man schnell und relativ zielsicher eine Aussage treffen kann. Hingegen ist ein Prinzip eine Grundregel, die immer zutrifft.

Die ISO 9241-110 nennt die sieben Gestaltungsprinzipien:

1. Aufgabenangemessenheit
2. Selbstbeschreibungsfähigkeit
3. Erwartungskonformität
4. Lernförderlichkeit
5. Steuerbarkeit
6. Fehlertoleranz
7. Individualisierbarkeit

b) Heuristiken sind keine konkreten Gestaltungsregeln

Im Usability Engineering unterscheidet man neben den Heuristiken und Prinzipien noch Gestaltungsregeln und Konventionen.

Ebene	Beschreibung Beispiel	Beispiel	Typische Quelle
1. Gestaltungs­prinzipen	Eine Grundregel die immer zutrifft.	Das System zeigt in jeder Benutzungssituation jede erforderliche Information für den Benutzer an (Selbstbeschreibungsfähigkeit).	Normen (z.B. ISO 9241-110)
2. Heuristiken	Eine grobe Daumenregel, die häufig (aber nicht immer) zutrifft, und dazu dient die Umsetzung eines Gestaltungsprinzips zu erreichen (oder zu überprüfen).	Das System sollte eine Hilfefunktion haben. Diese Heuristik unterstützt das Prinzip „Lernförderlichkeit“. Sie trifft grundsätzlich zu, ist aber nicht immer anwendbar. So sollte ein Fahrkartenautomat keine Hilfefunktion erforderlich machen.	Normen und Fachliteratur
3. Gestaltungs­regeln	Eine konkrete Regel, die man trotzdem unterschiedlich umsetzen kann.	Eingabefelder für Pflichtangaben müssen von Eingabefeldern mit optionalen Angaben unterscheidbar sein.	Normen und Fachliteratur
4. Festgelegte Konventionen	Festgelegte Standardvorgabe ohne Interpretationsspielraum	Eingabefelder für Pflichtangaben werden am Ende des Feldbezeichners mit dem Symbol „*“ gekennzeichnet. Der Button [OK] ist immer links von [Abbrechen] platziert.	Styleguides von Herstellern (teilweise auch Normen)

Tabelle 1: Arten von Gestaltungsrichtlinien (aus dem Buch von Geis und Johner „Usability Engineering als Erfolgsfaktor – Effizient IEC 62366- und FDA-konform dokumentieren“)

Es gilt zu unterscheiden

• die Methode — heuristische Evaluation — und
• die Kriterien zu Beurteilung der Gebrauchstauglichkeit — Heuristiken — die bei dieser Methode eingesetzt werden.

2. Beispiele für Heuristiken

a) Jacob Nielsen

Ursprüngliche Liste an Heuristiken

Jacob Nielsen entwickelte bereits in den 1990er Jahren einen Satz bekannter Heuristiken. Zu diesen Heuristiken zählen beispielsweise die folgenden:

• Sichtbarkeit des Systemstatus
  Das System sollte die Nutzer immer durch angemessene Rückmeldungen in vernünftiger Zeit darüber informieren, was vor sich geht. Beispiele für solche Rückmeldungen sind Fortschrittsbalken oder aufleuchtende Diskettensymbole in der Statuszeile, wenn Word im Hintergrund speichert.
• Übereinstimmung zwischen dem System und der echten Welt
  Das System sollte in der Sprache der Anwender kommunizieren und Informationen in der natürlichen bzw. logischen Reihenfolge anzeigen.
• Ästhetisches und minimalistisches Design
  Dialoge sollten keine Informationen enthalten, die nicht relevant oder selten benötigt werden. Jede zusätzliche Information konkurriert mit anderer Information und reduziert damit deren relative Sichtbarkeit.

Hier die vollständige Liste an Heuristiken von Norman Nielsen:

1. Visibility of system status
2. Match between system and the real world
3. User control and freedom
4. Consistency and standards.
5. Error prevention
6. Recognition rather than recall
7. Flexibility and efficiency of use
8. Aesthetic and minimalist design
9. Help users recognize, diagnose, and recover from errors
10. Help and documentation

Wenn man diese „Heuristiken“ genauer studiert, stellt man fest, dass sie eine Mischung aus Heuristiken und Gestaltungsprinzipien darstellen. Letztere nennt die ISO 9241-110 die „Grundsätze der Dialoggestaltung“:

• Aufgabenangemessenheit
• Selbstbeschreibungsfähigkeit
• Steuerbarkeit (entspricht bei den Heuristiken von Nielsen der Nummer 3.)
• Erwartungskonformität (entspricht bei den Heuristiken von Nielsen etwa der Nummer 4.)
• Fehlertoleranz (entspricht bei den Heuristiken von Nielsen der Nummer 5.)
• Individualisierbarkeit
• Lernförderlichkeit (entspricht bei den Heuristiken von Nielsen etwa den Nummern 6., 9. und 10.)

Liste an Heuristiken mit Design-Fehlern

Die NNGroup hat einen Artikel zu häufigen Designmängeln bei SW verfasst. Die 10 häufigsten Mängel führen auch bei den Usability Tests, die das Johner Institut durchführt, immer wieder zu Problemen.

1. Ungenügendes Systemfeedback
2. Inkonsistenz
3. Uninformative Fehlermeldungen
4. Keine Default-Werte
5. Unbeschriftete Icons
6. Schwer zu bedienende Elemente
7. Unnötiger Einsatz von modalen Fenstern
8. Bedeutungslose Informationen
9. Junk-Drawer Menus
10. Nähe von zerstörerischen und bestätigenden Actions. (Das ist insbesondere bei Medizinprodukten sehr relevant.)

b) ISO 9241 (Familie)

Eine sehr umfangreiche Sammlung an Gestaltungsrichtlinien (Heuristiken, Gestaltungsregeln) liefert die Normenfamilie ISO 9241. Beispielsweise beschreibt die ISO 9241-125, wie man Farben zur Kodierung einsetzen soll, wie Cursor zu gestalten sind, wie und wo Labels zu positionieren sind und vieles, vieles mehr.

c) Beispiele für die Prüfung von Gebrauchsanweisungen

Auch Gebrauchsanweisungen lassen sich mit Hilfe von Heuristiken und weiteren Kriterien prüfen:

• Bezieht sich die Gebrauchsanweisung auf die richtige Version des Produkts? Ist sie damit konsistent?
• Ist die Sprache korrekt und verständlich?
• Beschreibt die Gebrauchsanweisung die Verwendung aus Sicht der Anwender (und eben nicht aus Sicht der Entwickler)?
• Ist das Detaillevel konsistent und sinnvoll?
• Werden die im jeweiligen „Kulturkreis“ üblichen Einheiten verwendet?
• Können die Leser immer verstehen, wo sie sich beim Lesen gerade befinden?
• Erlaubt das Inhaltsverzeichnis eine rasche Navigation? Gibt es ein Stichwortverzeichnis?
• Beschreibt die Gebrauchsanweisung zusammengehörende Schritte auch zusammen? Häufig werden diese zu sehr durch die Beschreibung von Fehlermeldungen und medizinischen Hintergründen unterbrochen.
• Gibt es Hinweise zum „Trouble Shooting“?
• Sind zusammengehörende Texte und Bilder auch zusammengehörend dargestellt?

Sind umfangreichere Prüfungen der Gebrauchsanweisungen möglich, werden diese anhand der Kriterien der IEC 82079-1 und des AAMI TIR 49 durchgeführt.

3. Heuristische Evaluation: Anwendungsgebiete

a) Formative Bewertung

Die heuristische Evaluierung bietet sich v.a. bei der formativen d.h. entwicklungsbegleitenden Bewertung von Benutzungsschnittstellen an. Denn sie erlaubt es, schnell und zu niedrigen Kosten relevante Nutzungsprobleme zu identifizieren.

Allerdings eignet sich die heuristische Analyse nicht, um die Gebrauchstauglichkeit von Benutzungsschnittstellen nachzuweisen. Dazu bedarf es teilnehmender Beobachtungen d.h. dem Usability Testing.

b) Nicht nur für die Produkte selbst

c) Bei Firmenübernahmen

Gelegentlich findet das Verfahren auch Anwendung bei Produkten, die sich bereits im Markt befinden. Beispielsweise könnte eine Firma, die einen Hersteller inklusive dessen Produkten übernimmt, sich rasch eine erste Einschätzung der Gebrauchstauglichkeit der Produkte verschaffen.

d) Bei Gerichtsverfahren

Vor Gericht oder bei Disputen mit der FDA nutzen Gutachter Heuristiken, um Aussagen über die Gebrauchstauglichkeit von Produkten zu treffen.

5. Heuristische Evaluierung: Ablauf

Eine heuristische Evaluierung läuft regelmäßig in den folgenden Schritten ab:

1. Gegenstand und Ziel der Bewertung festlegen
   Der Hersteller legt den Gegenstand (z.B. Produkt, Gebrauchsanweisung) und das Ziel (z.B. Input für die Verbesserung / Weiterentwicklung bekommen) fest.
2. Heuristische Bewertung planen und vorbereiten
   Der Hersteller bestimmt die Anzahl der Inspektoren / Usability-Experten. Im einfachsten Fall ist das eine Person, idealerweise wären es fünf. Er wählt diese Personen anhand deren Qualifikation aus und vereinbart die Termine. Bei diesem Schritt plant er auch Budgets und Kosten.
3. Bewertung durchführen
   Der Hersteller stellt den Experten das Produkt und das Ziel der heuristischen Evaluation vor. Besonders weniger kompetente Hersteller überlassen den Experten die Auswahl der Prüfkriterien (Heuristiken, Gestaltungsregeln), gegen die geprüft werden soll.
   Die Experten prüfen die Produkte einzeln und dokumentieren die Ergebnisse inklusive Nennung der Gestaltungsregeln, gegen die verstoßen wurde, sowie wahrscheinliche Nutzungsprobleme.
4. Ergebnisse konsolidieren
   Die Experten konsolidieren ihre Ergebnisse und erstellen Verbesserungsvorschläge.
5. Schlussfolgerungen ziehen
   Die Hersteller analysieren und bewerten die Risiken, die sich aus den antizipierten Nutzungsproblemen ergeben und entscheiden über die Umsetzung der Verbesserungsvorschläge.

6. Vor- und Nachteile einer heuristischen Analyse

Wie jedes Verfahren hat auch die heuristische Analyse Vor- und Nachteile.

Vorteile	Nachteile
Schnelle und kostengünstige Rückmeldungen Möglichkeit, früh Feedback zu bekommen Möglichkeit, Verbesserungen früh und damit kostengünstiger umzusetzen Weniger Überraschungen / Probleme im abschließenden Usability-Test	Kompetente Experten sind unverzichtbar. Diese sind manchmal schwer zu finden und teuer. Es sollten mehrere Experten beteiligt werden, die idealerweise zeitlich synchronisiert werden müssen Kein Beweis der Gebrauchstauglichkeit

7. Normen und Gesetze zu den heuristischen Verfahren

a) IEC 62366

Der TR IEC 62366-2 nennt die „heuristic analysis“ explizit als eines der Verfahren für die formative Bewertung. Er beschreibt dieses Verfahren im Anhang E11. Der Technical Report erwähnt die heuristische Evaluation sogar im Kontext der Prüfung von Maßnahmen zur Risikokontrolle.

Die Beschreibung der heuristischen Analyse ist jedoch nur vier Sätze lang. Erwähnenswert sind „nur“ diese Punkte:

• Es sollten ein oder mehrere Experten teilnehmen („perhaps three“)
• Die Experten sollten die Probleme nennen und Lösungsvorschläge unterbreiten.
• Die Experten sollten ihre Ergebnisse zusammentragen („develop consensus finding“) und dokumentieren.
• Als Quellen für Heuristiken nennt der Technical Report die Arbeit von Zhang und den AAMI HE 75.

b) FDA

Die FDA geht im Guidance Document zum Human Factors Engineering ebenfalls auf die heuristische Bewertung ein:

• Dieses Verfahren kann/soll zum identifizieren kritischer (sicherheitsbezogener) Aufgaben verwendet werden.
• Es sollen Experte einbezogen werden, die gegen Prinzipien (sic!), Regeln oder Heuristiken prüfen. Man soll die Heuristiken wählen, die am besten passen. Nach welchen Kriterien man diese auswählen soll, verrät das Dokument nicht.
• Das Ziel besteht darin, mögliche Schwachstellen im Design zu finden, besonders, wenn diese zu Schäden führen können.

Auch im Guidance Document ist die Beschreibung des Verfahrens nur wenige Sätze lang.

8. Fazit und Zusammenfassung

Der Begriff „heuristische Evaluation“ wird regelmäßig unsauber verwendet, so auch von Wikipedia. Viele Quellen verstehen darunter nicht nur die Prüfung der Gebrauchstauglichkeit durch Experten anhand von Heuristiken. Vielmehr wenden sie alle Gestaltungsregeln und Prinzipen als Prüfkriterien an.

Dass man die heuristische Bewertung v.a. als Verfahren bei der formativen Evaluation einsetzen sollte, stimmt. Allerdings gibt es wie oben dargestellt auch Anwendungsfälle, die darüber hinausgehen.

Die heuristische Analyse steht und fällt mit der Kompetenz und Verfügbarkeit von Experten. Dazu zählt auch, dass diese Experten dem Sprach- bzw. Kulturkreis der künftigen Nutzer entstammen. Ein deutscher Experte kann eine Gebrauchsanweisung für den US-Markt nur bedingt prüfen und vice versa.

Sind diese Voraussetzungen erfüllt, haben die Hersteller eine mächtige und sehr zeit- und kostensparende Methode zur Hand, um Probleme mit der Gebrauchstauglichkeit früh zu erkennen und darauf zu reagieren.

Unterstützung und weitere Informationen

Literaturquellen

Sie finden in einen Beitrag von Theresa Neil schöne Beispiele dafür, wie die „Heuristiken“ von Nielsen in Software-Anwendungen umgesetzt wurden.

Das t3n-Magazin hat einen Artikel über Regeln, Patterrn und Darkpattern im Usability Engineering verfasst.

Lesenswert ist der Artikel von Zhang „Using usability heuristics to evaluate patient safety of medical devices“.

Durchführung

Das Johner Institut unterstützt in seinen Usability Labs in Deutschland und den USA Hersteller auch bei heuristischen Bewertungen und der IEC 62366-1 und FDA-konformen Dokumentation.