Heuristische Evaluation von Medizinprodukten

Dienstag 20. März 2018

Die heuristische Evaluation ist ein Verfahren, mit dem Usability-Experten die Gebrauchstauglichkeit von Produkten anhand von Heuristiken (dazu gleich mehr) beurteilen.

Dieser Artikel zeigt, wie Sie heuristische Evaluationen nutzen können, um die regulatorischen Anforderungen ans Usability Engineering sehr schnell und kostengünstig zu erfüllen.

Er verrät Ihnen auch, weshalb Sie die heuristische Evaluation nicht auf das (Medizin-)Produkt selbst beschränken sollten.

1. Heuristische Evaluation: Begriffsklärung

a) Heuristiken sind keine Prinzipien

Eine heuristische Evaluation (oder Evaluierung) ist ein Verfahren, das – wie der Name sagt – auf Heuristiken basiert. Heuristiken sind nicht mit Prinzipien gleichzusetzen. Eine Heuristik ist eine grobe Daumenregel, mit Hilfe derer man schnell und relativ zielsicher einer Aussage treffen kann. Hingegen ist ein Prinzip eine Grundregel, die immer zutrifft.

Heuristische Evaluation: Heuristiken versus Prinzipien

Abb. 1: Heuristiken versus Prinzipien. Häufig nutzt die heuristische Evaluation nicht nur nur Heuristiken, sondern auch Prinzipien und weitere Gestaltungsrichtlinien (s. Tabelle 1)

Die ISO 9241-110 nennt die sieben Gestaltungsprinzipien:

  1. Aufgabenangemessenheit
  2. Selbstbeschreibungsfähigkeit
  3. Erwartungskonformität
  4. Lernförderlichkeit
  5. Steuerbarkeit
  6. Fehlertoleranz
  7. Individualisierbarkeit

b) Heuristiken sind keine konkreten Gestaltungsregeln

Im Usability Engineering unterscheidet man neben den Heuristiken und Prinzipien noch Gestaltungsregeln und Konventionen.

Ebene Beschreibung Beispiel Beispiel Typische Quelle
1. Gestaltungs­prinzipen Eine Grundregel die immer zutrifft. Das System zeigt in jeder Benutzungssituation jede erforderliche Information für den Benutzer an (Selbstbeschreibungsfähigkeit). Normen (z.B. ISO 9241-110)
2. Heuristiken Eine grobe Daumenregel, die häufig (aber nicht immer) zutrifft, und dazu dient die Umsetzung eines Gestaltungsprinzips zu erreichen (oder zu überprüfen). Das System sollte eine Hilfefunktion haben.

Diese Heuristik unterstützt das Prinzip „Lernförderlichkeit“. Sie trifft grundsätzlich zu, ist aber nicht immer anwendbar. So sollte ein Fahrkartenautomat keine Hilfefunktion erforderlich machen.

 

Normen und Fachliteratur
3. Gestaltungs­regeln Eine konkrete Regel, die man trotzdem unterschiedlich umsetzen kann. Eingabefelder für Pflichtangaben müssen von Eingabefeldern mit optionalen Angaben unterscheidbar sein. Normen und Fachliteratur
4. Festgelegte Konventionen Festgelegte Standardvorgabe ohne Interpretationsspielraum
  • Eingabefelder für Pflichtangaben werden am Ende des Feldbezeichners mit dem Symbol „*“ gekennzeichnet.
  • Der Button [    OK   ] ist immer links von [Abbrechen] platziert.
Styleguides von Herstellern

(teilweise auch Normen)

Tabelle 1: Arten von Gestaltungsrichtlinien (aus dem Buch von Geis und Johner „Usability Engineering als Erfolgsfaktor – Effizient IEC 62366- und FDA-konform dokumentieren“)

2. Beispiele für Heuristiken

a) Jacob Nielsen

Jacob Nielsen entwickelte bereits in den 1990er Jahren einen Satz bekannter Heuristiken. Zu diesen Heuristiken zählen beispielsweise die folgenden:

  • Sichtbarkeit des Systemstatus
    Das System sollte die Nutzer immer durch angemessene Rückmeldungen in vernünftiger Zeit darüber informieren, was vor sich geht. Beispiele für solche Rückmeldungen sind Fortschrittsbalken oder aufleuchtende Diskettensymbole in der Statuszeile, wenn Word im Hintergrund speichert.
  • Übereinstimmung zwischen dem System und der echten Welt
    Das System sollte in der Sprache der Anwender kommunizieren und Informationen in der natürlichen bzw. logischen Reihenfolge anzeigen.
  • Ästhetisches und minimalistisches Design
    Dialoge sollten keine Informationen enthalten, die nicht relevant oder selten benötigt werden. Jede zusätzliche Information konkurriert mit anderer Information und reduziert damit deren relative Sichtbarkeit.

Einige von Nielsens Heuristiken sind sehr nah an den Gestaltungsprinzipien wie der Fehlertoleranz und Steuerbarkeit.

b) ISO 9241 (Familie)

Eine sehr umfangreiche Sammlung an Gestaltungsrichtlinien (Heuristiken, Gestaltungsregeln) liefert die Normenfamilie ISO 9241. Beispielsweise beschreibt die ISO 9241-125, wie man Farben zur Kodierung einsetzen soll, wie Cursor zu gestalten sind, wie und wo Labels zu positionieren sind und vieles, vieles mehr.

Weiterführende Informationen

Lesen Sie hier mehr über die ISO 9241, auch über die Vorgaben der ISO 9241-125.

Die ISO 9241-125 nennt Heuristiken und Regeln für die Gestaltung von Benutzungsschnittstellen

Abb. 2: Die ISO 9241-125 nennt Heuristiken und Regeln für die Gestaltung von Benutzungsschnittstellen (zum Vergrößern klicken)

c) Beispiele für die Prüfung von Gebrauchsanweisungen

Das Johner Institut prüft Gebrauchsanweisungen in seinen Usability-Labs in Deutschland und den USA beispielsweise anhand folgender Prüfkriterien:

  • Bezieht sich die Gebrauchsanweisung auf die richtige Version des Produkts? Ist sie damit konsistent?
  • Ist die Sprache korrekt und verständlich?
  • Beschreibt die Gebrauchsanweisung die Verwendung aus Sicht der Anwender (und eben nicht aus Sicht der Entwickler)?
  • Ist das Detaillevel konsistent und sinnvoll?
  • Werden die im jeweiligen „Kulturkreis“ üblichen Einheiten verwendet?
  • Können die Leser immer verstehen, wo sie sich beim Lesen gerade befinden?
  • Erlaubt das Inhaltsverzeichnis eine rasche Navigation? Gibt es ein Stichwortverzeichnis?
  • Beschreibt die Gebrauchsanweisung zusammengehörende Schritte auch zusammen? Häufig werden diese zu sehr durch die Beschreibung von Fehlermeldungen und medizinischen Hintergründen unterbrochen.
  • Gibt es Hinweise zum „Trouble Shooting“?
  • Sind zusammengehörende Texte und Bilder auch in zusammengehörend dargestellt?

Sind umfangreichere Prüfungen der Gebrauchsanweisungen möglich, werden diese anhand der Kriterien der IEC 82079-1 und des AAMI TIR 49 durchgeführt.

3. Heuristische Evaluation: Anwendungsgebiete

a) Formative Bewertung

Die heuristische Evaluierung bietet sich v.a. bei der formativen d.h. entwicklungsbegleitenden Bewertung von Benutzungsschnittstellen an. Denn sie erlaubt es, schnell und zu niedrigen Kosten relevante Nutzungsprobleme zu identifizieren.

Allerdings eignet sich die heuristische Analyse nicht, um die Gebrauchstauglichkeit von Benutzungsschnittstellen nachzuweisen. Dazu bedarf es teilnehmender Beobachtungen d.h. dem Usability Testing.

b) Nicht nur für die Produkte selbst

Tipp

Das Johner Institut bewertet nicht nur die Produkte, sondern auch die Gebrauchsanweisungen und andere Elemente des Labelings mit der heuristischen Evaluation.

c) Nach der Inverkehrbringung

Gelegentlich findet das Verfahren auch Anwendung bei Produkten, die sich bereits im Markt befinden. Beispielsweise könnte eine Firma, die einen Hersteller inklusive dessen Produkten übernimmt, sich rasch eine erste Einschätzung der Gebrauchstauglichkeit verschaffen.

Vor Gericht oder bei Disputen mit der FDA nutzen Gutachter Heuristiken, um Aussagen über die Gebrauchstauglichkeit von Produkten zu treffen.

5. Heuristische Evaluierung: Ablauf

Eine heuristische Evaluierung läuft regelmäßig in den folgenden Schritten ab:

  1. Gegenstand und Ziel der Bewertung festlegen
    Der Hersteller legt den Gegenstand (z.B. Produkt, Gebrauchsanweisung) und das Ziel (z.B. Input für die Verbesserung / Weiterentwicklung bekommen) fest.
  2. Heuristische Bewertung planen und vorbereiten
    Der Hersteller bestimmt die Anzahl der Inspektoren / Usability-Experten. Im einfachsten Fall ist das eine Person, idealerweise wären es fünf. Er wählt diese Personen anhand deren Qualifikation aus und vereinbart die Termine. Bei diesem Schritt plant er auch Budgets und Kosten.
  3. Bewertung durchführen
    Der Hersteller stellt den Experten das Produkt und das Ziel der heuristischen Evaluation vor. Besonders weniger kompetente Hersteller überlassen den Experten die Auswahl der Prüfkriterien (Heuristiken, Gestaltungsregeln), gegen die geprüft werden soll.
    Die Experten prüfen die Produkte einzeln und dokumentieren die Ergebnisse inklusive Nennung der Gestaltungsregeln, gegen die verstoßen wurde, sowie wahrscheinliche Nutzungsprobleme.
  4. Ergebnisse konsolidieren
    Die Experten konsolidieren ihre Ergebnisse und erstellen Verbesserungsvorschläge.
  5. Schlussfolgerungen ziehen
    Die Hersteller analysieren und bewerten die Risiken, die sich aus den antizipierten Nutzungsproblemen ergeben und entscheiden über die Umsetzung der Verbesserungsvorschläge.

6. Vor- und Nachteile einer heuristischen Analyse

Vorteile Nachteile
  • Schnelle und kostengünstige Rückmeldungen
  • Möglichkeit, früh Feedback zu bekommen
  • Möglichkeit, Verbesserungen früh und damit kostengünstiger umzusetzen
  • Weniger Überraschungen / Probleme im abschließenden Usability-Test
  • Kompetente Experten sind unverzichtbar. Diese sind manchmal schwer zu finden und teuer.
  • Es sollten mehrere Experten beteiligt werden, die idealerweise zeitlich synchronisiert werden müssen
  • Kein Beweis der Gebrauchstauglichkeit

 

7. Normen und Gesetze zu den heuristischen Verfahren

a) IEC 62366

Der TR IEC 62366-2 nennt die „heuristic analysis“ explizit als eines der Verfahren für die formative Bewertung. Er beschreibt dieses Verfahren im Anhang E11. Der Technical Report erwähnt die heuristische Evaluation sogar im Kontext der Prüfung von Maßnahmen zur Risikokontrolle.

Die Beschreibung der heuristischen Analyse ist jedoch nur vier Sätze lang. Erwähnenswert sind „nur“ diese Punkte:

  • Es sollten ein oder mehrere Experten teilnehmen („perhaps three“)
  • Die Experten sollten die Probleme nennen und Lösungsvorschläge unterbreiten.
  • Die Experten sollten ihre Ergebnisse zusammentragen („develop consensus finding“) und dokumentieren.
  • Als Quellen für Heuristiken nennt der Technical Report die Arbeit von Zhang und den AAMI HE 75.

b) FDA

Die FDA geht im Guidance Document zum Human Factors Engineering ebenfalls auf die heuristische Bewertung ein:

  • Dieses Verfahren kann/soll zum identifizieren kritischer (sicherheitsbezogener) Aufgaben verwendet werden.
  • Es sollen Experte einbezogen werden, die gegen Prinzipien (sic!), Regeln oder Heuristiken prüfen. Man soll die Heuristiken wählen, die am besten passen. Nach welchen Kriterien man diese auswählen soll, verrät das Dokument nicht.
  • Das Ziel besteht darin, mögliche Schwachstellen im Design zu finden, besonders, wenn diese zu Schäden führen können.

Auch im Guidance Document ist die Beschreibung des Verfahrens nur wenige Sätze lang.

8. Fazit und Zusammenfassung

Der Begriff „heuristische Evaluation“ wird regelmäßig unsauber verwendet, so auch von Wikipedia. Viele Quellen verstehen darunter nicht nur die Prüfung der Gebrauchstauglichkeit durch Experten anhand von Heuristiken. Vielmehr können alle Gestaltungsregeln und Prinzipen als Prüfkriterien verwendet werden.

Dass man die heuristische Bewertung v.a. als Verfahren bei der formativen Evaluation einsetzen sollte, stimmt. Allerdings gibt es wie oben dargestellt auch Anwendungsfälle, die darüber hinausgehen.

Die heuristische Analyse steht und fällt mit der Kompetenz und Verfügbarkeit von Experten. Dazu zählt auch, dass diese Experten dem Sprach- bzw. Kulturkreis der künftigen Nutzer entstammen. Ein deutscher Experte kann eine Gebrauchsanweisung für den US-Markt nur bedingt prüfen und vice versa.

Sind diese Voraussetzungen erfüllt, haben die Hersteller eine mächtige und sehr zeit- und kostensparende Methode zur Hand, um Gebrauchstauglichkeitsprobleme früh zu erkennen und darauf reagieren zu können.

 

 


Kategorien: Usability & IEC 62366
Tags:

Kommentar schreiben