Usability Validierung: Konform mit IEC 62366 und FDA

Dienstag 17. März 2015

Die Usability Validierung ist eine Prüfung mit objektiven Mitteln, ob spezifizierte Nutzer im spezifizierten Nutzungskontext die spezifizierten Nutzungsziele (Zweckbestimmung) effektiv und effizient erreichen können.

Regulatorische Anforderungen an die Usability Validierung

Das Usability Labor dient meist der Usability Validierung

Die Medizinprodukte-Richtlinie MDD fordert explizit, dass Hersteller auch Risiken identifizieren und beherrschen müssen, die sich aus einem spezifischen Nutzungskontext und durch die Charakteristiken der Nutzer (z.B. Ausbildungsgrad, intellektuelle und sprachliche Fähigkeiten) ergeben. Das gleiche tut die FDA.

Um den Nachweis zu erbringen, dass diese Forderungen erfüllt sind, bedarf es einer Usability Validierung. Die IEC 62366 sowie das Human Factors Engineering Guidance Dokument der FDA geben Hinweise, wie diese Usability Validierung zu erfolgen hat.

1. Charakterisierung der Benutzer

Die Usability Validierung muss also mit typischen Vertretern der spezifizierten Nutzergruppe erfolgen, üblicherweise in Form einer teilnehmenden Beobachtung. Diese Prüfung setzt natürlich voraus, dass man spezifiziert hat:

  • Die Nutzergruppe, beispielsweise anhand des Alters, der Ausbildung, der Erfahrung mit dem Produkt, den körperlichen und intellektuellen Fähigkeiten.
  • Den Nutzungskontext, beispielsweise die „mentale Workload“, die Umgebung (Temperatur, Feuchtigkeit, Helligkeit, …), die zu erledigenden Aufgaben uvm.
  • Die Nutzungsziele, hier referenziert man üblicherweise die (medizinische) Zweckbestimmung.

Dass die Nutzer und die Nutzungsumgebung zu spezifizieren sind, verlangt die IEC 62366 in Kapitel 5.1.

2. Einbeziehung repräsentativer Benutzer in die Usability Validierung

Nur für die Usability Validierung benötigen Sie zwingend repräsentative Nutzer und einen repräsentativen Nutzungskontext (Gebrauchsumgebung).

3. Anzahl an Probanden bei der Usability Validierung

Die IEC 62366 verlangt bei der Validierung der Gebrauchstauglichkeit repräsentative Anwender. Wie viele das sind, sagt sie aber nicht. Das geht auch kaum, schließlich hängt die Anzahl auch davon ab, wie homogen die verschiedenen Nutzergruppen sind.

Die FDA hingegen referenziert in ihrem Guidance Dokument „Applying Human Factors and Usability Engineering to Optimize Medical Device Design“ eine Studie, die konkretere Zahlen nennt.


Anzahl bei der Usability Validierungzum Vergrößern klicken

Wie Sie sehen, können Sie mit fünf repräsentativen Nutzern im Mittel 85% der Nutzungsprobleme finden, mit zehn bereits 95%. Das sind doch mal konkrete Zahlen!

Update: FDA verlangt im Human Factors Engineering Guide explizit 15 Teilnehmer pro Benutzergruppe.

4. Usability Validierungsplan

In den Usability Validierungsplan müssen laut IEC 62366 die Hauptbedienfunktionen und v.a. ab IEC 62366:2015 die sicherheitsbezogenen Benutzungsszenarien einbezogen werden. Der Validierungsplan muss auch die Akzeptanzkriterien für die Usability Validierung bestimmen. Die IEC 62366 nennt Beispiele wie die folgenden, die man übrigens in ähnlicher Form in vielen Gebrauchstauglichkeitsakten findet – falls überhaupt.

Dort wird dann beispielsweise gefordert, dass X% der Nutzer in maximal Y Minuten eine Aufgabe erledigt haben müssten. Weshalb nur X% mag man sich fragen, und nicht alle? Dass es nicht alle schaffen, ist doch mehr als ein Hinweis auf ein Gebrauchstauglichkeitsproblem. Und weshalb gerade Y Minuten? Woher kommt diese Zahl?

Usability Validierung: Sinnlos

Für das Risikomanagement bedeutet das Erreichen eines Zeitziels noch nichts. Denn es kann sein, dass bei Nichterreichen trotzdem ein akzeptables Gerät (aus Risikomanagementsicht!!) entwickelt wurde. Umgekehrt, kann es sein, dass selbst bei Einhalten der Ziele ein nicht-akzeptables Risiko verbleibt.

Mangelnde Benutzbarkeit führt nur über eine Ursachenkette zu Schäden. Die FDA würde daher auch keine Usability-Ziele kommentieren, aber Ziele, die das Risiko betreffen. Mit dem Usability-Engineering-Prozess wird man auf potenzielle Risiken (hoffentlich) aufmerksam. Und diese gilt dann im Risikomanagement zu bewerten.

Wie Sie sinnvolle Gebrauchstauglichkeitsziele festlegen und schnell eine auditsichere Gebrauchtauglichkeitsakte erstellen, erfahren Sie beim Seminar „Usability, Requirements und IEC 62366“ mit Thomas Geis.

Mehr zum Seminar „Usability, Requirements und IEC 62366“

Verfahren zur Usability Verifizierung und Usability Validierung

Es gibt verschiedene Verfahren zur Prüfung der Gebrauchstauglichkeit (Usability). Man unterscheidet dabei die folgenden:

Verfahren zur Usability Verifizierung und Usability Validierung

Usability Verifizierung: Inspektion

Die Verifizierung der Gebrauchstauglichkeit wird Ihnen mit einer Inspektion gelingen. Das ist ein Prüfverfahren, bei dem ein oder mehrere Experten Ihr Produkt darauf prüfen,

  • ob die spezifizierten Anforderungen, wie man sie auch in Style Guides und Normen formuliert findet, umgesetzt sind oder/und
  • ob das Produkt (prinzipiell) in der Lage ist, die Nutzungsanforderungen zu erfüllen. Wenn die Nutzungsanforderung lautet, der Arzt muss die Patienten mit einem zu niedrigen Hämoglobinwert erkennen können, und das System zeigt den Hämoglobinwert nicht an, dann ist diese Anforderung nicht erfüllt.

Es gibt mehrere Verfahren zur Verifizierung wie z.B. die Cognitive Walkthroughs.

Usability Validierung: Teilnehmende Beobachtung

Doch die Inspektion alleine genügt nicht. Sie müssen im Rahmen einer teilnehmenden Beobachtung echte Nutzer in einer tatsächlichen oder in einer simulierten Gebrauchsumgebung die Kernaufgaben durchlaufen und die sicherheitskritischen Funktionen ausführen lassen. Nur wenn die Nutzer tatsächlich in der Lage sind, die Nutzungsziele zu erreichen und damit die Nutzungsanforderungen als erfüllt nachzuweisen, haben Sie die Gebrauchstauglichkeit Ihres Produkts auch validiert.

Dies setzt voraus, dass Sie alle Kernaufgaben kennen. Diese führen Sie zu den häufig benutzen Funktionen. Weiter müssen Sie alle sicherheitskritischen Funktionen kennen. Diese ergeben sich aus der Risikoanalyse.

Benutzerbefragungen

Und für was bedarf es dann noch der Benutzerbefragungen? Im Sinn der IEC 62366 eigentlich gar nicht. Setzen Sie Fragenbögen ein, um Produkte oder Entwicklungsstände quantitativ zu vergleichen. Und setzen Sie Interviews ein, um Beschwerden zu objektivieren.

Formative und summative Evaluierung der Usability

Was die FDA bereits umgesetzt hat, wird nun auch in die zweite Ausgabe der IEC 62366 Einzug halten: Die Begriffe Verifizierung und Validierung der Gebrauchstauglichkeit werden durch die Begriffe formative (entwicklungsbegleitende) und summative (abschließende) Bewertung „ersetzt“. Doch ist das wirklich ein Ersetzen?

Die FDA und die EN 62366 nutzen leider verschiedene Begriffe.

Eigentlich haben die beiden Begriffspaare wenig mit einander zu tun – abgesehen davon, dass sie alle mit der Prüfung der Gebrauchstauglichkeit in Verbindung stehen. Die beiden Begriffspaare beziehen sich vielmehr auf unterschiedliche Dimensionen: Usability Validierung und Usability Verifizierung unterscheiden sich in der Zielsetzung der Prüfung. Hingegen unterscheiden die Begriffe formative und summative Evaluierung den Zeitpunkt der Prüfung.

Beispielsweise wäre die Prüfung eines GUI Prototyps während der Entwicklung eine Validierung und eine formative Evaluierung. Eine Prüfung der Gebrauchstauglichkeit des fertigen Produkts mit repräsentativen Nutzern in einer repräsentativen Gebrauchsumgebung wäre ebenfalls eine Validierung, aber eine summative Evaluierung.

Mit was Sie die Usability Validierung nicht verwechseln sollten

„Klassische“ System-/Produkt-Validierung versus Usability Validierung

In einem weiteren Beitrag finden Sie den Unterschied zwischen diesen Verfahren beschrieben.

Usability Validierung versus klinische Studien

Ich bin über einen Artikel in der „European Medical Device Technology“ zum Thema Gebrauchstauglichkeit gestoßen. Darin weist die Autorin auf einen Absatz der IEC 60601-1-6 hin, der mir als sehr wichtig erscheint:

It should be noted that clinical investigations conducted according to ISO 14155-1 and usability testing for verification or validation according to this standard are two fundamentally different activities and should not be confused.

Genauso ist es! Bei der Validierung der Gebrauchstauglichkeit geht man davon aus, dass es generell möglich ist, mit dem Produkt den medizinischen Zweck zu erfüllen. D.h. man setzt voraus, dass die klinische Erprobung erfolgreich war.

Die Validierung der Gebrauchstauglichkeit prüft hingegen, ob die Vertreter einer spezifizierten Nutzergruppe in einem spezifizierten Nutzungskontext tatsächlich das spezifizierte Ergebnis erreichen. Denn die Tatsache, dass das Gerät generell dazu in der Lage ist, lässt keine Rückschlüsse auf die Interaktion der Anwender mit dem Produkt zu.

In anderen Worten:

  • Die Usability Studie hat zum Ziel zu validieren, ob die spezifizierten Nutzer im spezifizierten Nutzungskontext die spezifizierten Nutzungsziele effektiv und effizient erreichen können. Eine Voraussetzung für die Validierung der Usability sind repräsentative Nutzer.
  • Die klinischen Studien haben hingegen das Ziel nachzuweisen, dass das Produkt ein positives Nutzen-Risiko-Verhältnis hat. Voraussetzung für eine klinische Studie sind Patienten.

Obwohl beide Untersuchungen ggf. in der Klinik „in Echtbedingungen“ durchgeführt werden, sind die Zielsetzungen dennoch unterschiedlich, wenn auch nicht überschneidungsfrei. Oft ist es hilfreich, die Prüfungen voneinander zu trennen.

Usability Validierung versus Feldtest

Einer meiner Lieblingskunden kam auf die Idee, seine Software im Feldtest zu validieren, um so die entsprechenden gesetzlichen Forderungen nach Validierung zu erfüllen. Dabei hätte er sich um ein Haar strafbar gemacht.

Sein Gedanke war eigentlich gut, im Feld zu prüfen, ob die Zweckbestimmung und Nutzungsanforderungen erfüllt sind. Schließlich fordert die IEC 62366 sogar, dass man „echte“ Benutzer involviert. Die Anwendung aber unkontrolliert in einem Feldtest zu prüfen, entspricht einer Inverkehrbringung. Das ist strafbar.

Der richtige Ansatz wäre gewesen, diese Prüfung entweder in einer simulierten Umgebung wie einem Usability Lab oder in einer streng abgegrenzten klinischen Prüfung durchzuführen. An die klinischen Prüfungen sind aber einige Auflagen erfüllt.

Gerade für Software bedarf es derer aber häufig nicht. Aus diesem Grund empfehle ich das Usability Lab. Wer einmal Hersteller beobachtet hat, wie sie betroffen, ungläubig und fassungslos die Benutzer mit Ihrer Software arbeiten sehen, wird eines nicht mehr vermuten: Dass ein Usability Lab nicht geeignet sei, Nutzungsprobleme zu identifizieren. Schneller und preisgünstiger erfährt man nicht, was viele bei einer Validierung eigentlich gar nicht wissen wollen: Die nackte und oft brutale Wahrheit über ihr Produkt.

Weitere Informationsquellen

Seminar „Usability, Requirements & IEC 62366“

Wie Sie eine solche Validierung (in Form einer teilnehmenden Beobachtung) planen und durchführen lernen Sie im Seminar „Usability, Requirements und IEC 62366“ mit meinem Usability-Guru Thomas Geis. Es wird Ihren Blick auf die eigenen Produkte radikal ändern. Sie werden verstehen lernen, weshalb

  • es zwischen Ihrer Entwicklungsabteilung und dem Produktmarketing immer Reibereien gibt,
  • Ihre Kunden scheinbar ständig neue Wünsche haben,
  • Ihr Unternehmen sich schwerer tut, als Apple,
  • Sie noch kein Millionär sind.

Sie lernen aber nicht nur die Ursachen zu verstehen, sondern v.a. den Weg kennen, um genau diese Schwierigkeiten zu meistern. Für mich war und ist das Seminar wegweisend.

Wenn Sie dabei sein wollen, empfehle ich Ihnen, sich gleich einen Termin im nächsten Jahr zu sichern. Ich konnte Thomas Geis nur dreimal dafür gewinnen, nach Konstanz zu kommen. Nutzen Sie diese seltene Chance.

Mehr zum Seminar erfahren

 Usability Lab

Wir verfügen auch über ein  Usability-Lab, in dem wir Kundenprodukte testen und verschiedene Verfahren demonstrieren. Vom Cognitive-Walkthrough bis zur Experten-Evaluation. Vom Eye-tracking bis zum softwaregestützten Usability-Test (Usability Validierung).

Eye-trackerPupilleSoftware

Wir haben verschiedenen Produkten validiert und erkannt, welche zum Teil katastrophalen Mängel diese Anwendungen haben.

  1. Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin hat auch unter Mitwirkung von benannten Stellen das Ergonomiekompendium „Anwendung Ergonomischer Regeln und Prüfung der Gebrauchstauglichkeit von Produkten veröffentlich.
  2. Aus dem FDA-Umfeld stammt die ANSI/AAMI HE75:2009 — Human factors engineering – Design of medical devices

Beide Dokumente konzentrieren sich nicht auf Software. Dafür enthalten sie konkrete Vorgaben zur Spezifikation der Gebrauchstauglichkeit von Produkten – im Gegensatz zur IEC 62366, die eine Prozessnorm ist. Und noch etwas ist beiden Dokumenten gemein: ein Umfang von mehreren hundert Seiten.


Kategorien: Usability & IEC 62366
Tags:

6 Kommentare über “Usability Validierung: Konform mit IEC 62366 und FDA”

  1. Markus R. schrieb:

    Hallo,
    danke für den Beitrag!

    Etwas verwirrend erscheint allerdings das hierarchische Modell der Usability-Validierung. Demnach müsste die Usability-Verifizierung ein Teil der Usabiliy-Validierung sein, da diese im Beitrag als Inspektion dargestellt wird, welche wiederum in der Hierarchie ein Teil der Validierung ist?

    Ist es nicht eher so, dass Validierung und Verifizierung ebenbürtig und auf einer Ebene stehen?

    Anbei eine Abbildung meiner Gedankengänge:
    http://ovh.to/QsjmMYi

    Beste Grüße
    Markus R.

  2. Christian Johner schrieb:

    Sie haben absolut Recht, das war ein Fehler. Ich wollte Usability-Bewertung geschrieben haben, hatte es aber Usability-Validierung genannt. Den Fehler habe ich behoben. Danke für den Hinweis!

  3. Marika M. schrieb:

    Hallo,

    Ich wurde letzthin mit der Frage konfrontiert, ob man vor einer klinischen Studie (mit einem neu entwickelten Device) eine summative Studie machen muss.

    Nach meinem Verständnis würde ich die summative Studie erst nach einer klinischen Untersuchung machen. Auch während einer klinischen Studie könnten ja z.B. Anwendungsfehler beobachtet werden, welche dazu führen, dass man das Design nochmals anpasst…
    (Auf jeden Fall würde ich vor der Studie formative Usability Tests durchführen, damit ich die sichere Anwendung während der klinischen sicherstellen kann.)

    Wie sehen Sie das? Wird es irgendwo regulatorisch/gesetzlich verlangt, dass vor einer klinischen Studie eine summative Usability Validierung durchführt?

    Vielen Dank und freundliche Grüsse
    Marika M.

  4. Prof. Dr. Christian Johner schrieb:

    Sehr geehrte Frau Buratti,

    besten Dank für Ihre spannende Frage!

    I.d.R. muss man zuerst die summative Bewertung durchführen und damit die Einhaltung der grundlegenden Anforderungen soweit als möglich gewährleisten, bevor man Menschen dem Produkt aussetzt.

    Ihre Argumentation, dass bei der klinischen Prüfung auch noch Hinweise auf Gebrauchstauglichkeitsprobleme liefern kann, ist stichhaltig. Eine Ethik-Kommission wird aber darauf bestehen, dass das Gerät so sicher wie möglich ist.

    Wenn bei der klinischen Prüfung noch neue Hinweise auf Usability-Probleme auftauchen, dann war die summative Bewertung möglicherweise nicht gut geplant bzw. durchgeführt. Zudem können auch nach der Inverkehrbringung solche Probleme auftauchen. Auch dann ist der Hersteller verpflichtet, diese zu bewerten und ggf. das User Interface zu ändern.

    Die regulatorische Anforderung, nach der Sie fragen, findet sich z.B. in der MPKPV §3.

    Melden Sie sich bei weiteren Fragen gerne.

    Mit herzlichen Grüßen, Christian Johner

  5. Gabriella H. schrieb:

    Guten Tag,

    meine Frage gliedert sich an den vorheigen Beitrag an: Wie kann ich Usability Tests durchführen, wenn der Anwender gleichzeitig der Patient ist, wie es zum Beispiel bei Geräten die zuhause benutzt werden oder Prothesen der Fall ist. Normalerweise dürfte man doch mit dem Produkt ohne CE Kennzeichen nicht an den Patienten außer bei klinischen Studien, oder?

    Wie kann ich in diesem Fall einen Usability Test durchführen? Immer als Teil einer klinischen Studie?

    Vielen Dank und viele Grüße
    Gabriella H.

  6. Prof. Dr. Christian Johner schrieb:

    Sehr geehrte Frau H.,

    es tut mir leid, dass ich Sie nicht mit ganzem Namen ansprechen darf.

    Gerne beantworte ich Ihre Frage: Es gibt bei Produkten, bei denen der Patient der Anwender ist, durchaus Usability Tests, die nicht einer klinischen Prüfung entsprechen. Das ist immer z.B. dann der Fall, wenn die Nutzung während des Tests keine klinische Prüfung darstellt. Von einer klinischen Prüfung spricht man nur dann, wenn die Untersuchung (des Geräts) an einem Menschen stattfindet und sie die Ziele verfolgt, das Produkt bezüglich Sicherheit und Leistungsfähigkeit zu untersuchen.

    Wenn ein Patient eine App ausprobiert, wäre das keine klinische Prüfung. Hingegen wäre ein Patient, der eine Prothese „ausprobieren“ soll, Teil einer klinischen Prüfung. In dem letzteren Fall lassen sich der Usability Test und die klinische Prüfung nur dann trennen, wenn z.B. nur die Gebrauchsanleitung geprüft würde.

    Viele Grüße, Christian Johner

Kommentar schreiben