Formative Bewertung: Was die FDA und IEC 62366 verlangen

Montag 1. August 2016

Formative Bewertung und summative Bewertung sind die eingedeutschten und nicht korrekt übersetzten Versionen der englischen Begriffe „formative evaluation“ bzw. „summative evaluation“. Die für das Usability Engineering relevanten Regularien fordern beide Bewertungen.

Lesen Sie in einem weiteren Artikel mehr zur summativen Bewertung.

Formative Bewertung: Begriffsdefinition

Definition: Formative Evaluation

„User interface evaluation conducted with the intent to explore user interface design strengths, weaknesses, and unanticipated use errors.“

Die IEC 62366-1:2015 („Medical devices – Part 1:
Application of usability engineering to medical devices“)

Fast wortgleich formuliert das die FDA: „Process of assessing, at one or more stages during the device development process, a user interface or user interactions with the user interface to identify the interface’s strengths and weaknesses and to identify potential use errors that would or could result in harm to the patient or user.“

Formative Bewertung / Evaluierung

Die formative Bewertung muss somit korrekt als entwicklungsbegleitende Bewertung der Benutzer-Produkt-Schnittstelle verstanden werden, die mit dem Ziel durchgeführt wird, Stärken und Schwächen der Benutzer-Produkt-Schnittstelle sowie unvorhergesehene Benutzungsfehler zu entdecken.

Formative und summative Bewertung versus Verifizierung und Validierung

Die IEC 62366-1:2016 fordert statt einer Verifizierung und Validierung der Gebrauchstauglichkeit eine formative (entwicklungsbegleitende) und summative (abschließende) Bewertung.

Eigentlich haben die beiden Begriffspaare wenig miteinander zu tun – abgesehen davon, dass sie alle mit der Prüfung der Gebrauchstauglichkeit in Verbindung stehen. Die beiden Begriffspaare beziehen sich vielmehr auf unterschiedliche Aspekte: Usability Validierung und Usability Verifizierung unterscheiden sich in der Zielsetzung der Prüfung. Hingegen unterscheiden die Begriffe formative und summative Evaluierung den Zeitpunkt der Prüfung.

Usability Validation: Die FDA und die EN 62366 nutzen leider verschiedene Begriffe.

Die FDA und die EN 62366 nutzen leider verschiedene Begriffe.

Formative Bewertung: Regulatorische Anforderungen

IEC 62366-1:2015

Die IEC 62366-1:2015 verlangt eine Planung und Durchführung der formativen (entwicklungsbegleitenden) und summativen (abschließenden) Bewertungen.

Die Norm nennt zwar keine Methoden, sie verlangt aber, dass die Hersteller planen

  • welche Methoden sie zur Bewertung einsetzen (mit einer Begründung der Wahl),
  • zu welchen Zeitpunkten sie diese Bewertungen durchführen,
  • welche Teile der Benutzer-Produkt-Schnittstelle bewertet werden,
  • gegen welche Kriterien sie prüfen und
  • mit welchen Benutzern und in welcher Benutzungsumgebung diese Bewertungen stattfinden sollen.

Natürlich sind diese Planungen ebenso wie die Durchführung der Bewertung, die Ergebnisse sowie deren Bewertungen zu dokumentieren.

FDA

Die FDA formuliert ihre Anforderungen im Guidance Dokument „Applying Human Factors and Usability Engineering to Medical Devices“. Darin geht sie im Kapitel 6.4.3 ausführlich auf die formative Bewertung ein.

Ziele

Laut FDA können Hersteller mit der formativen Bewertung

  • unbekannte benutzungsbezogene Gefährdungen, Benutzungsfehler und kritische Aufgaben identfizieren,
  • Änderungen an der Benutzer-Produkt-Schnittstelle zeitnah umsetzen,
  • die Wirksamkeit von risikominimierenden Maßnahmen an der UI überprüfen,
  • die Notwendigkeit von Trainingsmaßnahmen bestimmen und
  • Inhalte für den Validierungsplan ableiten.

Methoden

Die US-Behörde fordert zwar keine konkrete Methode, schreibt aber:

„Formative evaluation complements and refines the analytical approaches described in Section 6.3, revealing use issues that can only be identified through observing user interaction with the device.“

Damit assoziiert die FDA mit der formativen Bewertung offensichtlich Methoden, an denen Nutzer zu beteiligen sind und nicht reine Verifizierungsaktivitäten. Die FDA schließt dabei zwar Firmenmitarbeiter als Benutzer nicht aus, schreibt aber „their performance and opinions could be misleading or incomplete“.

Im gleichen Dokument wird aber klar: die FDA sieht die teilnehmende Beobachtung nicht als die einzige gestattete Methode an. Die Behörde nennt ebenso „cognitive walk-through, observation, discussion, interview“.

Planung

Der Plan für die formative Bewertung sollte laut FDA festlegen

  • Ziele und Prioritäten der Bewertung
  • Elemente der Benutzer-Produkt-Schnittstelle, die zu bewerten sind
  • Die Benutzungsszenarien und Aufgaben
  • Teilnehmer / Benutzer
  • Methoden zur Datenerhebung und zur Datenauswerten
  • Wie die Ergebnisse weiter verwendet werden

Diese Forderungen decken sich fast vollständig mit denen der IEC 62366-1:2015.

Methoden zur formativen Bewertung

Zur entwicklungsbegleitenden (formativen) Bewertung eigenen sich viele Methoden wie

  • Cognitive Walkthrough
  • Verifizierung z.B. gegen Style-Guides, Heuristiken und Design Pattern
  • Usability Test (teilnehmende Beobachtung) mit Prototypen unterschiedlicher Güte (low, high fidelity)
  • Interviews
  • Fragebögen

Einige dieser Methoden stellen wir in einem weiteren Artikel vor.

Bei der formativen Bewertung empfiehlt es sich,

  • mehrere dieser Methoden anzuwenden,
  • dies früh, iterativ und wiederholt im Entwicklungsprozess zu tun.

Die FDA merkt fast etwas zynisch an, dass man frühzeitig durch formative Bewertungen Usability Probleme identifizieren solle, weil sonst die summative Bewertung (der Usability Test) scheitern könne und somit selbst zur formativen Bewertung würde, weil anschließend Nachbesserungen an der Benutzer-Produkt-Schnittstelle notwendig wären.


Kategorien: Usability & IEC 62366
Tags:

5 Kommentare über “Formative Bewertung: Was die FDA und IEC 62366 verlangen”

  1. Jochen Rau schrieb:

    Informativ, kompakt und leserlich. Vielen Dank!

    Nitpick: Typo in der Begriffsdefinition zur formativen evaluation: „user interface evaluation conducted“ statt „user interface conducted“.

  2. Prof. Dr. Christian Johner schrieb:

    Danke, lieber Herr Rau! Dank Ihrer Hilfe konnte ich das fehlende Wort gleich ergänzen.

  3. Benedikt Simon schrieb:

    Kann mich Herrn Rau nur anschließen! Wie immer ein informativer & gut strukturierter Artikel.

    Eine kleine Rückfrage hätte ich. Für Summative Tests gibt es Vorgaben für die Anzahl der zu testenden User bpsw. von der FDA . Für formative Tests fehlt sowas weitesgehend, soweit ich das richitg verstanden habe.

    Wie kann ich als kleiner Hersteller abschätzen, nach wieviel befragten Usern der formative Test „ausreichend“ ist? Gibt es eine Faustregel oder haben sie eventuell einen Erfahrungswert?

  4. Prof. Dr. Christian Johner schrieb:

    Diese Anzahl gibt es nicht. Es gibt auch keine Vorgabe, dass man überhaupt die „teilnehmende Beobachtung“ als Methode wählt. Interviews wären auch denkbar.

    Als Faustregel würde ich aber sagen: 5 Personen pro Benutzerrolle ist eine vernünftige Zahl.

  5. Benedikt Simon schrieb:

    Vielen Dank für die schnelle & hilfreiche Antwort!

Kommentar schreiben