Der Begriff summative Evaluation lässt sich mit „abschließender Bewertung“ übersetzen. Eine summative Evaluation prüft am Ende der Entwicklungsphase, ob Anwender ein Produkt bzw. ein User Interface sicher bedienen können.
Dieser Beitrag verschafft Ihnen einen Überblick über die regulatorischen Anforderungen an die “summative Bewertung“ (manchmal auch als „summative assessment“ bezeichnet) und gibt Ihnen Tipps, wie Sie diese erfüllen.
Lesen Sie hier einen weiteren Artikel zur formativen Bewertung.
Was bedeutet die “summative Evaluation“?
Die IEC 62366-1:2015 + AMD1:2020 definieren die summative Evaluation als die Bewertung der Benutzer-Produkt-Schnittstelle, die am Ende der Entwicklung der Benutzer-Produkt-Schnittstelle durchgeführt wird. Dabei sind objektive Nachweise zu erlangen, ob die Benutzer-Produkt-Schnittstelle sicher genutzt werden kann. Die englische Originalversion der Norm lautet:
“USER INTERFACE EVALUATION conducted at the end of the USER INTERFACE development with the intent to obtain OBJECTIVE EVIDENCE that the USER INTERFACE can be used safely”.
Im Sinne der Norm müssen Hersteller prüfen, ob Benutzungsfehler oder -schwierigkeiten auftreten, die
- zu Gefährdungen (Hazards) bzw.
- zu Gefährdungssituationen (Hazardous situations) oder
- sogar zu Schädigungen (Harm) des Patienten oder Benutzers führen können.
Die Norm merkt an, dass die summative Evaluation auch der Validierung der Benutzer-Produkt-Schnittstelle entspricht:
SUMMATIVE EVALUATION relates to validating the safe use of the USER INTERFACE.
Die FDA nutzt nicht den Begriff „Summative Evaluation“, sondern spricht von „Human Factors Validation Testing“:
Human factors validation testing is sometimes referred to as “summative usability testing”.
Ein weiterer Fachartikel zur Usability-Validierung beschreibt das Vorgehen im Detail.
Regulatorische Anforderungen
a) Anforderungen der IEC 62366-1
Die Norm fordert von den Herstellern, dass sie bei der summativen Evaluierung Folgendes tun:
- Gefährdungsbezogene Benutzungsszenarien auswählen
Dabei sollten Hersteller entweder alle sicherheitsbezogenen Benutzungsszenarien für die summative Evaluierung einbeziehen oder diese auf Basis des Schweregrads möglicher Schäden auswählen (siehe auch FDA: „Critical tasks“). - Benutzer(profile) spezifizieren
Hersteller müssen die Benutzer(profile) dokumentieren, die an der abschließenden Bewertung beteiligt werden. Profile müssen speziell bei „Usability Tests“ erstellt werden. - Plan für die summative Evaluierung erstellen
In dem Plan müssen die Hersteller festlegen,- mit welchen Methoden sie die abschließende Bewertung durchführen wollen und dies begründen (Usability-Tests sind keine Pflicht, liefern aber objektive Daten),
- welchen Teil der Benutzer-Produkt-Schnittstelle sie dabei einbeziehen,
- welche Kriterien erfüllt sein müssen, anhand derer sie entscheiden, ob die Benutzer das Produkt sicher anwenden können (Akzeptanzkriterien bzw. „Correct use“) und
- (im Fall von Usability-Tests) welche Benutzungsumgebung und welche Methoden zum Erheben und Auswerten der Daten, insbesondere der Benutzungsfehler, verwendet werden.
- Summative Evaluierung durchführen
Zum Schluss sind die Hersteller verpflichtet, die abschließende Bewertung durchzuführen. Wenn sicherheitsrelevante Benutzungsprobleme gefunden werden, muss geprüft werden, ob die Benutzungsschnittstelle eine Ursache dafür ist. Die Hersteller müssen dann entscheiden, diese zu überarbeiten bzw. zu verbessern, um die Benutzungsprobleme und -fehler zu reduzieren oder zu vermeiden. Alle Entscheidungen müssen Hersteller begründen und dabei die Risiken bzw. das Restrisiko berücksichtigen und bewerten.
Falls die Hersteller die Benutzungsschnittstelle nach der Evaluation überarbeiten, ist eine weitere summative Evaluation notwendig.
b) Anforderungen der FDA
Die FDA formuliert Ihre Vorstellung eines professionellen Usability Engineerings – sie nennt es Human Factors Engineering – in ihren Guidance Documents:
- Draft Guidance for Industry and Food and Drug Administration Staff – Applying Human Factors and Usability Engineering to Medical Devices
- Medical Device Use-Safety: Incorporating Human Factors Engineering into Risk Management
c) Fazit
Die IEC 62366-1:2015 + AMD1:2020 verlangen im Gegensatz zur FDA nicht zwingend eine Usability-Validierung in Form eines Usability-Tests, also einer teilnehmenden Beobachtung mit repräsentativen Benutzern in einer repräsentativen (auch simulierten) Benutzungsumgebung.
Aber die nicht bindende IEC 62366-2:2016“ schreibt:
„Summative evaluation generally involves performing a usability test under conditions of simulated use.“
Formal ist der Usability-Test, sprich das Human Factors Validation Testing (FDA) weder für die formative noch die summative Evaluation vorgeschrieben. Trotzdem ist der Usability-Tests gerade für die summative Evaluation die sinnvollste und beste Methode, um bestmöglich alle Benutzungsfehler und -schwierigkeiten zu erfassen.
Methoden zur summativen Evaluation
Mehrere Methoden stehen für die summative Bewertung zur Verfügung wie beispielsweise:
- „Usability Tests“, mit oder ohne teilnehmende Beobachtung (z. B. durch einen Einwegspiegel).
Diese Methode ist, wie gesagt, zu empfehlen und wird von der FDA auch vorgeschrieben. - Cognitive Walkthrough z. B. mit vorgesehenen Benutzern:
Diese Methode ist eher für die formative Evaluation interessant. Es kann mehr Kommunikation z. B. zwischen Anwendern und Moderator stattfinden, vor allem, wenn mit mehreren Anwendern gleichzeitig getestet wird. - Inspektion durch einen Usability Experten:
Diese Methode eignet sich ebenfalls eher für die formative Evaluation. Usability Experten ermitteln Designschwächen in Bezug auf mögliche Benutzungsfehler auf der Basis von Normen und Erfahrung. Sie sind jedoch keine intendierten Anwender und denken und handeln möglicherweise anders.
Die summative Evaluation kann jederzeit auch mehrere Methoden umfassen. In der Regel wird jedoch aus Kostengründen nur eine gewählt.
Für „Legacy-Produkte„, die vor dem Erscheinen der Norm in 2015 in Verkehr gebracht wurden, sind keine summativen Evaluationen nötig, wenn sie den Anforderungen der IEC 62366-1 in 5.10 „User Interfaces of Unknown Provenance“ (UOUP) und dem Anhang C genügen.
Fazit
Hersteller müssen nachweisen, dass ihre Benutzer-Produktschnittstellen nicht zu (inakzeptablen) Risiken und Schäden für Patienten oder Nutzer führen. Letzteres ist möglich, wenn Benutzungsfehler und Benutzungsschwierigkeiten gerade bei der Erledigung von gefährdungsbezogenen Aufgaben auftreten.
Eine Beweisführung wird am besten mit Usability-Tests gelingen.
Weil das auch die IEC 62366-1 so sieht, müssen Hersteller begründen, wenn sie einen anderen Weg einschlagen.
Nutzen Sie die Usability Experts des Johner Instituts. Sie führen für Sie weltweit Usability-Tests durch und stellen sicher, dass Sie Nutzungsprobleme schnell finden und beseitigen und mit konformen Usability Engineering Reports in allen Märkten problemlos Audits und Zulassungen bestehen.
Melden Sie sich, um herauszufinden, wie Sie schnell und mit minimalen Aufwand die Anforderungen der IEC 62366-1 und der FDA erfüllen.
Änderungshistorie
- 2024-04-12: Artikel weitgehend überarbeitet und aktualisiert
- 2016-01-22: Erste Version des Artikels erstellt
Hallo,
bez. „Summative Evaluation“ (IEC 62366) und „Software Validierung“ (IEC 82304) sehe ich mehr Überschneidungen als Unterschiede. Nur die Benannte Stelle sieht IEC 82304 als Stand der Technik und beharrt auf einer Umsetzung obwohl wir IEC 62366 100% angewandt/umgesetzt haben.
Alle Anforderungen des Kapitels 6 „VALIDIERUNG des GESUNDHEITSSOFTWARE-PRODUKTS“ wie Planung, Durchführung und Bericht muss man ja auch bei IEC 62366 umsetzen. Nur ein Validierungsteam brauche ich bei IEC 62366 nicht.
Ich habe auch nirgendwo eine Abgrenzung oder signifikant unterschiedliche Definition von „Software Validierung“ zu „Summative Evaluation“ gefunden, welche das rechtfertigt.
Die Arbeit zu IEC 82304 hätte man sich, aus meiner Sicht, ersparen können.
LG Wolfgang Prettner