Der Begriff ‚summative Evaluierung‚, manchmal auch ‚summative Evaluation‚ ist die sprachlich etwas fragwürdige Übersetzung von ‚sumative evaluation‚. Die deutsche Übersetzung der IEC 62366-1:2015 spricht korrekter von ‚abschließender Bewertung‚.
| Inhaltsübersicht |
|---|
| Begriffsdefinition » |
| Forderungen der IEC 62366 » |
| Forderungen der FDA » |
| Summative Evaluierung: Methoden » |
Lesen Sie hier einen weiteren Artikel zur formativen Bewertung.
Definition des Begriffs ’summative Evaluierung‘ / ‚abschließende Bewertung‘
Die IEC 62366-1:2015 definiert die abschließende Bewertung als die Bewertung der Benutzer-Produkt-Schnittstelle, die am Ende der Entwicklung der Benutzer-Produkt-Schnittstelle mit dem Ziel durchgeführt wird, einen objektiven Nachweise zu erlangen, dass die Benutzer-Produkt-Schnittstelle sicher genutzt werden kann.
Die Norm merkt noch an, wie eng sie die summative Evaluierung mit der Validierung der Benutzer-Produkt-Schnittstelle bezüglich einer sicheren Anwendung verknüpft.
Regulatorische Anforderungen
Anforderungen der IEC 62366-1:2015
Die Norm fordert von Ihnen, dass Sie bei der summativen Evaluierung folgendes tun:
- Sicherheitsbezogenen Benutzungsszenarien auswählen
Dabei soll der Hersteller entweder alle sicherheitsbezogenen Benutzungsszenarien für die summative Evaluierung einbeziehen oder diese auf Basis des Schweregrads möglicher Schäden auswählen. - Benutzer(profile) auswählen/dokumentieren
Hersteller müssen die Benutzer(profile) dokumentieren, die an der abschließenden Bewertung beteiligt werden, falls diese Bewertung in Form eines „Usability Tests“ erfolgt. Mit „Usability Tests“ meint die Norm eine teilnehmende Beobachtung. - Plan für die summative Evaluierung erstellen
In dem Plan müssen die Hersteller festlegen,- mit welchen Methoden sie die abschließende Bewertung durchführen wollen (und dies begründen),
- welchen Teil der Benutzer-Produkt-Schnittstelle sie dabei einbeziehen,
- welche Kriterien erfüllt sein müssen, anhand derer man entscheidet, ob die Benutzer das Produkt sicher anwenden können und
- im Fall von Usability Tests die Benutzungsumgebung und die Methoden zum Erheben und auswerten der Daten insbesondere der Benutzungsfehler.
- Summative Evaluierung durchführen
Zum Schluss müssen die Hersteller die abschließende Bewertung durchführen, bei gefundenen sicherheitsrelevanten Benutzungsproblemen die Benutzungsschnittstelle überarbeiten und andernfalls entscheiden, ob und wie die Benutzungsschnittstelle weiter verbessert werden kann. Entscheidungen müssen Hersteller begründen und dabei Risiken berücksichtigen und bewerten.
Anforderungen der FDA
Die FDA formuliert Ihre Vorstellung eines professionellen Usability Engineerings – sie nennt es Human Factors Engineering – in den entsprechenden Guidance Documents:
- Draft Guidance for Industry and Food and Drug Administration Staff – Applying Human Factors and Usability Engineering to Optimize Medical Device Design
- Medical Device Use-Safety: Incorporating Human Factors Engineering into Risk Management
Die FDA nutzt nicht den Begriff „summative evaluation“ sondern spricht von „Human Factors Validation Testing“. Weitere Informationen, wie diese Validierung stattfinden soll, finden Sie hier.
Fazit
Die IEC 62366-1:2015 verlangt im Gegensatz zur FDA nicht zwingend eine Usability Validierung in Form eines Usability Tests, also einer teilnehmenden Beobachtung mit repräsentativen Benutzer in einer repräsentativen (auch simulierten) Benutzungsumgebung.
Aber: Die „Erklärungsnorm“ IEC 62366-2:2015“ schreibt: „Summative evaluation generally involves performing a usability tests conducted under conditions of simulated use.“ Unter Usability Test versteht die Norm eine Validierung mit Benutzern in Form einer teilnehmende Beobachtung.
In anderen Worten: Formal ist der Usability Test, sprich die Usability Validierung nicht mehr vorschrieben. In der Regel erwartet man es aber. Vorgeschrieben ist „nur“ eine (formative und) summative Evaluierung.
Methoden zur summativen Evaluation
Die Norm schreibt Ihnen nicht vor, welche Methoden Sie bei der abschließenden Bewertung anwenden müssen. In Frage kommen:
- „Usability Tests“ (teilnehmende Beobachtung) — wie geschrieben sollte das der Normalfall sein
- Cognitive Walkthrough z.B. mit vorgesehenen Benutzern
- Inspektion durch einen Usability Experten
Die summative Evaluation – das impliziert auch der Begriff summativ – kann auch mehrere dieser Methoden umfassen.
Das sieht auch die IEC 62366:2015 so. D.h. Sie müssen begründen, wenn Sie einen anderen Weg einschlagen.
Für „Legacy Produkte“ gestattet die Norm Ausnahmen.
Hallo,
bez. „Summative Evaluation“ (IEC 62366) und „Software Validierung“ (IEC 82304) sehe ich mehr Überschneidungen als Unterschiede. Nur die Benannte Stelle sieht IEC 82304 als Stand der Technik und beharrt auf einer Umsetzung obwohl wir IEC 62366 100% angewandt/umgesetzt haben.
Alle Anforderungen des Kapitels 6 „VALIDIERUNG des GESUNDHEITSSOFTWARE-PRODUKTS“ wie Planung, Durchführung und Bericht muss man ja auch bei IEC 62366 umsetzen. Nur ein Validierungsteam brauche ich bei IEC 62366 nicht.
Ich habe auch nirgendwo eine Abgrenzung oder signifikant unterschiedliche Definition von „Software Validierung“ zu „Summative Evaluation“ gefunden, welche das rechtfertigt.
Die Arbeit zu IEC 82304 hätte man sich, aus meiner Sicht, ersparen können.
LG Wolfgang Prettner