Summative Evaluierung: Auf diese Punkte müssen Sie achten

Freitag 22. Januar 2016

Der Begriff ‚summative Evaluierung‚, manchmal auch ‚summative Evaluation‚ ist die sprachlich etwas fragwürdige Übersetzung von ‚sumative evaluation‚. Die deutsche Übersetzung der IEC 62366-1:2015 spricht korrekter von ‚abschließender Bewertung‚.‎

Dieser Beitrag verschafft Ihnen einen Überblick über die regulatorischen Anforderungen an die ’summative Evaluierung‘ und gibt Ihnen Tipps, wie Sie diese erfüllen. Sie erfahren auch, ob Sie ihn mit „Usability Validation“ gleichsetzen können.

Lesen Sie hier einen weiteren Artikel zur formativen Bewertung.

Definition des Begriffs ’summative Evaluierung‘ / ‚abschließende Bewertung‘

Die IEC 62366-1:2015 definiert die abschließende Bewertung als die Bewertung der Benutzer-Produkt-Schnittstelle, die am Ende der Entwicklung der Benutzer-Produkt-Schnittstelle mit dem Ziel durchgeführt wird, einen objektiven Nachweise zu erlangen, dass die Benutzer-Produkt-Schnittstelle sicher genutzt werden kann.

Die Norm merkt noch an, wie eng sie die summative Evaluierung mit der Validierung der Benutzer-Produkt-Schnittstelle bezüglich einer sicheren Anwendung  verknüpft.

Summative Evaluierung

Bildquelle

Regulatorische Anforderungen

Anforderungen der IEC 62366-1:2015

Die Norm fordert von Ihnen, dass Sie bei der summativen Evaluierung folgendes tun:

  1. Sicherheitsbezogenen Benutzungsszenarien auswählen
    Dabei soll der Hersteller entweder alle sicherheitsbezogenen Benutzungsszenarien für die summative Evaluierung einbeziehen oder diese auf Basis des Schweregrads möglicher Schäden auswählen.
  2. Benutzer(profile) auswählen/dokumentieren
    Hersteller müssen die Benutzer(profile) dokumentieren, die an der abschließenden Bewertung beteiligt werden, falls diese Bewertung in Form eines „Usability Tests“ erfolgt. Mit „Usability Tests“ meint die Norm eine teilnehmende Beobachtung.
  3. Plan für die summative Evaluierung erstellen
    In dem Plan müssen die Hersteller festlegen,

    1. mit welchen Methoden sie die abschließende Bewertung durchführen wollen (und dies begründen),
    2. welchen Teil der Benutzer-Produkt-Schnittstelle sie dabei einbeziehen,
    3. welche Kriterien erfüllt sein müssen, anhand derer man entscheidet, ob die Benutzer das Produkt sicher anwenden können und
    4. im Fall von Usability Tests die Benutzungsumgebung und die Methoden zum Erheben und auswerten der Daten insbesondere der Benutzungsfehler.
  4. Summative Evaluierung durchführen
    Zum Schluss müssen die Hersteller die abschließende Bewertung durchführen, bei gefundenen sicherheitsrelevanten Benutzungsproblemen die Benutzungsschnittstelle überarbeiten und andernfalls entscheiden, ob und wie die Benutzungsschnittstelle weiter verbessert werden kann. Entscheidungen müssen Hersteller begründen und dabei Risiken berücksichtigen und bewerten.

Anforderungen der FDA

Die FDA formuliert Ihre Vorstellung eines professionellen Usability Engineerings – sie nennt es Human Factors Engineering – in den entsprechenden Guidance Documents:

Die FDA nutzt nicht den Begriff „summative evaluation“ sondern spricht von „Human Factors Validation Testing“. Weitere Informationen, wie diese Validierung stattfinden soll, finden Sie hier.

Fazit

Die IEC 62366-1:2015 verlangt im Gegensatz zur FDA nicht zwingend eine Usability Validierung in Form eines Usability Tests, also einer teilnehmenden Beobachtung mit repräsentativen Benutzer in einer repräsentativen (auch simulierten) Benutzungsumgebung.

Aber: Die „Erklärungsnorm“ IEC 62366-2:2015“ schreibt: „Summative evaluation generally involves performing a usability tests conducted under conditions of simulated use.“ Unter Usability Test versteht die Norm eine Validierung mit Benutzern in Form einer teilnehmende Beobachtung.

In anderen Worten: Formal ist der Usability Test, sprich die Usability Validierung nicht mehr vorschrieben. In der Regel erwartet man es aber. Vorgeschrieben ist „nur“ eine (formative und) summative Evaluierung.

Methoden zur summativen Evaluation

Die Norm schreibt Ihnen nicht vor, welche Methoden Sie bei der abschließenden Bewertung anwenden müssen. In Frage kommen:

  • „Usability Tests“ (teilnehmende Beobachtung) — wie geschrieben sollte das der Normalfall sein
  • Cognitive Walkthrough z.B. mit vorgesehenen Benutzern
  • Inspektion durch einen Usability Experten

Die summative Evaluation – das impliziert auch der Begriff summativ – kann auch mehrere dieser Methoden umfassen.

Dennoch sei gewarnt: Sie müssen nachweisen, dass die Benutzer-Produktschnittstelle so gestaltet ist, dass Benutzungsfehler bei sicherheitsbezogenen Benutzungsszenarien nicht zu (inakzeptablen) Risiken führen. So eine Beweisführung wird Ihnen ohne Usability Tests nur schwerlich gelingen.

Das sieht auch die IEC 62366:2015 so. D.h. Sie müssen begründen, wenn Sie einen anderen Weg einschlagen.

Für „Legacy Produkte“ gestattet die Norm Ausnahmen.


Kategorien: Usability & IEC 62366
Tags:

Kommentar schreiben