Prof. Dr. Christian Johner

Autor: Prof. Dr. Christian Johner

Inhaber der Johner Institut GmbH

Verifizierung und Validierung: Unterschied & Definitionen

Freitag 27. März 2015

Wie unterscheiden sich die Verifizierung und Validierung und wie sind diese Begriffe definiert? Selbst die IEC 60601-1 verwendet die Begriffe missverständlich.

Erfahren Sie hier, wie Sie Ihre Medizinprodukte sicher durch die Zulassung und das Audit bekommen — dank einer präzisen Verifizierung und Validierung.

Verifizierung (Definition und Beispiele)

Verifizierung von Medizinprodukten (allgemein)

Definition: Verifizierung

„Bestätigung durch einen objektiven Nachweis, dass Anforderungen erfüllt werden“

Quelle: ISO 9000

Der diese Definition den Begriff der Anforderungen nicht weiter benennt, empfiehlt es sich, im Kontext von Produkt-Anforderungen die Definition etwas anzupassen.

Definition: Verifizierung

„Die Verifizierung ist eine Prüfung mit objektiven Mitteln, dass spezifizierte (Produkt-)Eigenschaften erfüllt sind“

Quelle: ISO 9000

Diese (Produkt-)Eigenschaften oder Merkmale finden sich beispielsweise in einer System Requirements Specification (SRS).

Beispiele für spezifizierte Merkmale sind die Gestaltung der Benutzerschnittstelle (siehe auch Verifizierung der Gebrauchstauglichkeit), das Verhalten des Systems auf Aktionen über dessen technische oder Datenschnittstellen oder am Anwendungsteil. So könnte spezifiziert sein, dass an einem Defibrilator eine gewissen Spannung in einer bestimmten Pulsfolge anliegen muss. Die Verifizierung wäre dann die Prüfung, ob diese Spannung in der spezifizierten Pulsfolge tatsächlich anliegt.

Verifizierung der Gebrauchstauglichkeit

Definition: Die Verifizierung der Gebrauchstauglichkeit ist der objektive Nachweis, dass spezifizierte Produktmerkmale mit Bezug auf die Gebrauchstauglichkeit erfüllt sind. Sie ist also eine Untermenge der Verifizierung und wird von der IEC 62366 gefordert.

Beispiele für spezifizierte Produktmerkmale sind Schriftgrößen, Farben, Kontrastverhältnisse oder allgemeine Regeln wie das Markieren von Pflichtfeldern als solche sein. Diese Prüfung (Verifizierung) erfolgt üblicherweise in Form einer Inspektion durch einen Experten. Man prüft entweder gegen spezifizierte Produktmerkmale oder gegen allgemeine Regeln, wie sie beispielsweise die ISO 9241-Familie sehr umfassend beschreibt.

Möchten Sie mehr über die Verfahren zur Verifizierung und Validierung der Gebrauchstauglichkeit erfahren? Dann empfehlen wir Ihnen das Usability & Requirements Seminar von Thomas Geis. Und hier finden Sie einen Überblick unserer Medizintechnik- und Medizinsoftware-Seminare.

 Validierung (Definition und Beispiele)

Definition: Validierung

„Bestätigung durch objektiven Nachweis, dass die Anforderungen für eine bestimmte Anwendung oder einen bestimmten Gebrauch erfüllt sind“

Quelle: ISO 9000:2015

Die Validierung hingegen ist der objektive Nachweis, dass ein spezifizierter Nutzer im spezifizierten Nutzungskontext seine spezifizierten Nutzungsziele erreichen kann.  Diese Prüfung hat zwei Aspekte, nämlich

  1. „Klassische Validierung“: Die Prüfung, ob man überhaupt das Nutzungsziel mit dem Medizinprodukt erreichen kann. Die Nutzungsziele finden sich in der Zweckbestimmung beschrieben.
  2. Validierung der Gebrauchstauglichkeit: Die Prüfung, ob die spezifizierten Nutzer im spezifizierten Nutzungskontext, die Nutzungsziele (Zweckbestimmung) effektiv, effizient und zufriedenstellend erreichen können.

Deshalb ließe sich die Definition des Begriffs Validierung auch erweitern:

Definition: Validierung

„Bestätigung durch objektiven Nachweis, dass von den spezifizierten Nutzern im spezifizierten Nutzungskontext die spezifizierten Nutzungsziele (Zweckbestimmung) erreicht werden können“

Quelle: Johner

Lesen Sie hier mehr zur Validierung von Medizinprodukten.

Prof. Dr. Christian Johner
Benötigen Sie Unterstützung dabei, die Verifizierung und Validierung Ihrer Produkte normenkonform zu planen und zu dokumentieren Professor Johner und sein Team helfen gerne! Nehmen Sie Kontakt auf!

Ergebnisse der Verifizierung und  Validierung können unabhängig sein

Es ist durchaus denkbar, dass die Verifizierung des Medizinprodukts erfolgreich ist und die Validierung nicht und umgekehrt, wie folgende Beispiele zeigen:

  • Am Defibrillator liegen die spezifizierten 3000 Volt an den Pads an (Verifizierung erfolgreich). Das Herz des Patienten schlägt (Zweckbestimmung) aber nach Anwendung des Produkts nicht (Validierung gescheitert).
  • Am Defibrillator liegen statt der spezifizierten 3000 Volt an den Pads nur 2000 V an (Verifizierung gescheitert). Das Herz des Patienten schlägt (Zweckbestimmung) aber nach Anwendung des Produkts dennoch (Validierung erfolgreich).
Weiterführende Informationen

Lesen Sie hier mehr zum Thema Verifizierung und Validierung von IVD.

Videotrainings zur Verifizierung und Validierung

In über 60 Videotrainings beschreibt der Auditgarant, wie Sie die Anforderungen an Ihre Medizinprodukte erheben, spezifizieren und im Rahmen der Verifizierung und Validierung prüfen. Den Premium-Mitgliedern stehen zudem Checklisten und Templates zur Verfügung z.B. für einen Validierungsplan und die Dokumentation der Validierungsergebnisse.

Videotrainings zur Verifizierung und Validierung ansehen

Software-Verifizierung und Validierung: Besonderheiten von stand-alone Software

Im Folgenden lesen Sie mehr über

  • Regulatorische Anforderungen
  • Verifizierung von Software-Anforderungen bei Sicherheitsklasse A
  • Besonderheiten der Verifizierung und Validierung von Mobile Medical Apps

1. Regulatorische Anforderungen an die Entwicklung von Medizinprodukten

Die Richtlinien für Medizinprodukte, speziell die “Medical Device Directive” (93/42/EWG) und die “Active Implantable Device Directive” sind sich einig: Zu den grundlegenden Anforderungen eines Medizinproduktes zählt:

“Bei Geräten, die Software enthalten oder bei denen es sich um medizinische Software an sich handelt, muss die Software entsprechend dem Stand der Technik validiert werden, wobei die Grundsätze des Software-Lebenszyklus, des Risikomanagements, der Validierung und Verifizierung zu berücksichtigen sind.”
Ergänzung durch die 2007/47/EC

Und wie lassen Sie nun Ihren Auditor vermuten, dass Sie Ihre Software nach dem Stand der Technik validiert haben? Normalerweise würden Sie eine Norm einhalten. Für die Software-Verifizierung ist die IEC 62304 anzuwenden, für die Software-Validierung gibt es aber keine spezifische Norm.

93-42-EWG-2007-47-EWG

Übrigens: Das übliche Blackbox-Testen ist meistens eine Verifizierungs- und keine Validierungsaktivität!

2. Verifizierung von Software-Anforderungen bei Sicherheitsklasse A

Laut IEC 62304 entscheidet die Software-Sicherheitsklasse über die Notwendigkeit von Software-Systemtests, die bei einer Verifizierung der Software entsprechen. Bei Sicherheitsklasse A sind keine Tests vorgeschrieben, keine Unit-, keine Integrations-, keine Systemtests. Also keine Verifizierung.
Verifizierung von Software

Laut ISO 14971 müssen Sie hingegen alle Maßnahmen, die zur Risikokontrolle beitragen, verifizieren. Wenn Sie also Maßnahmen in Software implementieren, müssen Sie diese unabhängig von der Sicherheitsklasse einer Verifizierung unterziehen!

3. Validierung und Verifizierung von Medical Apps

Zu meinem Beitrag zu den Mobile Medical Apps stellte man die folgende wichtige Frage:
Für mich bleibt dabei eine wesentliche Frage offen, die Apps von anderer Software unterscheidet: Wie muss ich die Plattform in den Prozess der Verifizierung und Validierung einbeziehen? Sprich, reicht es dass ich es auf einem System mit Android x.y teste, und dann kann ich es für alle Produkte mit dieser Version in Verkehr bringen? Oder muss ich unterschiedliche Hardware testen – die z.B. die von der App verwendete Bluetooth-Schnittstelle anders ansprechen? Was ist, wenn es ein Sicherheitsupdate der Android-Version gibt? Was ist, wenn andere Apps installiert werden, die auch dieselben Hardware-Schnittstellen nutzen möchten? Muss ich die alle testen?
Genau genommen sind das gleich mehrere Fragen. Lassen Sie uns diese einzelne adressieren:

a) Wie vollständig muss man Mobile Medical Apps verifizieren?

Die Verifizierung ist die Überprüfung, das spezifizierte Produkteigenschaften erfüllt sind – hier konkret die Software-Anforderungen. Zu diesen Software-Anforderungen zählt auch eine Beschreibung der Laufzeitumgebung, zu der die oben genannte Plattform zählt. Schauen Sie sich bitte im Institutsclub die Videotrainings zu den Software Requirements Specifications an, wenn Sie mehr darüber erfahren möchten.

Die Plattform umfasst Aspekte wie die Hardware einschließlich Bildschirmgrößen und Bildschirmauflösungen sowie das Betriebssystem, hier bestimmte Android-Versionen, ebenso wie die Verfügbarkeit und Korrektheit von Datenschnittstellen wie Bluetooth.

Ebenfalls ein Aspekt ist die „Verifizierung der Gebrauchstauglichkeit“, bei der der Hersteller gegen die „Spezifikation der Gebrauchstauglichkeit“ prüft, die wiederum eigene Forderungen enthält oder/und auf Normen wie die ISO 9241-Familie verweist.

Eine vollständige Verifizierung ist wie alle Prüfungen in der Regel ausgeschlossen. D.h. alle „Tests“ werden nur Stichprobenprüfungen sein. Nun stellt sich die Frage, wie umfangreich diese Stichproben sein müssen. Die Antwort darauf kann sich nur im Risikomanagement finden. Nur dort können Sie abschätzen, welche Risiken sich dadurch ergeben könnten, dass die Plattform sich anders verhält, als Sie das vermuten.

b) Wie sind Mobile Medical Apps zu validieren?

Die Antwort mit dem Risikomanagement passt auch für diese Frage. Wir können aber noch spezifischer werden: Bei der Validierung geht es um einen Nachweis, dass spezifizierte Nutzer im spezifizierten Nutzungskontext ihre spezifizierten Nutzungsziele erreichen. Wie könnte dieses Ausmaß von der Plattform abhängen: Eine entscheidende Rolle spielt sicher die Größe und Auflösung der Bildschirme. Die anderen Faktoren sollten konstant sein bzw. über die Verifizierung bereits geprüft und beherrscht sein.

c) Wie geht man damit um, dass es noch andere Apps gibt?

Spätestens jetzt wird Sie die Kombinatorik überfordern: Das Zusammenspiel aller möglichen Apps werden Sie niemals testen können. Auch hier müssen Sie das Risikomanagement zur Hilfe ziehen: Wenn (inakzeptable) Risiken dadurch entstehen, dass andere Apps Schnittstellen belegen (oder die Plattform in anderer Weise beeinträchtigen), müssen Sie den üblichen von der MDD vorgeschriebenen „Dreisprung“ wählen:

  1. Inhärente Sicherheit anstreben (z.B. Funktionen nicht zu nutzen, Funktionalitäten nicht anzubieten, andere Plattform wählen usw.)
  2. Schutzmaßnahmen wählen: Beispielsweise könnte man in der Software erst prüfen, ob Schnittstellen nach außen funktionieren (z.B. über einen „Webservice-Ping“, wenn über einen Webservice Daten geladen bzw. verschickt würden)
  3. Nutzer über Risiken informieren.

Auch hier ist Testen kein Instrument, um die Korrektheit der Mobile Medical App nachzuweisen.

Auch die IEC 60601-1 verwechselt Verifizierung und Validierung

Wenn man in einer Schulung über Softwareentwicklung etwas gelehrt bekommt, ist es das V-Modell. Immer und immer wieder. Es ist auch ein wunderbares Modell, um vieles zu erklären.

Doch wie versteht die IEC 60601-1 dieses V-Modell?

Verwechslung Verifizierung und Validierung

Quelle: IEC 60601-1 bzw. IEC 62304.

Laut dieser Norm (siehe Abbildung) werden aus Anwenderbedürfnissen Anforderungen an ein programmierbares elektrisches medizinisches System, kurz PEMS, abgeleitet. Also Systemanforderungen.

Das erste, was man sich fragen muss, was die Norm unter Anwenderbedürfnissen versteht. Es handelt sich um einen nicht definierten Begriff. Wahrscheinlich verstehen die Autoren darunter ein nicht näher verstandenes Mischmasch aus Erfordernissen, Wünschen, Nutzungsanforderungen und direkt formulierten Systemanforderungen. Wer so unpräzise mit den Begrifflichkeiten umgeht, wird nachher auch unpräzise Ergebnisse erzielen.

Wohin diese mangelnde Präzision führt, erkennen Sie selbst: Die Norm glaubt die Erfüllung von PEMS-Anforderungen, also Systemanforderungen, validieren zu können.

Systemanforderungen kann man (im Systemtest) verifizieren, aber nicht validieren.

Validieren kann man definitionsgemäß hingegen Nutzungsanforderungen. Doch die tauchen wie eben diskutiert überhaupt nicht in dem Bild auf, sondern gehen im Nebel der Anwenderbedürfnisse unter.

Noch mehr Informationen zur Verifizierung und Validierung von Software/Medizinprodukten

Ihre nächsten Schritte

Nehmen Sie Kontakt mit uns auf!


Kategorien: Beliebteste Beiträge, Software & IEC 62304, Systementwicklung, Usability & IEC 62366
Tags: , , , ,

5 Kommentare über “Verifizierung und Validierung: Unterschied & Definitionen”

  1. Testwerkzeugen validieren schrieb:

    […] habe eben Deinen Blog gelesen. Mich nervt der Zwang zur Validierung von Testwerkzeugen nicht. Es beschwert sich ja auch keiner, dass Messwerkzeuge kalibriert werden […]

  2. IVDs (In-vitro Diagnostika): Definition, Verfizierung, Validierung schrieb:

    […] reinen Messgeräten z.B. IVDs liegen die Verifizierung und die Validierung sehr nah beieinander. Wenn das Messgerät einen Wert auf xy% genau messen soll und darin dessen […]

  3. Werkzeuge validieren: Ein Teufelskreis schrieb:

    […] validieren bzw. verifizieren muss. Und falls die Antwort ja wäre, müsste man dann die zu dieser Validierung bzw. Verifizierung eingesetzten Werkzeuge auch wieder prüfen? Da würde sich ja ein Teufelskreis auftun. Die Antwort […]

  4. Was ist formative Validierung der Gebrauchstauglichkeit? schrieb:

    […] Unter „formativer Validierung“ (der Gebrauchstauglichkeit) versteht man die „entwicklungsbegleitende Validierung“ (der Gebrauchstauglichkeit) in Abgrenzung zur summativen Validierung zum Ende des Entwicklungsprozesses. Die IEC 62366 unterscheidet die formative und summative Validierung (noch?) nicht, sie fordert nur die Usability Validierung der Medizinprodukte mit repräsentativen Nutzern in einer repräsentativen Gebrauchsumgebung. Die FDA fordert diese Validierung übrigens auch. (Definition von Validierung allgemein) […]

  5. vv schrieb:

    validierung prüft, ob etwas etwas vom aufbau und seiner struktur her grundsätzlich kann bzw. können müsste, also von der idee, konzept und logik her funktionieren müsste. verifizierung prüft, ob etwas ewtas in einer bestimmten festgelegten weise tut und damit ein spezifisches gefordertes verhalten zeigt. im grunde können die beiden im hinblick auf die nutzererfordernisse BEIDE daneben liegen. etwas kann vom prizip her richtig konstruiert sein, aber trotzdem das falsche verhalten zeigen, oder aber das richtige verhalten zeigen, aber falsch konstruiert sein, so dass es eher zufall war. zusammenführen lässt sich das nur durch eine übergeordnete qualifizierung, die sowohl bauart als auch verhalten im hinblick auf ein wiederholt erwartbares ergebnis qualifiziert.

Kommentar schreiben