Eine häufige Frage an uns: „Bieten Sie auch Computer System Validation“ (CSV) an?“ Einer der Gründe für das Interesse ist sicherlich: Behörden und benannte Stellen machen das Thema CSV immer öfter zum Gegenstand von Audits. Lesen Sie hier, welche Regularien es zur „Computer System Validation“ gibt und wie Sie deren Forderungen am elegantesten erfüllen.
Computer System Validation CSV: Was ist das?
a) Erste Definition und Ziel der CSV
Computer System Validation (CSV) ist ein dokumentierter Prozess, mit dem konsistent und reproduzierbar sichergestellt wird, dass ein Computer-System genau das tut, wofür es entwickelt wurde [1].
Validation (Bildquelle: iStock)
b) Was ist unter Validierung in diesem Kontext zu verstehen?
Als Validierung gilt üblicherweise eine „Bestätigung durch Vorlage eines objektiven Nachweises, dass die Anforderungen für einen spezifischen vorgesehenen Gebrauch oder eine spezifische vorgesehene Anwendung erfüllt sind.“ [ISO 9001:2015].
Bei Medizinprodukten bedeutet dies eine „Prüfung mit objektiven Mitteln, ob die spezifizierten Nutzer im spezifizierten Nutzungskontext die spezifizierten Nutzungsziele (–> Zweckbestimmung) erreichen können“.
Dies klingt, als müsse nur das fertige Produkt validiert werden, hier also das installierte Computer-System.
Doch viele Regularien gehen darüber hinaus, auch Anforderungen der FDA: Sie fordern, den kompletten Entwicklungsprozess zu validieren, nicht nur dessen letzte Phase oder das Endprodukt. Dazu später mehr.
c) Computer System Validation versus DQ, IQ, OQ und PQ
DQ, IQ, OQ und PQ – diese Akronyme begegnen uns im Kontext der CSV. Sie stehen für:
- DQ: Design Qualification (Designqualifizierung)
- IQ: Installation Qualification (Installationsqualifzierung)
- OQ: Operation Qualification (Funktionsqualifizierung)
- PQ: Performance Qualification (Leistungsqualifizierung).
Diese Qualifizierungen werden vor allem im pharmazeutischen Umfeld beispielsweise von GMP-Richtlinien verlangt und zählen wie die CSV zu den Gerätevalidierungen. IQ, OQ und PQ umfassen bestimmte Aspekte der Validierung / Qualifizierung [2]:
- IQ: Erste Prüfungen beim Kunden während der Installation sollen sicherstellen: das Gerät ist gemäß der Spezifikation geliefert, aufgebaut und installiert. Es entspricht den Anforderungen der Nutzer. Die Dokumentation liegt vor.
- OQ: Checks möglichst bald nach der IQ sollen bestätigen: das Gerät arbeitet spezifikationsgemäß – auch an den Spezifikationsgrenzen.
- PQ: Bei diesen Tests geht es unter anderem um die Messgenauigkeit (inkl. Kalibrierung und Justierung).
d) Computer System Validation versus Software Validation
Die Computer System Validation umfasst prinzipiell sowohl Computer Hardware als auch Computer Software. Speziell bei Standard-Hardware wie PC-basierten Systemen entspricht die Computer System Validation jedoch weitgehend der Software Validation. Bei spezifischer Hardware wäre beispielsweise zu prüfen, ob
- sich die Software auf der Hardware installieren lässt,
- das Gesamtsystem mit ausreichender Geschwindigkeit arbeitet
- das Zusammenspiel mit Nachbarsystemen (andere Geräte oder IT-Systeme) wie spezifiziert funktioniert.
CSV: Wer verlangt was? Regulatorische Anforderungen
a) Überblick
Die Anforderungen an die Validierung von Computer-Systemen finden sich in:
b) FDA 21 CFR part 820.70
Die FDA schreibt im 21 CFR part 820.70:
„When computers or automated data processing systems are used as part of production or the quality system, the manufacturer shall validate computer software for its intended use according to an established protocol. All software changes shall be validated before approval and issuance. These validation activities and results shall be documented.“
c) FDA 21 CFR part 11
Der 21 CFR fordert im Teil (part) 11.10:
„Persons who use systems to create, modify, maintain, or transmit electronic records shall employ procedures and controls designed to ensure the authenticity, integrity, and, when appropriate, the confidentiality of electronic records. Such procedures and controls shall include validation of systems to ensure accuracy, reliability, consistent intended performance, and the ability to discern invalid or altered records.”
Diese Forderung nach Validierung entspricht dem, was auch der 21 CFR part 820.70 fordert.
d) ISO 13485:2016
Die ISO 13485:2016 hat in ihrer aktuellen Version die Anforderungen an die Validierung von Computersystemen noch klarer formuliert:
Sie verlangt in Kapitel 4.1.6, dass die Hersteller die Computer-Software gemäß dokumentierter Verfahren validieren. Das betrifft alle Software, die im Rahmen eines Prozesses verwendet wird, der das QM-System steuert. Die Validierung muss nicht nur vor der ersten Nutzung, sondern auch bei Änderungen an der Software erfolgen.
Um es noch deutlicher auszudrücken: In Europa war die CSV bisher nur für die Produktions- und Dienstleistungsprozesse gefordert. Seit der ISO 13485:2016 gilt diese Forderung für alle Prozesse des QM-Systems. Im FDA-Kontext war das schon immer so.
e) GAMP 5
Der GAMP 5 fühlt sich ebenfalls für Medizinproduktehersteller als anwendbar. Die Autoren schreiben:
The scope has been widened [im Vergleich zum Gamp 4] to include related industries and their suppliers, including biotechnology and systems used in medical device manufacturing (excluding software embedded within the medical devices).
Computer System Validation CSV: Wie macht man das?
Als erstes sollten Sie sich klarmachen: welche Anforderungen an die Computer System Validation wollen oder müssen Sie erfüllen?
- Mindestanforderung: In jedem Fall müssen Sie das „fertige“ Computer-System validieren.
- Zusätzliche Anforderung: Zumindest, wenn Sie das System selbst entwickeln oder entwickeln lassen, müssen Sie den kompletten Entwicklungsprozess dokumentieren.
Auf beide Varianten gehen wir im Folgenden ein.
Die eigentliche Validierung
Wenn Sie das „fertige“ (ggf. bereits installierte) Computer-System validieren wollen, dann müssen Sie die Anforderungen an das Computer-System kennen. Falls diese Anforderungen fehlen, müssen Sie diese retrospektiv herleiten.
Leider werfen viele Firmen und teilweise auch Behörden die verschiedenen Arten von Anforderungen in einen Topf:
- Stakeholder-Anforderungen und Zweckbestimmung: Das sind die wirklichen Ziele und Anforderungen, die die verschiedenen Stakeholder wie die Nutzer, die Betreiber und der Gesetzgeber haben, um ihre jeweiligen Ziele erreichen zu können.
Wenn Sie beispielsweise ein Laborinformationssystem haben, wäre eine Anforderung: das System muss dem Anwender ermöglichen, Patienten mit Hepatitis zu erkennen.
- System-Anforderungen / System Requirements Specification: Diese Anforderungen beschreiben, was das System können muss, um die Stakeholder-Anforderungen zu erfüllen. Idealerweise sind diese System- oder Software-Anforderungen als Blackbox-Anforderungen spezifiziert.
Im Fall des Laborinformationssystems wäre eine solche Anforderung, dass das System alle Patienten, die mindestens einen positiven Hepatitis-Wert haben, in roter fetter Schrift kennzeichnet.
Streng genommen ist die Validierung eine Prüfung, ob der erste Typ an Anforderungen erfüllt ist. In der Praxis beobachtet man allerdings, dass während der Validierung eher die Erfüllung der System- oder Software-Anforderungen geprüft wird. Das ist streng genommen aber eine Verifizierung.
Wie Sie diese Form der Validierung durchführen, lesen Sie weiter unten im Kapitel „Schritt für Schritt Anleitung“.
Der vollständige Entwicklungsprozess
Wenn Sie im Sinn des FDA Software Validation Guidance Documents „validieren“, dann werden Sie den kompletten Entwicklungsprozess dokumentieren wie
- Software-Anforderungen
- Verifizierung der Software-Anforderungen einschließlich Traceability zu Stakeholder-Anforderungen
- Software-Architektur und detailliertes Design
- Verifizierung der Software-Architektur und detailliertes Design einschließlich Traceability zu Software-Anforderungen
- Software-Code, Code-Reviews und Unit-Tests einschließlich Traceability zu Software-Architektur bzw. detailliertem Design
- Integrations- und Systemtests einschließlich Traceability zu Software-Architektur bzw. Software-Anforderungen.
Die IEC 62304 und künftige IEC 82304 geben Ihnen ebenso wie das o.g. FDA-Dokument wertvolle Hinweise, wie Sie solch einen Entwicklungsprozess definieren und umsetzen sollten.
Computer System Validation: Schritt für Schritt Anleitung
Um ein Computer System zu validieren, gehen Sie wie folgt vor:
1. Anforderungen dokumentieren
Wenn die Anforderungen an Ihr Software- bzw. Computer-System nicht oder nicht vollständig dokumentiert sind, holen Sie das nach.
- Benutzer-Produkt-Schnittstellen
- Anzeige: Beschreiben Sie, wie Ihre Benutzer-Produkt-Schnittstelle (GUI = graphical user interface) aussieht und was sie anzeigen muss.
- Algorithmen: Wenn diese Anzeige von Berechnungen abhängt, dann benennen Sie diese.
- Eingaben: Beschreiben Sie, welche Daten die Anwender in welchen Formaten eingeben können. Ebenso, wie sich das System bei Fehleingaben verhalten soll.
- Navigation: Spezifizieren Sie, wie durch das System navigiert wird d.h. welche „Screens“ das System anzeigen soll, wenn man gewisse Auswahlen macht z.B. durch Anklicken.
- Berechtigungen: Ein spezieller Aspekt des oben Genannten ist die Spezifikation von Rollenkonzepten, Autorisierung und Authentifizierung.
- Daten-Schnittstellen
- System-Kontext: Beschreiben Sie, mit welchen Nachbarsystemen Ihr System interagieren soll.
- Interoperabilität: Spezifizieren Sie, wie diese Interaktion stattfindet. Nennen Sie die Standards (z.B. TCP/IP, HTTP, Bus-Systeme), Formate, Ordnungssysteme, Berechtigungen usw. Lesen Sie hier mehr zum Thema Interoperabilität.
Vergessen Sie nicht, festzulegen, wie sich Ihr System verhalten soll, wenn die Daten in falschem Format, falschem Volumen, unerwarteter Frequenz usw. übertragen werden.
- Berechtigungen: Beschreiben Sie, wie sich die Nachbarsysteme an Ihrem System authentifizieren und autorisieren.
- Performanz: Spezifizieren Sie, wie schnell Ihr System auf die Datenübertragung reagieren können muss. Diese Anforderung wird wahrscheinlich von der Anzahl der Transaktionen, dem Datenvolumen o.ä. abhängen.
- Laufzeitumgebung
- Hardware: Spezifizieren Sie die Mindestanforderungen an die Hardware wie CPU, RAM, Festplatte, Bildschirmgröße, Bildschirmauflösung usw.
- Betriebssystem: Legen Sie auch das Betriebssystem fest, das Sie mindestens voraussetzen.
- Andere Software: Erlauben Sie weitere Software wie Anti-Virus-Programme? Setzen Sie diese sogar voraus wie z.B. eine Datenbank? Vergessen Sie nicht, diese Anforderungen zu spezifizieren.
2. Testfälle spezifizieren
Als nächstes müssen Sie die Testfälle spezifizieren d.h. festlegen,
- welche Daten der Anwender oder das Nachbarsystem eingeben oder übertragen sollen,
- welche Voraussetzungen erfüllt sein müssen z.B. die Software-Version oder vorhandene Daten betreffend,
- die Prozedur, z.B. in welcher Reihenfolge vorzugehen ist,
- die pass-/fail-Kriterien: welche Werte erwarten Sie? Welche Ergebnisse erfüllen die Anforderungen?
- Auch die Dokumentation der Tests ist Teil der Spezifikation.
3. Tests durchführen und dokumentieren
Schließlich müssen Sie die Tests gemäß der Testspezifikation durchführen, dokumentieren und bewerten.
Weitere Tipps
Vielleicht helfen Ihnen folgende Gedanken bei Ihrer Computer System Validation:
- Systematisches Ableiten von Testdaten: Die Testdaten sollten Sie sich nicht einfach ausdenken, sondern anhand von Blackbox-Test-Methoden wie den äquivalenzklassen-, grenzwert-, entscheidungstabellen-, fehler- oder zustandsbasierten Testverfahren systematisch ableiten. Software-Tester können das.
- Nicht nur der Happy-Path: Prüfen Sie nicht nur, ob das System sich wie spezifiziert verhält, sondern auch, ob es mit falschen oder unvollständigen Eingaben korrekt umgeht.
- Risikobasierter Ansatz: Wenn Sie mit dem Umfang der Tests überfordert sind, dann konzentrieren Sie sich auf jene Teile der Funktionalität, die am kritischsten sind, d.h. bei denen Fehler zu den höchsten Risiken führen.
- Regression: Die Computer System Validation ist keine einmalige Sache sondern jedes Mal zu wiederholen, wenn Sie am System oder der Software etwas ändern. Daher empfiehlt es sich, die Tests zu automatisieren. Es gibt Werkzeuge, mit denen Sie auch Tests der Benutzerschnittstelle semiautomatisiert aufzeichnen und wieder abspielen können.
Weiterführende Informationen
Lesen Sie hier auch die Artikel zum AAMI TIR 36 und zur IEC 80002-2. Beide geben konkrete Hilfestellungen beim Validieren von „Computerized Systems“.
