Unter einem Usability Lab versteht man eine Einrichtung, in der man Gebrauchsumgebungen für Usability Tests (Usability Validierung) simuliert und diese Prüfungen durchführt. In diesem Beitrag erfahren Sie,
- auf was Sie bei der Wahl eines Usability Labs achten sollten,
- was die Kosten für ein Usability Lab bzw. von Usability Tests sind und
- welche Rolle das Usability Lab spielen kann.
ad 1.) Wie Sie das richtige Usability Lab auswählen
Die drei übergeordneten Ziele eines Usability Labs
Ein Usability Lab sollte für Medizinproduktehersteller die folgenden Ziele erreichen:
- Eine gesetzeskonforme Gebrauchstauglichkeitsakte erstellen (lesen Sie hier mehr zur Rolle von Usability Labs)
- Gebrauchstauglichkeitsprobleme identifizieren und Lösungen zu deren Behebung vorschlagen
- Kapazitäts- und Kompetenzengpässe ausgleichen
Auf diese Kriterien sollten Sie achten
Ob ein Usability Lab diesem Anspruch gerecht wird, lässt sich anhand konkret prüfbarer Auswahlkriterien abschätzen.
| Auswahlkriterien | Prüfkriterien |
|---|---|
| 1. Gesetzeskonforme Usability Akten
Erfahrung mit formativen und summativen Bewertungen von Medizinprodukten idealerweise einer ähnlichen Produktklasse |
|
| 2. Repräsentative Gebrauchsumgebung
Bei einer App mag jede Büroumgebung funktionieren, bei anderen Produkten bedarf es ggf. eines Operationssaales, einer simulierten Intensivstation… |
|
| 3. Rekrutierung von Probanden
Fähigkeit, repräsentative Teilnehmer zu rekrutieren. Das ist aufwändiger und weniger banal, als man sich das oft wünscht. |
|
| 4. Internationalität
Die FDA fordert „US Residence“ von Probanden. |
|
| 4. Dauer und Zeitmanagement
Ein Usability Lab bedarf vieler Erfahrung und standardisierter Prozesse, um mit Unvorhergesehenem umgehen und den Zeitplan einhalten zu können. |
|
| 5. Kosten
Die endgültige Summe ist ein wichtigeres Kriterium als Stunden- oder Tagessätze. |
|
| 6. Fachkompetenz
Die Kompetenz des Teams entscheidet über die Fähigkeit, Usability Studien zu konzipieren und durchzuführen, Gebrauchstauglichkeitsprobleme zu identifizieren und Vorschläge zu deren Lösung zu erarbeiten. |
|
ad 2.) Was die Kosten für das Usability Lab bestimmt
Ein „Standardangebot“ für einen Usability Test lässt sich nur schwer unterbreiten. Zahlreiche Parameter beeinflussen die Zeit und Kosten dafür:
1. Kostenfaktor: Probanden
- Anzahl und Art der Benutzergruppen: Healthcare Professionals (Ärzte, Pflegekräfte, Techniker), Patienten
- Anzahl der Probanden pro Benutzergruppe
- Sprache(n) der Probanden
- Müssen Probanden rekrutiert werden, oder stellt diese der Hersteller?
- Wie leicht sind diese zu rekrutieren? Eine Gruppe von 15 Kinderherzchirurgen zu rekrutieren kann zu einer Herausforderung werden. Kontaktieren Sie uns, um zu erfahren, wie so etwas gelingt.
2. Kostenfaktor: Produkt
- Komplexität: Einarbeitung der Nutzer, Zeit zum Installieren, Einrichten, Reinigen, …
- Größe, Versand, Lagerung
- Notwendigkeit und Dauer für Einweisung und Schulung. Stellt Hersteller den Train-the-Trainer?
- Dauer der Nutzung
- Gefährdung durch das Produkt
3. Kostenfaktor: Planung, Durchführung und Dokumentation
- Ziel der Studie: Gebrauchstauglichkeitsprobleme finden, Verbesserungsvorschläge erarbeiten, regulatorische Anforderungen erfüllen
- Erfolgsfaktoren: Vollständigkeit, Korrektheit, Dauer, Anzahl Fehler, Kommentare, Umfragen
- Methoden: Formative versus summative Bewertung, heuristische Evaluierung, Umfragen, Interview, cognitive Walkthrough
- Materialien für Probanden
- Sonstige an der Studie beteiligten Personen wie Patienten (z.B. Kinder, Bewusstlose, Behinderte), Techniker
- Anzahl und Umfang der Dokumentation (mehrere Zielgruppen wie Management, Behörden, Entwicklung), Auswertungen, Statistiken
- Eine oder mehrere Iterationen (z.B. nach Produktverbesserungen)
4. Kostenfaktor: Gebrauchsumgebung
- Usability Lab, Krankenhaus, Simulator
- Weitere Produkte und Systeme, Verbrauchsartikel
- Weitere Personen wie Techniker
5. Kostenfaktor: Technische Ausrüstung
- Anzahl Mikrofone, Kameras
- Aufzeichnung
- Remote versus onsite Studien
6. Kostenfaktor: Rechtliche Besonderheiten
- Anforderungen an den Datenschutz
- Besondere Einverständniserklärungen
- Compliance-Anforderungen (z.B. Bezahlung von Probanden betreffend)
ad 3.) Rolle des Usability Labs
Der Idealfall
Ein Usability Lab sollte ein Dienstleister sein, der in die Spezifikation und Prüfung der Gebrauchstauglichkeit von Medizinprodukten eingebunden ist. Es kann helfen,
- gebrauchstaugliche Benutzungsschnittstellen zu spezifizieren,
- Risiken durch nicht gebrauchstaugliche Benutzungsschnittstellen zu identifizieren und
- die Gebrauchstauglichkeit formativ und summative zu bewerten z.B. durch Inspektionen (Verifizierung) und Usability Tests (Validierung).
Bevor die Usability Validierung begonnen wird, muss der Hersteller auch die Basissicherheit des Produkt gewährleistet, diese erfolgreich verifiziert und andere Risiken analysiert und beherrscht haben.
Die Realität
In unserer Beratungspraxis kommt es sehr regelmäßig vor, dass Hersteller das Thema „Usability“ erst „entdecken“, wenn das Produkt schon teilweise oder sogar ganz entwickelt ist oder bereits verkauft wird. Dann stehen wir vor der Aufgabe, die fehlenden Aktivitäten bis hin zu einem Re-Design nachzuholen und die entsprechende Dokumentation nachträglich zu erstellen.
Das ist sicher nicht der Idealfall, aber besser, als dauerhaft Produkte zu vermarkten, deren Gebrauchstauglichkeitsrisiken nicht systematisch bestimmt und beherrscht sind.
Guten Morgen Herr Johner,
an einer Stelle bin ich ein wenig vorsichtig, was die zu erreichenden Ziele angeht:
Sicher kann und soll ein gutes Labor seinen Kunden dabei helfen, dass diese Kunden gesetzeskonforme Akten aufstellen (Usability-Akte). Aber: „Eine gesetzeskonforme Gebrauchstauglichkeitsakte erstellen“ ist aus meiner Sicht unbedingt die alleinige Aufgabe des Herstellers und auch nur der Hersteller kann das vollständig. Denn die 62366 ist eine Prozessnorm, die Anforderungen an den Entwicklungsprozess stellt. Oft werden Labs erst am Ende (Produkt schon fertig) dazu „bestellt“, dann ist der Prozess eigentlich schon gelaufen. Auf die besonders wichtige Usability-Spezifikation hat das Lab dann überhaupt keinen Einfluss, es sei denn, der Hersteller erkennt Fehler und lässt das Labor bei einem Re-Design mithelfen. Das geht aber im Sinne der Unabhängigkeit von Prüflaboren nicht wirklich gut miteinander einher (z.B. nach ISO 17025 verboten).
Beim Rest stimme ich durchweg zu. Wer Usability ernst nimmt und nicht nur als Feigenblatt, um durch ein Audit zu kommen, der wird die Kosten schon nachvollziehen können. Wer wirklich Kosten sparen will, sollte vorher die Risikoanalyse gründlich machen. Wenn aus (mangelnder) Usability kaum/keine Risiken entstehen können, ist der Prüfaufwand auch geringer.
Viele Grüße, Peter Knipp
Lieber Herr Knipp,
ich stimme Ihrem wichtigen Hinweis zu. Der Usability Engineering Prozess sollte in den Entwicklungsprozess eingewoben sein.
Die Realität besteht aber darin, dass wir viele Anfragen bekommen (wie heute), dass nachträglich das Thema Usability behandelt werden soll.
Ich habe diese Gedanken durch einen weiteren Absatz ergänzt.
Da das Prüflabor ein „normaler Dienstleister“ im Sinne einer verlängerten Werkbank und kein akkreditiertes Prüflabor ist, sehe ich das Thema der Unabhängigkeit als nicht so kritisch.
Danke für diese Anregung!