Usability Lab: Worauf Sie bei der Auswahl achten sollten

Ein Usability Lab ist eine Einrichtung, in der Usability-Experten Gebrauchsumgebungen simulieren können, um die Gebrauchstauglichkeit (Usability) von Produkten mit Usability-Tests zu überprüfen. Dazu lassen sie Testpersonen (Probanden) Aufgaben mit diesen Produkten lösen.

In diesem Beitrag erfahren Sie,

1. was die Ziele eines Usability Labs sind,
2. auf was Sie bei der Wahl eines Usability Labs achten sollten,
3. was die Kosten für ein Usability Lab und von Usability Tests bestimmt und
4. welche Rolle das Usability Lab spielen kann.

1. Drei wichtige Ziele von Usability Labs

Ein Usability Lab sollte für Medizinproduktehersteller die folgenden Ziele erreichen:

1. Eine gesetzeskonforme Gebrauchstauglichkeitsakte erstellen
2. Gebrauchstauglichkeitsprobleme identifizieren und Lösungen zu deren Behebung vorschlagen
3. Kapazitäts- und Kompetenzengpässe ausgleichen

2. Kriterien zur Auswahl von Usability Labs

Ob ein Usability Lab diesen Zielen und einem qualitativen Anspruch gerecht wird, lässt sich anhand qualitativer Auswahlkriterien abschätzen.

Auswahlkriterium	Prüfkriterien
1. Gesetzeskonforme Usability Akten   Erfahrung in der Durchführung und Dokumentation der formativen und summativen Bewertungen von Medizinprodukten und IVDs	Gebrauchstauglichkeitsakte Profile der Personen, die die Usability-Tests durchführen Genaue Kenntnisse der IEC 62366-1 und der FDA-Forderungen
2. Repräsentative Gebrauchsumgebung   Bei einer App mag jede Büroumgebung funktionieren, bei anderen Produkten bedarf es ggf. der Utensilien eines Operationssaals oder eines anderen klinischen Umfelds .	Bilder, Grundriss Ggf. Möglichkeit, das Lab bei den Probanden zu installieren
3. Rekrutierung von Probanden   Fähigkeit, repräsentative Teilnehmer zu rekrutieren	Probanden-Datenbanken des Usability Lab Erfahrung der Rekrutierer „Screener“ zur Auswahl der Probanden
4. Internationalität   Die FDA fordert „US Residence“ von Probanden.	Das Usability Lab ist in der Lage, Tests in den USA und anderen Ländern durchzuführen und in diesen Ländern Probanden zu rekrutieren.
4. Organisation, Dauer und Zeitmanagement   Ein Usability Lab bedarf großer Erfahrung und standardisierter Prozesse, um auch bei Unvorhergesehenem eine konstante Qualität zu erzielen und den Zeitplan einzuhalten.	Anzahl der Mitarbeitenden. Bei zu kleinen Labs kann der Ausfall eines Kollegen das Projekt verzögern. Schriftliche dokumentierte organisatorische Prozesse
5. Ausstattung, Technik   Eine vollständige, zuverlässig arbeitende und beherrschte Technik und Ausstattung ist für reibungslose und vollständig dokumentierte Usability-Tests unerlässlich.	Kameras, Mikrofone, Technik zur Aufzeichnung Testraum und Beobachtungsraum in ausreichender Größe, getrennt durch einen Einwegspiegel Versorgungstechnik (Strom, Wasser, Internet, ggf. Gas) Technik zum Zuschalten von Remote-Teilnehmern
6. Kosten   Die genaue Aufschlüsselung aller Labor-Kosten hilft, die Gesamtkosten von Tests im Blick zu behalten.	Je transparenter Ihnen das Lab die Kosten aufschlüsselt, umso besser können Sie prüfen, ob an alles gedacht wurde und wo Einsparpotenziale liegen.
7. Fachkompetenz   Die Kompetenz des Teams entscheidet über die Fähigkeit, Usability-Studien zu konzipieren und durchzuführen, Usability-Probleme zu identifizieren und Vorschläge zu deren Lösung zu erarbeiten.	Profile und Erfahrungen des Usability-Teams, welche auf Erfahrungen schließen lassen … bei der Durchführung von Tests im Umgang mit Teilnehmenden vor und während der Tests im Umgang mit der Technik des Labors und ggf. zu testenden Produkts mit Interaktions- und UI-Design Hinweise darauf liefern auch einschlägige Publikationen Ausbildung und Weiterbildungen Referenzen

3. Faktoren, die die Kosten für das Usability Lab bestimmen

Zahlreiche Parameter beeinflussen die Zeit und Kosten für eine Studie in einem Usability Lab:

1. Kostenfaktor: Probanden

• Anzahl und Art der Benutzergruppen: Healthcare Professionals (Ärzte, Pflegekräfte, Techniker), Patienten
• Anzahl der Probanden pro Benutzergruppe
• Sprache(n) der Probanden
• Müssen Probanden rekrutiert werden oder stellt diese der Hersteller?
• Wie leicht sind diese zu rekrutieren? Eine Gruppe von 15 Kinderherzchirurgen zu rekrutieren, kann zu einer Herausforderung werden. Kontaktieren Sie uns, um zu erfahren, wie so etwas gelingt.

2. Kostenfaktor: Produkt

• Komplexität: Einarbeitung der Nutzer, Zeit zum Installieren, Einrichten, Reinigen …
• Größe, Versand, Lagerung
• Notwendigkeit und Dauer für Einweisung und Schulung. Stellt der Hersteller den Train-the-Trainer?
• Dauer der Nutzung
• Gefährdung durch das Produkt

3. Kostenfaktor: Planung, Durchführung und Dokumentation

• Ziel der Studie: Gebrauchstauglichkeitsprobleme finden, Verbesserungsvorschläge erarbeiten, regulatorische Anforderungen erfüllen
• Erfolgsfaktoren: Vollständigkeit, Korrektheit, Dauer, Anzahl Fehler, Kommentare, Umfragen
• Methoden: Formative versus summative Bewertung, heuristische Evaluierung, Umfragen, Interview, Cognitive Walkthrough
• Materialien für Probanden
• Sonstige an der Studie beteiligte Personen wie Patienten (z. B. Kinder, Bewusstlose, Behinderte), Techniker
• Anzahl und Umfang der Dokumentation (mehrere Zielgruppen wie Management, Behörden, Entwicklung), Auswertungen, Statistiken
• Eine oder mehrere Iterationen (z. B. nach Produktverbesserungen)

4. Kostenfaktor: Gebrauchsumgebung

• Usability Lab, Krankenhaus, Simulator
• Weitere Produkte und Systeme, Verbrauchsartikel
• Weitere Personen wie Techniker

5. Kostenfaktor: Technische Ausrüstung

• Anzahl Mikrofone, Kameras
• Aufzeichnung
• Remote-Studie versus Onsite-Studie im Feld

6. Kostenfaktor: Rechtliche Besonderheiten

• Anforderungen an den Datenschutz
• Besondere Einverständniserklärungen
• Compliance-Anforderungen (z. B. die Bezahlung von Probanden betreffend)

4. Rolle des Usability Lab

Der Idealfall

Ein Usability Lab sollte ein Dienstleister sein, der in die Spezifikation und Prüfung der Gebrauchstauglichkeit von Medizinprodukten eingebunden ist. Es kann helfen,

• gebrauchstaugliche Benutzungsschnittstellen zu spezifizieren,
• Risiken durch nicht gebrauchstaugliche Benutzungsschnittstellen zu identifizieren und
• die Gebrauchstauglichkeit formativ und summativ zu bewerten, z. B. durch Inspektionen (Verifizierung) und Usability Tests (Validierung), um mögliche Benutzungsfehler aufzuspüren, die zu einer Gefährdung des Patienten oder Nutzers führen können.

Die Realität: Wann das Usability Lab in Anspruch genommen wird

In unserer Beratungspraxis kommt es regelmäßig vor, dass Hersteller das Thema „Usability“ erst „entdecken“, wenn das Produkt schon teilweise oder sogar ganz entwickelt ist. Dann steht man vor der Aufgabe, die fehlenden Aktivitäten nachzuholen und die entsprechende Dokumentation nachträglich zu erstellen. Oft fehlt dann die Zeit, um das getestete User Interface optimal zu überarbeiten bzw. Maßnahmen festzulegen, um Benutzungsfehler im Sinne der Norm IEC 62366-1 zu vermeiden oder zumindest weniger wahrscheinlich zu machen.

Eine späte Prüfung der Produkte in einem Usability Lab ist aber immer noch besser als die dauerhafte Vermarktung von Produkten, deren Gebrauchstauglichkeitsrisiken nicht systematisch bestimmt und beherrscht sind.

Änderungshistorie

• 2024-04-01: Kriterien zur Auswahl von Usability Labs aktualisiert, Ziele der Labs ergänzt, redaktionelle Änderungen