Usability Tests in Zeiten von Corona

Hersteller können auf Usability Tests in Zeiten von Corona nicht verzichten. Denn sowohl die IEC 62366-1 als auch die FDA bestehen auf diese Tests. Ausnahmen aufgrund von Corona gibt es keine.

Dieser Beitrag

• stellt ein leicht umsetzbares Sicherheitskonzept vor,
• gibt Hinweise, wie Sie eigene Verfahrensanweisungen schneller erstellen können, und
• hält eine Rekrutierungscheckliste zum Download bereit. Das erspart Ihnen weitere Arbeit.

1. Schritt: Die Methoden auswählen

a) Entscheidungsbaum

Hersteller bzw. Usability Labs sollten die Methode zur Evaluation der Usability so wählen, dass folgende Bedingungen erfüllt werden:

1. Die regulatorischen Anforderungen sind erfüllt.
2. Usability-bezogene Risiken sind bestmöglich identifiziert.
3. Die Sicherheit der Probanden und der Mitarbeitenden des Usability Labs ist bestmöglich gewährleistet.

Die Abbildung 1 hilft bei der Auswahl der Methoden bei Usability Evaluationen in Zeiten von Corona.

Formative Evaluation: Beteiligung von Probanden notwendig?

Ob bei einer formativen Bewertung die Beteiligung von Usability-Experten ausreicht und auf Probanden verzichtet werden kann, hängt u.a. von diesen Faktoren ab:

• Entwicklungsstand des User Interfaces
• Möglichkeit und Aufwand, um User Interfaces zu verbessern, bei denen Nutzungsfehler erst bei der summativen Evaluation gefunden werden
• Verfügbarkeit von Usability-Experten, die heuristische Evaluationen, Cognitive Walkthroughs und andere Inspektionsverfahren durchführen können
• Regulatorische Vorschriften (z.B. MDR, IEC 62366-1, FDA)

Remote-Durchführung möglich?

Die Entscheidung, ob Remote Usability Tests möglich sind, sollten Hersteller von den Antworten auf diese Fragen abhängig machen:

• Ist der „Remote-Ort“ ausreichend repräsentativ für die tatsächliche Nutzungsumgebung?
• Ist es möglich, das Medizinprodukt an diesen Ort zu bringen und dort zu betreiben? Sind beispielsweise notwendige Versorgungsanschlüsse vorhanden?
• Gelingt es, die Nutzung des Produkts am Remote-Ort ausreichend zu beobachten? Ist beispielsweise eine Übertragung von Ton und Bild möglich?

b) Regulatorischer Hintergrund

Unabhängig vom Markt verpflichten die Medizinproduktegesetze die Hersteller dazu, die Risiken aufgrund mangelnder Gebrauchstauglichkeit zu identifizieren und zu beherrschen.

Die IEC 62366-1 schreibt für die formative Evaluation keine Methode zwingend vor. Das bedeutet, dass auch eine Bewertung ohne die Beteiligung von repräsentativen Nutzern normenkonform ist.

Die FDA empfiehlt in ihrer Human Factors Engineering Guidance hingegen die Beteiligung von „Usern“.

Bei der summativen Evaluation kommt man um „echte Usability Tests“ mit Probanden kaum herum.

Sie erfahren im Folgenden, wie Sie diese Usability Tests in Zeiten von Corona gesetzeskonform und sicher durchführen.

2. Schritt: Technische und räumliche Voraussetzungen prüfen (und schaffen)

a) Räumlichkeiten und Wegeführung

Bevor Sie sich in die Detailplanung stürzen, sollten Sie prüfen, ob Ihr Usability-Labor überhaupt die räumlichen Voraussetzungen erfüllt.

Personen müssen während des kompletten Ablaufs einen Abstand von mindestens 1,5 Meter halten können. Das betrifft die Orte, an denen die Probanden

1. begrüßt werden,
2. warten,
3. instruiert werden,
4. das Produkt nutzen,
5. befragt und
6. verabschiedet werden.

Falls sich zwei Personen in einem Raum aufhalten, sollten sie durch Barrieren wie Plexiglas getrennt werden. Diese Situation ist im Wesentlichen nur bei der Instruktion notwendig.

Eine gute Durchlüftung der Räume trägt entscheidend dazu bei, das Infektionsrisiko insbesondere durch Aerosole zu minimieren.

b) Technische Voraussetzungen

Zu den technischen Voraussetzungen zählen:

• Plexiglasscheiben, um Interviewpartner zu trennen
• Hinweisschilder sowie Markierungen auf dem Boden (s. Abb. 2)
• Video- und Audiotechnik, um Probanden von außerhalb des Raums beobachten und weiterhin instruieren zu können
• Desinfektionsständer
• Abfalleimer, die sich mit dem Fuß öffnen lassen

3. Schritt: Verfahrensanweisung und Sicherheitskonzept erstellen

Das Sicherheitskonzept beinhaltet eine Verfahrensanweisung, die alle Phasen des Usability Tests beschreibt:

a) Auswahl der Probanden

Der Hersteller bzw. das von ihm ausgewählte Usability Lab sollte darauf achten, dass die Probanden repräsentativ sind und nicht zu einer Risikogruppe gehören. Welche Personen zu einer Risikogruppe zählen, hat das Robert-Koch-Institut publiziert.

Hersteller sollten diese Personengruppen nach Möglichkeit ausschließen. Falls das nicht möglich ist, weil diese Personengruppe die repräsentativen Nutzer darstellt, müssen die Hersteller diese Personen aufklären und auf einer gesonderten Einverständniserklärung bestehen.

Diese Informationen und die Einverständniserklärung müssen auch auf die Besonderheiten von FFP2-Masken eingehen. Üblicherweise setzt deren regelmäßiger Einsatz sogar eine gesundheitliche Prüfung voraus.

Sie finden weiter unten eine Checkliste mit Rekrutierungskriterien.

b) Informationen für Probanden

Die Probanden erhalten vorab ein Merkblatt, das sie über den Ablauf des Usability Tests und über einzuhaltende Sicherheitsmaßnahmen informiert.

Sie finden weiter unten weitere Hinweise zu Merkblättern und Checklisten.

c) Planung der Usability Tests in Zeiten von Corona

Das Usability Lab sollte die Tests so planen, dass möglichst wenige Personen im Usability Lab anwesend sind und sich innerhalb des Usability Labs begegnen.

Das führt meist zu einer etwas geringeren Auslastung des Labors.

d) Begrüßung der Probanden

Die Mitarbeitenden des Usability Labs

• begrüßen die Probanden mit einem Sicherheitsabstand,
• bieten den Desinfektionsspender und ggf. eine Maske an,
• informieren die Probanden über die Räumlichkeiten und das Wegekonzept
• und geleiten die Probanden in den Warteraum.

Selbstverständlich tragen die Mitarbeitenden selbst eine Maske.

e) Einweisung und Training der Probanden

Nicht nur in Zeiten von Corona bedürfen Usability Tests einer besonderen Sensibilität des Laborpersonals. Die Mitarbeiter sollten die Nervosität der Probanden berücksichtigen und darauf hinweisen, dass es nicht darum geht, erwünschte Ergebnisse zu erzielen.

Allerdings wird in Zeiten von Corona diese Kommunikation durch das Tragen von Masken erschwert.

Bei diesen Instruktionen und bei ggf. notwendigen Trainings müssen die Mitarbeitenden und die Probanden die Abstandsregeln einhalten.

Daher sollte das Labor im Vorfeld und spezifisch für das jeweilige Produkt festlegen, wer zu welchem Zeitpunkt wo stehen muss. Es empfiehlt sich, diese Positionen auf dem Boden zu markieren und im „Summative Evaluation Plan“ zu dokumentieren.

f) Durchführung von Usability Tests in Zeiten von Corona

Die Verfahrensanweisung bzw. das Sicherheitskonzept sollten auch die Durchführung der Usability Tests beschreiben und dabei Folgendes regeln:

• Beobachtung der Probanden
  Die Probanden sollten nur mit einem größeren Abstand oder über Videokameras beobachtet werden. Dies setzt eine höhere Anzahl an Videokameras voraus, um die Probanden aus allen Winkeln beobachten zu können.
  Wichtig ist nicht nur die Interaktion der Probanden mit dem Produkt (z.B. mit den Händen), sondern auch die Mimik und die emotionalen Reaktionen der Probanden. Die Kameras müssen entsprechende „Close-ups“ ermöglichen.
• Eingreifen des Moderators
  Es kann vorkommen, dass die Moderatoren ins Geschehen eingreifen müssen, z.B. um ein Gerät wieder zurückzusetzen. Die Moderatoren sollten angehalten werden, den Sicherheitsabstand auch in diesen Fällen zu wahren. Sie müssen dann die Probanden bitten, sich vom Produkt zu entfernen und dieses ggf. auf einem Tisch abzulegen.

Weitere Hinweise für das Verhalten der Mitarbeitenden des Usability Labors lassen sich gut in ein Merkblatt auslagern.

4. Schritt: Merkblätter und Checklisten zum Usability Testing in Zeiten von Corona erstellen

a) Merkblatt für Mitarbeitende des Usability Labs

Das Merkblatt sollte alle Handlungsanweisungen enthalten, die nicht spezifisch für einen Usability-Test sind. Dazu zählen beispielsweise folgende Anforderungen:

Allgemeine Regeln

• Jeder, der Kontakt mit Probanden hat, muss eine Maske tragen.
• Die verwendeten Masken müssen in verschließbaren Abfallbehältern entsorgt werden.
• Die allgemeinen und die für den Usability-Test spezifischen Verfahrensanweisungen müssen eingehalten und die Rekrutierungscheckliste beachtet werden.

Reinigung

• Die Abfallbehälter müssen täglich geleert werden.
• Die Sanitärräume müssen täglich gereinigt werden.
• Es muss täglich sichergestellt werden, dass die Spender für Desinfektionsmittel, die Seife und Einmalhandtücher gefüllt sind.
• Bei Verschmutzungen mit Fäkalien, Blut oder Erbrochenem muss nach Entfernung der Kontamination eine prophylaktische Scheuer-Wisch-Desinfektion mit einem mit Desinfektionsmittel getränkten Einmaltuch durchgeführt werden. Dabei sind Arbeitsgummihandschuhe zu tragen. Wickelauflagen sind unmittelbar nach Nutzung zu desinfizieren.
• Die Testmaterialien sowie das verwendete Equipment (Stifte, Tablet, Laptop) und Teile der Räumlichkeiten (Türklinke, Lichtschalter, Armaturen im Sanitärbereich, Oberflächen der Tische) müssen nach jeder Sitzung mit Flächendesinfektion gereinigt werden.

Umgang mit Probanden bzw. Testpersonen, Durchführung von Usability Tests

• Den Testpersonen müssen Masken zur Verfügung gestellt werden.
• Den Testpersonen muss vor Beginn der Usability-Tests Desinfektionsmittel angeboten werden, damit sie ihre Hände desinfizieren können.
• Der Mindestabstand von 1,50 Meter zwischen den beteiligten Personen muss immer eingehalten werden.
• Vor und nach dem Durchführen der Sitzungen müssen die Test-Räume einige Minuten stoßgelüftet werden. Wenn möglich, bleiben die Fenster während der Sitzungen geöffnet.
• Die Warteräume müssen mehrmals täglich stoßgelüftet werden.
• Incentives müssen vor den Sitzungen in Umschläge verpackt und dann den Testpersonen auf den Tisch gelegt werden, sodass kein physischer Kontakt zwischen Mitarbeitern und Testpersonen notwendig ist.

b) Checkliste mit Rekrutierungskriterien

Die Checklisten, die Sie für die Rekrutierung von Probanden berücksichtigen, sollten v.a. das Folgende sicherstellen:

1. Der Proband ist tatsächlich ein repräsentativer Nutzer.
2. Der Proband zählt nicht zur Risikogruppe gemäß Robert-Koch-Institut.

Das Johner Institut nutzt bei der Rekrutierung für den zweiten Punkt eine kurze Checkliste.

c) Merkblatt für Probanden

Das Merkblatt für Probanden soll sicherstellen, dass die Probanden

1. das Sicherheitskonzept kennen und daher
   • genau wissen, auf was sie sich einlassen,
   • sich keine unbegründeten Sorgen machen,
2. die Sicherheitsregeln einhalten und
3. selbst prüfen können, ob sie die Voraussetzungen für eine Teilnahme erfüllen

Das Merkblatt des Johner Instituts enthält die folgenden Elemente:

Hintergrundinformationen zu COVID-19

• Informationen zu den Übertragungswegen: ca. 50 % Tröpfcheninfektion, 40 % Infektionen über Aerosole, 10 % Schmier-/Kontaktinfektionen
• Informationen über Risikogruppen
• Referenzen zu relevanten Publikationen

Voraussetzungen für die Teilnahme

• Wer zählt zur Risikogruppe?
• Auf welche Krankheitszeichen sollten die Probanden achten?

Hinweise zum eigenen Verhalten

• Maske mitbringen
• Abstand halten
• Keine Berührungen des Laborpersonals, z.B. kein Händeschütteln
• Keine unnötigen Berührungen von Gegenständen mit den Händen (z.B. von Türklinken, Fahrstuhlknöpfen)
• Hände waschen und desinfizieren
• Etikette bei Husten und Niesen

Information über das Sicherheitskonzept des Usability Labors

Dieser Abschnitt beschreibt den Aufbau und das das Sicherheitskonzept des Usability Labors, wie es dieser Artikel vorstellt.

5. Schritt: Usability Test durchführen

Wenn all diese Vorbereitungen erfolgt sind, können Sie den Plänen gemäß handeln. Falls dem Team des Usability Labors Probleme auffallen, sollten die eigenen Vorgaben gleich verbessert werden.

Diese Vorgabedokumente sind Teil des eigenen QM-Systems.

Beim Erstellen und Überarbeiten dieser Vorgabedokumente sollte der eigene Datenschutzbeauftragte beteiligt werden. Denn einerseits müssen die Namen und Kontaktdaten der Probanden notiert werden, um Infektionsketten nachvollziehen zu können; andererseits müssen die Anforderungen des Datenschutzes erfüllt werden.

Fazit, Zusammenfassung

Notwendiger initialer Aufwand …

Usability Tests in Zeiten von Corona stellen Mindestanforderungen an die räumliche und technische Ausstattung. Sie erfordern eine präzisere Planung.

Dies bedeutet zunächst Aufwand. Dieser Aufwand rechnet sich jedoch, da wir noch über Monate, wenn nicht Jahre, mit dem Virus leben müssen. Solange können Hersteller nicht auf Usability Tests verzichten.

… der sich rechnet

Sobald das Sicherheitskonzept steht, sobald die Pläne, Merkblätter und Anweisungen vorhanden sind und befolgt werden, steht auch in Zeiten von Corona den gesetzeskonformen Usability Tests nichts mehr im Weg.

Die regulatorischen Anforderungen sind jedenfalls kein Grund, um die summativen Evaluationen und damit die Zulassung und Vermarktung von Medizinprodukten zu verzögern.

---

Melden Sie sich gleich, wenn Sie die Gebrauchstauglichkeit Ihrer Medizinprodukte prüfen und damit die Voraussetzungen für eine schnelle Vermarktung Ihrer gebrauchstauglichen Produkte schaffen möchten.