Rekrutierung von Probanden für Usability Tests ~Tipps!

Viele Medizinproduktehersteller unterschätzen den Aufwand für die Rekrutierung von Probanden für Usability Tests. Wenn bei der Rekrutierung Fehler unterlaufen, kann es passieren, dass die benannte Stelle oder die Behörde (z.B. die FDA) die Ergebnisse der Usability Studie, z.B. der summativen Bewertung nicht anerkennt.

Rekrutierung von Probanden: Regulatorische Anforderungen

Alle relevanten Regularien wie der „Human Factors Engineering Guidance“ der FDA als auch die IEC 62366-1 verlangen, dass die Hersteller die Gebrauchstauglichkeit ihre Medizinprodukte mit repräsentativen Benutzern in einer repräsentativen Benutzungsumgebung prüfen.

Laut FDA müssen die Hersteller mindestens 15 Testpersonen einbeziehen, die zudem „US Residents“ sein müssen. Umgekehrt bestehen europäische Behörden und benannte Stellen nicht auf „EU Residents“. Aus diesem Grund führt das Johner Institut viele Usability Tests (inklusive des Recruitings) in seinem Labor in Washington D.C. durch. Allerdings besteht man auch in Europa darauf, dass die Probanden repräsentativ sind.

Typisches Vorgehen beim Rekrutieren von Probanden

1. Schritt: Profile der Probanden festlegen

Aus der Zweckbestimmung des Medizinprodukts muss sich das Profil der Probanden ableiten lassen. Beispielsweise sollte der Hersteller in einem sogenannten Screener festlegen:

• Ausbildung, Beruf
• Demografische Merkmale wie Alter, Geschlecht, Ethnizität (das ist in den USA relevanter)
• Sprachlicher und kultureller Hintergrund
• Berufserfahrung
• Technische Erfahrung z.B. im Umgang mit Computern, Mobilgeräten, Internet
• Erfahrung mit dem zu testenden Produkt, dem Produkttyp oder der Technologie
• körperliche oder geistige Einschränkungen, Brillenträger, …
• besondere Merkmale wie die Fähigkeit zu lesen und zu schreiben (oder gerade nicht), Besitz eines Führerscheins
• Kommunikationsfähigkeit

Regelmäßig legen die Hersteller neben den Einschlusskriterien auch Ausschlusskriterien fest z.B. Personen, die eine Beziehung zum Hersteller haben, die für einen Wettbewerber arbeiten oder die nicht in der Lage oder willens sind, ihre Beobachtungen beim Usability Testing zu artikulieren.

2. Schritt: Für jedes Profil die Anzahl an Teilnehmern festlegen

Für jedes Teilnehmerprofil müssen die Hersteller die Anzahl vorgesehener Probanden bestimmen.

Professionelle Recruiting Dienstleister sind in der Lage, den Anteil der sogenannten „No Shows“ abzuschätzen und damit, wie viele Testpersonen sie zusätzlich einladen müssen.

3. Schritt Testpersonen / Probanden identifizieren

Die Suche nach den Teilnehmern ist der aufwändigste Schritt bei der Rekrutierung. Abhängig von dem Profil nutzen professionelle Recruiting-Anbieter beispielsweise folgende Kanäle:

• Eigene Datenbanken
• Berufsverbände
• Selbsthilfegruppen (bei Patienten)
• Telefonische Kalt-Akquise
• Anschreiben von Krankenhäusern
• Empfehlungen ehemaliger Teilnehmer
• Werbung z.B. auf einschlägigen Webseiten
• Aushänge
• Direkte Ansprache

Das Recruiting erfordert regelmäßig viel Beharrlichkeit und Kreativität. Beispielsweise war das Recruiting-Team des Johner Instituts in den USA schon in Obdachlosenwohnheimen und Suppenküchen unterwegs, um Personen mit eingeschränkter Lesefähigkeit zu rekrutieren.

4. Schritt Testpersonen auswählen und verpflichten

Doch nicht jede Person, die sich meldet, eignet sich als Testperson. Die Recruiter legen im Screener die Fragen fest, mit denen sie herausfinden können, ob die „Bewerber“ für den Usability Test einbezogen werden dürfen.

Falls die Person den Kriterien genügt, müssen sich die Recruiter mit den potenziellen Probanden auf eine Aufwandsentschädigung einigen, deren Verfügbarkeit bestimmen und einen Vertrag eingehen.

5. Schritt: Probanden einplanen

Es folgt die Zeitplanung der Usability Tests. Die Herausforderung besteht darin, die Verfügbarkeit der Probanden mit den Kapazitäten des Usability-Labs abzugleichen. Eine verlässliche Schätzung der Dauer der einzelnen Usability Tests ist dafür unerlässlich.

6. Schritt: Testpersonen entschädigen

Je nach Kulturkreis erwarten die Testpersonen die Vergütung in bar, als Scheck oder als Überweisung, entweder zu Beginn des Tests oder danach.

Typische Herausforderungen beim Recruiting

1. Unklare oder sich ändernde Teilnehmerprofile

Manche Hersteller neigen dazu, die Profile nach Beruf zu wählen. Das kann allerdings dazu führen, dass es zu viele Gruppen und damit zu viele Probanden gibt, was die Kosten in die Höhe treibt.

Das Johner Institut schickt den Auftraggebern (Herstellern) meist nach einer ersten Recherche Beispielprofile. Damit lässt sich vermeiden, dass die Hersteller entgegen der ersten Angaben doch andere Erwartungen an die Auswahl der Probanden haben.

Es passiert gelegentlich, dass Medizinproduktehersteller noch während der Rekrutierung die vereinbarten Profile und die freigegebenen Screener mit Hilfe des Recruiting-Partners nochmals überarbeiten. Das sollte allerdings die Ausnahme bleiben.

2. Es finden sich nicht ausreichend Teilnehmer

Je spezieller die vorgesehene Benutzergruppe ist, umso schwieriger und aufwändiger gestaltet sich die Rekrutierung. Beispiele für solche aufwändig zu rekrutierende Personen sind:

• Ärzte v.a. mit Spezialdisziplinen
• Pflegekräfte mit besonderen Zusatzausbildungen und Fähigkeiten
• Patienten mit seltenen Krankheiten
• Personen, die nicht mobil sind

Regelmäßig scheitern potenzielle Testpersonen auch daran, nicht ausreichend kommunizieren zu können. Das ist besonders bei formativen Bewertungen häufig unverzichtbar. Berufstätige scheiden teilweise aus, weil sie nur deutlich außerhalb der üblichen „Bürozeiten“ verfügbar sind.

3. Die Planung der Probanden

Die beste Planung wird hinfällig, wenn Probanden verspätet oder gar nicht zum Test erscheinen. Gelingt es dem Usablity Team nicht, die Dauer der Usability Tests ausreichend genau zu planen, oder treten technische Schwierigkeiten auf, wird der Plan ebenfalls schnell zur Makulatur. Daher sind Probedurchläufe mit ausreichend Puffer ein hilfreiches Konzept.

4. Betrug, Korruption

Bedauerlicherweise muss man als Medizinproduktehersteller auf menschliche Niedertracht gefasst sein.

• Fake Probanden
  Es gibt Personen, die die Teilnahme an Umfragen und Gebrauchstauglichkeitsprüfungen zum Geschäftsmodell gewählt haben und daher jedes gewünschte Profil erfinden. Experten für die Rekrutierung von Probanden wissen daher genau, welche Informationen bereits in der Ausschreibung genannt werden dürfen.
• Diebstahl, Unterschlagung
  Der Umgang mit Bargeld verführt manche Zeitgenossen. Eine präzise Dokumentation inklusive Kassenbuch und Quittungen ist unerlässlich.
• Manipulation
  Manche Hersteller glauben, durch (Einfluss auf) die Wahl der Teilnehmer die Ergebnisse in ihre Richtung lenken zu können.
  Die Aufwandsentschädigung erfolgt in manchen Fällen in einer Höhe, die manipulativen Charakter vermuten lässt.
• Fälschung
  Die Marktforschungsunternehmen, die sich gelegentlich auch im Kontext von Usability Tests engagieren, fälschen im großen Stil Umfragen und Ergebnisse. Das war dem SPIEGEL im Februar 2018 eine Titelgeschichte wert.

Mit einem Recruiter zusammenarbeiten

Wenn Sie vor der Aufgabe stehen, einen Dienstleister für das Recruiting von Testpersonen auszuwählen, sollten Sie auf folgende Punkte achten:

• Erfahrung mit Medizinprodukten
  Der Dienstleister sollte Erfahrungen mit dem Recruiting von Probanden für das Usability Testing von Medizinprodukten haben. Viele Marktforschungsagenturen sind eher auf Masse und eher auf Umfragen getrimmt. Die normenkonforme Dokumentation der Auswahlkriterien und der tatsächlichen Profile ist verpflichtend.
• Zugang zu relevanten Benutzergruppen (z.B. Ärzten, Pflegekräften)
  Ein spezialisierter Dienstleister hat Zugang zu relevanten Benutzergruppen, kann (schnell) Probanden rekrutieren und versteht, wie er Personen findet, die Erfahrungen im Umgang mit einem bestimmten Typ von Medizinprodukten haben.
  Besonders in den USA müssen die Hersteller eine Diversität (Alter, Ethnizität usw.) beachten. Entsprechend benötigen sie Zugriff auf diese Populationen.
  Die räumliche Nähe (z.B. zu Krankenhäusern) ist ein weiterer Gesichtspunkt, um unnötige Fahrkosten und Aufwandsentschädigungen zu vermeiden.
• Enge Zusammenarbeit mit Usability-Lab
  Die Praxis zeigt, dass die Benutzerprofile nachjustiert werden müssen, dass sich Termine verschieben und dass zusätzliche Probanden gefunden werden müssen. Das wird nur dann effizient gelingen, wenn das Recruiting Team und das Usability Lab Hand in Hand arbeiten.
• Regulatorische Kompetenz
  Nicht nur das Medizinprodukterecht gilt es zu beachten, sondern auch Gesetze zum Datenschutz (s. DSGVO), zur Transparenz und Korruptionsvermeidung. Ein detektivischer Instinkt, eine vollständige Dokumentation und ein Verständnis der Regularien sind unverzichtbar.

Fazit

Der Teufel steckt im Detail. Diese Weisheit bewahrheitet sich bei der Rekrutierung von Probanden regelmäßig aufs Neue.

Abhängig von der Größe des Medizinprodukteherstellers und von der Anzahl seiner neuen oder geänderten Produkte kann sich ein eigenes Usability Lab rechnen. Ein eignes Team und eine eigene Infrastruktur für die Rekrutierung von Probanden vorzuhalten, dürfte hingegen nur selten Sinn ergeben. Doch ein Dienstleister fürs Recruiting ist mit Bedacht auszuwählen. Lassen Sie sich Referenzen zeigen.