Kategorien: Johner Institut

6 Kommentare

  1. Lucie | Montag, 11. Oktober 2021 um 12:23 Uhr - Antworten

    Dear Sir/Madam,
    I wanted to ask about the calculations of the cut-off value, is it needed for analytical sensitivity and specificity or for diagnostic sensitivity and specificity? One last question please, what does this mean:
    This Section shall provide a summary of analytical data with a description of the study design including methods for determining the assay cut-off, such as:

    the population(s) studied: demographics, selection, inclusion and exclusion criteria, number of individuals included;
    method or mode of characterisation of specimens; and
    statistical methods such as Receiver Operator Characteristic (ROC) to generate results and if applicable, define grey-zone/equivocal zone.

    how could one formulate this section in the technical documentation?
    Thank you again!
    Best regards, Lucie


    • Dr. Catharina Bertram | Dienstag, 12. Oktober 2021 um 14:53 Uhr - Antworten

      Dear Lucie,
      The calculation of a cut-off value may be applied in different contexts of use. For qualitative tests, the cut-off is defined as “the threshold above which the result is reported as positive and below which the result is reported as negative” (source: CLSI Guidance EP12-A2 “User Protocol for Evaluation of Qualitative Test Performance). Accordingly, the cut-off represents the medical decision point. Manufacturers establish the product-specific cut-off value based on the intended purpose of the IVD medical device and the claimed or desired diagnostic sensitivity and diagnostic specificity.
      The IVDR requires in Annex II, Section 6.1.2.6. to describe the product-specific approach for assessing the IVD medical device’s cut-off as part of the technical documentation. The detailed information and wording depend on the intended purpose of your IVD medical device and the product-specific performance evaluation strategy. The cut-off is, e.g., dependent on the intended population and may vary with different specimen types. One approach to select the appropriate cut-off is to present diagnostic sensitivity-specificity pairs in a receiver operating characteristic (ROC) plot. Usually, manufacturers estimate the assay cut-off based on a smaller cohort during their analytical performance studies and validate the selected threshold during the clinical performance study based on a statistically validated sample size. The particular requirements for the documentation of the performance evaluation studies are specified in Annex XIII of the IVDR.
      Best regards, Catharina


  2. Gabriele Fabian | Freitag, 14. Oktober 2022 um 12:25 Uhr - Antworten

    Hallo,
    können Sie mir sagen, ob ein Bericht über eine Leistungsstudie auch personenbezogene Daten enthält?
    Vielen Dank für eine schnelle Rückmeldung.
    Freundliche Grüße,
    Gabriele


    • Dr. Catharina Bertram | Freitag, 14. Oktober 2022 um 13:54 Uhr - Antworten

      Liebe Gabriele,
      die konkreten Inhalte eines Berichts über die klinische Leistungsstudie sind sehr produkt- und studienspezifisch. Da Hersteller die Studienpopulation gemäß IVDR, Anhang XIII, Abschnitt 2.3.2 m) jedoch im Detail beschreiben müssen, sind in der Regel auch personenbezogene Daten wie Alter und Geschlecht in einem Plan und Bericht über die klinische Leistungsstudie zu finden. Die IVDR fordert „Informationen zu der Population der Leistungsstudie: Spezifizierung der Prüfungsteilnehmer, Auswahlkriterien, Größe der Population der Leistungsstudie, Repräsentativität der Zielpopulation“ im klinischen Leistungsstudienplan zu benennen.
      Grundsätzlich müssen Hersteller jede Leistungsstudie im Einklang mit den geltenden Datenschutzvorschriften durchführen (s. IVDR, Artikel 57). Dazu wenden sie u.a. eine Pseudonymisierung der Daten an.

      Herzliche Grüße,
      Catharina Bertram


  3. Anton S. | Montag, 7. November 2022 um 10:25 Uhr - Antworten

    Sehr geehrte Frau Dr. Bertram,
    Sie erwähnen ein „komplexes IVD-System (z. B. bestehend aus IVD-Gerät, IVD-Assay und IVD-Software).

    Wie sieht es aber Ihrer Meinung aus wenn nur ein IVD-Gerät (Analyzer für klinische Chemie) alleine, unabhängig von IVD-assays, als ein Class-A IVD zugelassen wird. Eine wissenschaftliche Validität, analytische- und klinische performance wäre hierbei ja nicht gegeben da die in der IVDR beschriebenen performance characteristics einem Assay zuzuordnen wären.

    Könnte man somit den geforderten Nachweis der wissenschaftlichen Validität, analytische- und klinische performance im Zuge der performance evaluation aufgrund Nichtanwendbarkeit „wegargumentieren“ und stattdessen den Analyzer „nur“ einer klassischen Verifizierung&Validierung unterziehen ?

    Ich denke da beispielsweise auch an Urinbecher die im Sinne der IVDR ein IVD darstellen. Auch hier würden die Anforderungen an die performance evaluation nicht anwendbar sein.

    Mit freundlichen Grüßen,
    Anton S.


    • Dr. Catharina Bertram | Mittwoch, 9. November 2022 um 07:22 Uhr - Antworten

      Sehr geehrter Herr S.,

      die Leistungsbewertungsstrategie sollte stets produktspezifisch hergeleitet und begründet werden. Daher lassen sich die Anforderungen an die Leistungsbewertung eines Produkts in der Regel nicht pauschal ausschließen. Dennoch erwähnt die IVDR bereits im Vorwort (65): „Kann mit bestimmten Produkten keine Analyseleistung oder klinische Leistung erzielt werden oder sind bestimmte Leistungsanforderungen nicht anwendbar, sollten im Leistungsbewertungsplan und den dazugehörigen Berichten die mit diesen Anforderungen verbundenen Weglassungen begründet werden.“ Dies greift der Anhang XIII in Abschnitt 1.2.2. und 1.2.3. konkret auf und sagt aus: „Der Hersteller weist die Analyseleistung/klinische Leistung des Produkts anhand aller Parameter gemäß Anhang I Abschnitt 9.1 Buchstabe a/b nach; Parameter, deren Nichtanwendbarkeit begründet werden kann, können jedoch unberücksichtigt bleiben.“ Ein möglicher Ausschluss des Nachweises der wissenschaftlichen Validität wird hingegen nicht erwähnt. Das ist auch logisch, denn wenn die wissenschaftliche Validität eines Produkts nicht gegeben ist, wird es mindestens schwer sein, das nötige positive Nutzen-Risiko-Verhältnis nachzuweisen (s. Anhang I, Abschnitt 1).
      Ich stimme Ihnen zu, dass die Definition von wissenschaftlicher Validität, die wir in der IVDR finden, zunächst nicht direkt auf ein Klasse A Gerät anwendbar scheint. Dort heißt es in Artikel 2, Nr. 38: „wissenschaftliche Validität eines Analyten bezeichnet den Zusammenhang eines Analyten mit einem bestimmten klinischen oder physiologischen Zustand“. Der Fokus liegt also auf dem Analyten. Beachten Sie jedoch auch die Anforderungen, um ein Gerät überhaupt als ein Klasse A IVD zu klassifizieren: Gemäß der Klassifizierungsregeln nach Anhang VIII der IVDR, werden entsprechend Regel 5 b) Instrumenten der Klasse A zugeordnet, wenn sie „vom Hersteller speziell für die Verwendung bei In-vitro-Diagnoseverfahren vorgesehen sind“. Artikel 1, Abschnitt 3 a) der IVDR hebt zudem hervor, das Produkte nur unter die IVDR fallen, wenn sie „aufgrund ihrer Merkmale […] speziell für In-vitro-Untersuchungen bestimmt“ sind. Dies wird von der MEDDEV 2.14/1 rev.2 und dem Manual on Borderline and Classification am Beispiel eines Mixers bekräftigt und eine Definition der spezifischen Charakteristika sowie ihres Nachweises im Zusammenhang mit dem/den identifizierten In-vitro-Untersuchungsverfahren gefordert.

      Ich empfehle Ihnen daher, die wissenschaftliche Validität für Ihr Produkt in einem Bericht zu belegen. Bei etablierten Produkten lässt sich die wissenschaftliche Validität häufig bereits durch die systematische Literaturrecherche zum Stand der Technik (medizinisch und technologisch) begründen, die ein Teil des Leistungsbewertungsplans ist. Als Hilfestellung empfehle ich Ihnen, die Definition der wissenschaftlichen Validität für Software gemäß Guidance-Dokument MDCG 2020-2 zugrunde zulegen, da sie auf den Output fokussiert und dies auch auf Geräte übertragbar ist.
      Zudem sollten Sie in Ihrem Leistungsbewertungsplan gemäß Anhang XIII, Abschnitt 1.1 ihre produktspezifische Leistungsbewertungsstrategie für jeden in Anhang I genannten Leistungsparameter begründen bzw. Akzeptanzkriterien festlegen. Mindestens Parameter wie Reproduzierbarkeit und Wiederholbarkeit sollten für ein Gerät nachgewiesen werden.

      Ich hoffe, ich konnte Ihnen mit dieser sehr ausführlichen Antwort weiterhelfen. Sollten Sie weitere Fragen zur Umsetzung Ihrer produktspezifischen Leistungsbewertung haben oder Unterstützung bei den Aktivitäten benötigen, freu ich mich, wenn Sie sich bei mir melden. Wir helfen gern!

      Herzliche Grüße,
      Catharina Bertram


Hinterlassen Sie einen Kommentar

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.