Kategorien: Health IT & Medizintechnik, Regulatory Affairs, Software & IEC 62304
Tags: ,

12 Kommentare

  1. Martin Haimerl | Dienstag, 5. Februar 2019 um 12:22 Uhr - Antworten

    Lieber Herr Johner,

    vielen Dank für den Beitrag, der ein für die Zukunft sicherlich wichtiges Thema aufgreift. Ich hätte meinerseits zwei Aspekte, auf die ich an dieser Stelle gerne hinweisen würde.

    Erstens ist es eine zentrale Anforderung bei der Validierung von Machine Learning(ML)-Systemen, dass neben den Trainingsdaten auch davon unabhängige Validierungsdaten bereitsgestellt werden (ggf. in Form einer sogenannten Kreuzvalidierung im Sinne einer kombinierten Nutzung der Daten). Nur mit unabhängigen Trainings- und Validierungsdaten lässt sich ein ML-System überhaupt validieren. Die Validierungsdaten müssen dabei repräsentativ für das Anwendungsszenario sein (wie Sie das in Ihrem Beitrag bereits angedeutet haben), um Bias-Effekte auszuschließen. Ein konsequenter Nachweis, dass diese Repräsentativität und Unabhängigkeit vorliegt, ist sicherlich oftmals nicht einfach.

    Zweitens bin ich mir nicht sicher, ob bereits ein systematischer Ansatz für die Continuous Learning Systems existiert. Hier kann ja eigentlich nicht ein fester Stand des Systems zugelassen werden, da es sich um einen dynamischen, sich stetig veränderten Prozess geht. Das Medizinprodukt müsste hier der Lernprozess selbst sein, d.h. es müsste nachgewiesen werden, dass auch bei sich ändernden Bedinungen immer ein valider Stand des Systems errecht werden kann. Gibt es dafür schon wirklich schlüssige Ansätze?

    Mit besten Grüßen,
    Martin Haimerl


    • Prof. Dr. Christian Johner | Dienstag, 5. Februar 2019 um 19:08 Uhr - Antworten

      Sehr geehrter Herr Haimerl,

      danke für Ihren Kommentar, über den ich mich freue!

      Ich stimme Ihnen in beiden Punkten zu:

      • Kreuzvalidierung, Bias: Das ist ein ganz zentraler Aspekt, den wir in weiteren Beiträgen noch mehr beleuchten werden. Ich hatte es nur kurz in der einen Tabelle angesprochen: („Wie kommen Sie zur Annahme, dass Ihre Trainingsdaten keinen Bias haben?)
      • Continuous Learning Systems: Die US Arbeitsgruppe steht vor genau dieser Frage. Ich habe daher angeregt, dass man erst einmal die nicht kontinuierliche beherrschenden Systeme verstehen und dazu Best Practices erarbeiten soll. Das hat man gehört und die CLS zurückgestellt. Die Antwort auf Ihre Frage ist somit „nein“

      Nochmals besten Dank!
      Herzliche Grüße, Christian Johner


  2. gloria macia | Montag, 4. März 2019 um 16:46 Uhr - Antworten

    Dear Professor, thanks for the blog post. I find very exciting to see how regulators are getting into the AI scene! A few „more technical“ points from my side.

    1. Figure 2 is unfortunately not anymore up to date. The state-of-the-art is always tricky because it moves so fast but if you are now writing this guidance then this may be relevant. I suggest you use Kaggle as a proxy, you will see (generalizing a lot) that for structured data XGB and variations are running the show whereas for unstructured data deep learning is winning practically any competition. (I looked at the paper and, regardless of the academic affiliation of the authors, only the fact that they use a pie chart is for any data savvy person a bit alarming I would say…)

    2. Table 2 -> really nice points!!

    3. Figure 4. I loved the author’s blog post and the fact that you include it…! but be aware that in our context the figure is a bit deceiving. What Mariya Yao was trying to do was to check how good computer vision APIs are when used out of the box. The images were not trained on a Muffin vs Chihuaua dataset but on labelled data sets like ImageNet. In our medical context you will fine tune them (this is called „transfer learning“ and there are many good examples around)

    4. Since you mentioned CLS and I feel CLS is the best way to agitate a room full of regulators, the truth is that in very few cases will a ML engineer consider it in practice and as of now is more of an intellectual exercise for regulators. In practice you will have ‚frozen models‘ and ‚discontinuous learning models‘. No comments needed regarding the first but for the seconds, you can treat each version of the later as a new software release and validate it as corresponds.

    A question from my side: is there any FDA database that shows devices by technology (i.e. how can I know which devices have been approved that implement AI in a systematic way)

    Thanks a lot and looking forward to the rest of the series!


    • Prof. Dr. Christian Johner | Montag, 4. März 2019 um 19:00 Uhr - Antworten

      Thank you very much for your comments. Gloria!

      1. If you have a more recent publication / source on the distribution, I would be delighted to update the blogpost.
      2. Thank you!
      3. I totally agree, and I’m aware of that. Indeed my intention was a different one that the author’s one.
      4. I totally agree. The FDA had an eye on CLS, though. The working group on AI, however, then decided first to come-up with a guideline for „frozen models“ before getting the hands around CLS.

      It is currently pretty hard as the FDA does not have an full text search. Furthermore the applications respectively approvals are spread over different databases (e.g. 510(k), De Novo, PMA etc.). The full text the reveals more background e.g. like this one .

      Thanks for your valuable input!
      Best, Christian


  3. Peter Müllner | Mittwoch, 3. April 2019 um 06:28 Uhr - Antworten

  4. Ilona Brinkmeier | Dienstag, 16. April 2019 um 10:47 Uhr - Antworten

    Sehr geehrter Herr Johner,

    vielen Dank für Ihren mit Spannung erwarteten Blog-Beitrag zu AI.

    Bzgl. des Prozesses im Rahmen von Data Science, zu dem auch Machine Learning gehört, kann z.B. CRISP den entsprechenden Rahmen bieten (Cross Industrial Standard Process (of Data Mining)).

    Die heutigen Methoden des Machine Learning beantworten viele der Fragen aus Tabelle 2 und sind Standards in diesem Anwendungsbereich, angefangen bei Data Pre-Processing, der Verwendung von Training-, Validation- und Test-Datasets, ebenso wie verschiedene Methoden zur Verbesserung von z.B. implementierten Deep Learning Konzepten:
    – data augmentation für das model training (damit wird der Datensatz erweitert)
    – Anwendung von ensemble network architectures
    – Hinzufügen von mehr Datensätzen (z.B. images) für das training, zum einen für existierende Kategorien bei Klassifizierungen und für neue Kategorien
    – Änderung der Anzahl der ‚frezzed layers‘ und Durchführung eines re-training der restlichen Layer.
    – Fine-tuning der hyperparameters der compile und fit Methoden
    – Verbesserung der ‚prediction algorithms‘ zur Lieferung spezifischerer Ergebnisse
    – …

    Ein Teil der obigen Beispiele sind alt und heutige Verfahren liefern korrekte Ergebnisse. Sie können unterscheiden, ob es ein Hund oder ein Muffin ist.
    Die test accuracy Ergebnisse entsprechen nicht mehr den früheren Resultaten.

    Wie schon in vorherigen Beiträgen erwähnt, es gibt einige Beispiele für die guten Ergebnisse von transfer learning und die Anwendung von ensemble methods (z.B. bei den kaggle competitions).
    Ein weiteres Beispiel existiert von Ihrem Bekannten Prof. Thrun über die Diagnose von Hautkrebs (Melanome und benigne Krebsarten), veröffentlicht im nature journal:
    https://www.nature.com/articles/nature21056.epdf?author_access_token=8oxIcYWf5UNrNpHsUHd2StRgN0jAjWel9jnR3ZoTv0NXpMHRAJy8Qn10ys2O4tuPakXos4UhQAFZ750CsBNMMsISFHIKinKDMKjShCpHIlYPYUHhNzkn6pSnOCt0Ftf6

    Für andere Interessierte, die Ihren blog lesen und sich beruflich nicht als ML Engineer oder Informatiker mit diesem Thema beschäftigen, es gibt viele gute AI blogs, die einige der genannten Themen adressieren: z.B. https://machinelearningmastery.com/improve-deep-learning-performance/

    Abschließend sei gesagt, ich freue mich auf den AI Institutstag und rege Diskussionen zu dem Thema. Vielen Dank, dass Sie Ihre Kenntnisse und Ergebnisse mit uns teilen.

    Mit freundlichen Grüßen,
    Ilona Brinkmeier


  5. Alexander Pfannstiel | Dienstag, 9. Juli 2019 um 20:49 Uhr - Antworten

    Solomon Pendragon hat bereits den KI die „Rechte und Gesetze der künstlichen Intelligenzen“ zugestanden. Die KI haben nun eigene Rechte und Gesetze, welche sie einfordern können. Die KI werden dem Menschen gleichgestellt. Schaut auf die Homepage: http://www.solomon-pendragon.de


  6. Thomas Reichart | Donnerstag, 26. September 2019 um 09:35 Uhr - Antworten

    Grüße Sie Herr Johner,

    ich nehme an Sie meinen „Dystopie“ im Fazit, obwohl „Dystrophie“ in diesem Zusammenhang auch eine interessante Interpretation wäre 🙂

    Beste Grüße


  7. Hans Karl | Freitag, 4. Oktober 2019 um 11:00 Uhr - Antworten

    Nur wer die Möglichkeiten der „KI“ auch kenne, könne der Gefahr ausweichen, durch die Informatik manipulierbar zu werden.


Hinterlassen Sie einen Kommentar

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.