{"id":3233284,"date":"2020-02-25T09:00:00","date_gmt":"2020-02-25T08:00:00","guid":{"rendered":"https:\/\/www.johner-institut.de\/blog\/?p=3233284"},"modified":"2025-01-09T19:53:08","modified_gmt":"2025-01-09T18:53:08","slug":"validierung-von-machine-learning-libraries","status":"publish","type":"post","link":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/","title":{"rendered":"Validierung von Machine Learning Libraries"},"content":{"rendered":"\n<p>Immer mehr Hersteller setzen <strong>Machine Learning Libraries<\/strong> wie scikit-learn, TensorFlow und Keras in ihren Produkten ein. Damit beschleunigen sie ihre Forschungs- und Entwicklungsvorhaben.<\/p>\n\n\n\n<p>Allerdings ist nicht allen Herstellern klar, welche regulatorischen Anforderungen sie bei Machine Learning Libraries nachweisen m\u00fcssen und wie sie das am besten tun. Das f\u00fchrt dazu, dass sie unn\u00f6tige Aufw\u00e4nde treiben oder bei Audits und Zulassungen in unerwartete Schwierigkeiten geraten. Das verz\u00f6gert die Produktzulassun<\/p>\n\n\n\n<p>Dieser Beitrag hilft Herstellern und Auditoren zu verstehen, auf was sie bei der Validierung von Machine Learning Libraries achten sollten. Er zeigt zudem, welche Anforderungen (z.B. von Beh\u00f6rden und Benannten Stellen) jeglicher juristischen und logischen Grundlage entbehren. <\/p>\n\n\n\n<p>Erfahren Sie, wie Sie auf <strong>Augenh\u00f6he diskutieren, unn\u00f6tige und unberechtigte Anforderungen und damit Aufw\u00e4nde vermeiden und so Ihr Produkt problemlos auf den Markt bringen k\u00f6nnen.<\/strong><\/p>\n\n\n\n<!--more-->\n\n\n\n<p><span style=\"color:grey;font-style:italic\">Hinweis zur Autorenschaft: Prof. Dr. Oliver Haase ist Mitautor dieses Artikels. Er ist Leiter des <a href=\"https:\/\/www.johner-institut.de\/seminare\/weitere-seminare\/kuenstliche-intelligenz\/\">Seminars \u201eK\u00fcnstliche Intelligenz bei Medizinprodukten\u201c<\/a> und unterst\u00fctzt die Kunden des Johner Instituts bei der Validierung von Machine Learning Libraries.<\/span><\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"intro\">1. Machine Learning Libraries: Eine kurze Einf\u00fchrung<\/h2>\n\n\n\n<p>Machine Learning Libraries stellen Herstellern einen gro\u00dfen Teil der Funktionalit\u00e4t bereit, um Verfahren des Machine Learnings bzw. der k\u00fcnstlichen Intelligenz in ihre Produkten zu integrieren.<\/p>\n\n\n\n<p>Zu diesen Verfahren z\u00e4hlen Neuronale Netzwerke, die Regression (z.B. logistische Regression), Tree Ensembles (z.B. Random Forest, XGBoost) und Support Vector Machines.<\/p>\n\n\n\n<p>Hersteller nutzen diese Verfahren, um Daten (z.B. Bilder, Texte, tabellarische Daten) zu klassifizieren (z.B. entscheiden, ob auf einem Bild ein Melanom zu sehen ist oder nicht) oder vorherzusagen (z.B. die beste Medikamentendosis).<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-external-link\"><\/i> Weiterf\u00fchrende Informationen\n    <\/div>\n    <p>Lesen Sie hier mehr zur <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/kuenstliche-intelligenz-in-der-medizin\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"Anwendung der k\u00fcnstlichen Intelligenz in der Medizin (opens in a new tab)\">Anwendung der k\u00fcnstlichen Intelligenz in der Medizin<\/a>.<\/p>\n<\/div>\n\n\n\n<p>Die Libraries dienen nicht nur der Entwicklung und Anwendung von Machine Learning; sie helfen auch bei der Datenaufbereitung und Datenanalyse.<\/p>\n\n\n\n<p>Die Machine Libraries stammen v.a. aus dem universit\u00e4ren Umfeld. Inzwischen werden sie von den Libraries der Tech-Giganten wie Google und Facebook verdr\u00e4ngt. Von diesen stammen z.B. <a rel=\"noreferrer noopener\" aria-label=\"Tensorflow (opens in a new tab)\" href=\"https:\/\/www.tensorflow.org\/\" target=\"_blank\">Tensorflow<\/a> bzw. <a rel=\"noreferrer noopener\" aria-label=\"PyTorch (opens in a new tab)\" href=\"https:\/\/pytorch.org\/\" target=\"_blank\">PyTorch<\/a>.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"989\" height=\"312\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg\" alt=\"Abb. 1: \u00dcbersicht \u00fcber prominente Machine Learning Libraries\" class=\"wp-image-3233463\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg 989w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries-300x95.jpg 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries-768x242.jpg 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries-150x47.jpg 150w\" sizes=\"auto, (max-width: 989px) 100vw, 989px\" \/><figcaption class=\"wp-element-caption\"><strong>Abb. 1<\/strong>: \u00dcbersicht \u00fcber prominente Machine Learning Libraries und SOUPs<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"regularien\">2. Regulatorische Anforderungen an Machine Learning Libraries<\/h2>\n\n\n\n<p>Zu den wichtigsten regulatorischen Anforderungen, die Hersteller, Benannte Stellen und Beh\u00f6rden im Kontext des Machine Learnings beachten sollten, z\u00e4hlen:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a rel=\"noreferrer noopener\" aria-label=\"MDR (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/medical-device-regulation-mdr-medizinprodukteverordnung\/\" target=\"_blank\">MDR<\/a>\/<a rel=\"noreferrer noopener\" aria-label=\"IVDR (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/ivdr-in-vitro-diagnostic-device-regulation\/\" target=\"_blank\">IVDR<\/a>: Anforderungen u.a. an\n<ul class=\"wp-block-list\">\n<li>die Wiederholbarkeit, Zuverl\u00e4ssigkeit, Robustheit, nachgewiesene Leistungsf\u00e4higkeit des Produkts<\/li>\n\n\n\n<li>Software-Lebenszyklusprozesse, Risikomanagement usw. <\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><a rel=\"noreferrer noopener\" aria-label=\"IEC 62304 (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\" target=\"_blank\">IEC 62304<\/a>: Anforderungen u.a. an\n<ul class=\"wp-block-list\">\n<li>die Planung und Dokumentation der Entwicklung, <\/li>\n\n\n\n<li>die Verifizierung von Code und Dokumenten<\/li>\n\n\n\n<li>den Einsatz von SOUP-Komponenten <\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><a rel=\"noreferrer noopener\" aria-label=\"ISO 13485 (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/category\/qualitaetsmanagement-iso-13485\" target=\"_blank\">ISO 13485<\/a>: Anforderungen u.a. an\n<ul class=\"wp-block-list\">\n<li>die Kompetenz des Entwicklungsteams und<\/li>\n\n\n\n<li>die Validierung von computerisierten Systemen, Prozessen und Werkzeugen <\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<p>In den USA gelten vergleichbare Anforderungen. Die FDA spricht nicht von SOUP, sondern von OTS. <a href=\"https:\/\/www.johner-institut.de\/blog\/fda\/off-the-shelf-software-ots-versus-soup\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"Beide Begriffe sind nicht ganz deckungsgleich (opens in a new tab)\">Beide Begriffe sind nicht ganz deckungsgleich<\/a>.<\/p>\n\n\n\n<p>Die US-Beh\u00f6rde hat ein \u201e<a href=\"https:\/\/www.regulations.gov\/contentStreamer?documentId=FDA-2019-N-1185-0001&amp;attachmentNumber=1&amp;contentType=pdf\">Proposed Regulatory Framework for Modifications to Artificial Intelligence\/Machine Learning (AI\/ML)-Based Software as a Medical Device (SaMD)<\/a>\u201c ver\u00f6ffentlicht, das f\u00fcr den konkreten Kontext aber nur bedingt relevant ist.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"entwicklung\">3. Machine Learning Libraries in der Produktentwicklung<\/h2>\n\n\n\n<p>Die Hersteller verwenden Machine Learning Libraries in allen Phasen der Forschung, Entwicklung und Anwendung des Produkts: vom Sammeln und Pre-Processing der Daten \u00fcber das Trainieren des Modells bis zum Verwenden dieses Modell im ausgelieferten Produkt.<\/p>\n\n\n\n<figure class=\"wp-block-image size-medium\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Entwicklungsschritte-Einsatz-Machine-Learning-Libraries.jpg\" data-rel=\"lightbox-image-0\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"255\" height=\"300\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Entwicklungsschritte-Einsatz-Machine-Learning-Libraries-255x300.jpg\" alt=\"Machine Learning Libraries helfen bei (fast) allen Phasen der Entwicklung und Anwendung von Produkten\" class=\"wp-image-3233486\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Entwicklungsschritte-Einsatz-Machine-Learning-Libraries-255x300.jpg 255w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Entwicklungsschritte-Einsatz-Machine-Learning-Libraries-127x150.jpg 127w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Entwicklungsschritte-Einsatz-Machine-Learning-Libraries.jpg 482w\" sizes=\"auto, (max-width: 255px) 100vw, 255px\" \/><\/a><figcaption class=\"wp-element-caption\"><strong>Abb. 2<\/strong>: Machine Learning Libraries helfen bei (fast) allen Phasen der Entwicklung und Anwendung von Produkten. Die IEC 62304 findet bei der rot markierten Aktivit\u00e4t Anwendung, die ISO 13485 bei den blau markierten Aktivit\u00e4ten.<\/figcaption><\/figure>\n\n\n\n<p>Aus regulatorischer Sicht lassen sich diese Phasen in zwei Bereiche unterteilen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">a) Entwicklung und Training des Modells<\/h3>\n\n\n\n<p>Der erste Teil dient dazu, das Modell zu entwickeln, d.h. das richtige Verfahren auszuw\u00e4hlen und die Hyperparameter bestm\u00f6glich zu w\u00e4hlen.<\/p>\n\n\n\n<p>Wenn der Code f\u00fcr diese Datenvorverarbeitung und das Training des Modells nicht Teil des Medizinprodukts wird (das ist \u00fcblicherweise der Fall), ist die<strong> IEC&nbsp;62304 nicht<\/strong> <strong>anwendbar<\/strong>. Das gilt sowohl f\u00fcr die Entwicklung dieses Codes als auch f\u00fcr den Einsatz bestehender Machine Learning Libraries (<a rel=\"noreferrer noopener\" aria-label=\"SOUP (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/fda\/off-the-shelf-software-ots-versus-soup\/\" target=\"_blank\">SOUP<\/a>).<\/p>\n\n\n\n<p>Hingegen m\u00fcssen die Hersteller die Anforderungen der ISO 13485 z.B. an die Computerized Systems Validation beachten. Darunter f\u00e4llt die Validierung der Machine Learning Libraries.<\/p>\n\n\n\n<div class=\"defbox\">\n        <div class=\"definition\">\n            <i class=\"fa fa-exclamation-triangle\"><\/i> Vorsicht!\n        <\/div>\n        <p>Das Ziel der Validierung einer Machine Learning Library besteht nicht (!) darin nachzuweisen, dass das Modell sp\u00e4ter im Feld korrekte Vorhersagen macht.<\/p>\n    <\/div>\n\n\n\n<p>Die Validierung der Machine Learning Library muss weder beweisen, dass das Modell das geeignetste ist, noch, dass der Hersteller die besten Hyperparameter gew\u00e4hlt hat. <\/p>\n\n\n\n<p>Vielmehr geht es bei diesem Schritt um den Nachweis, dass die Library f\u00fcr das gew\u00e4hlte Modell, f\u00fcr die vorgegebenen Hyperparameter und f\u00fcr die genutzten Trainingsdaten die besten Parameter \u201egefittet\u201c hat.<\/p>\n\n\n\n<p>Beispielsweise muss der Hersteller bei einer logistischen Regression zeigen k\u00f6nnen, dass die Matrix mit den Gewichten und der Vektor der Achsenabschnitte (\u201eintercept vector\u201c) valide f\u00fcr die gegebenen Trainingsdaten sind.<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-external-link\"><\/i> Weiterf\u00fchrende Informationen\n    <\/div>\n    <p>Bitte beachten sie in diesem Kontext den Beitrag zur <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/computer-system-validation-csv\/\" target=\"_blank\" rel=\"noreferrer noopener\" aria-label=\"Computerized Systems Validation (opens in a new tab)\">Computerized Systems Validation<\/a>.<\/p>\n<\/div>\n\n\n\n<h3 class=\"wp-block-heading\">b) Anwendung des Models<\/h3>\n\n\n\n<p>Das trainierte Modell wird nun zusammen mit der Machine Learning Library (oder einem Teil derer) Bestandteil eines (Medizin-)Produkts. Diese <a rel=\"noreferrer noopener\" aria-label=\"Komponente (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/tag\/software-komponente\/\" target=\"_blank\">Komponente<\/a> ist daf\u00fcr verantwortlich, korrekte Vorhersagen zu machen, beispielsweise Bilder richtig zu klassifizieren.<\/p>\n\n\n\n<p>Diese Komponente ist eine <a rel=\"noreferrer noopener\" aria-label=\"SOUP (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/tag\/soup\/\" target=\"_blank\">SOUP<\/a>. Deshalb muss der Hersteller die entsprechenden Anforderungen der IEC 62304 an SOUPs nachweisen. Dazu z\u00e4hlt die Pflicht, die Anforderungen an die SOUP zu spezifizieren und verifizieren.<\/p>\n\n\n\n<p>Die IEC 62304 nennt dies zu Recht die <strong>Verifizierung<\/strong> der SOUP (bzw.  Komponente), auch wenn bei Libraries meist von <strong>Validierung<\/strong> gesprochen wird.<\/p>\n\n\n\n<p><strong>Diese Verifizierung bzw. Validierung besteht in dem Nachweis, dass die Komponente die richtige Vorhersage bez\u00fcglich des trainierten Modells macht.<\/strong><\/p>\n\n\n\n<p>Bei dieser Validierung der Machine Learning Library geht es nicht um den Nachweis, dass das Modell korrekte Vorhersagen im Vergleich mit der \u201eground truth\u201c macht.<\/p>\n\n\n\n<p>Daher sollten Hersteller die Komponente nicht pr\u00fcfen, ob die Komponente f\u00fcr korrekt \u201egelabelte\u201c Testdaten das erwartete Ergebnis liefert. <\/p>\n\n\n\n<p>Vielmehr sollten sie pr\u00fcfen, ob das konkrete Modell (z.B. die logistische Regression mit ihren Parametern) f\u00fcr jeden Vektor bei g\u00fcltigen Inputdaten auch zum mathematisch zu erwartenden Output f\u00fchrt.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"best-practices\">4. Validierung von Machine Learning Libraries: Best Practices<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">a) Vor\u00fcberlegungen<\/h3>\n\n\n\n<p>Eine Machine Learning Library stellt wie jede Komponente gekapselte Funktionalit\u00e4t \u00fcber wohldefinierte Schnittstellen zur Verf\u00fcgung.<\/p>\n\n\n\n<p>Die Besonderheit von Machine Learning Libraries besteht darin, dass der gr\u00f6\u00dfte Teil dieser Funktionalit\u00e4t und der Schnittstellen beim Trainieren und Optimieren des Modells verwendet wird; nur ein kleiner Teil dagegen w\u00e4hrend der Laufzeit des Produkts. Oft ist das nur eine einzige Methode, z.B. <code>predict()<\/code>.<\/p>\n\n\n\n<p><strong>Wie oben dargestellt, gelten f\u00fcr das Training und die Anwendung des Models unterschiedliche regulatorische Anforderungen.<\/strong> Hersteller sollten sich diese technische und regulatorische Aufteilung zunutze machen. Dazu k\u00f6nnen sie die Validierung von Machine-Learning-Bibliotheken in mehrere unabh\u00e4ngige Aufgabenbl\u00f6cke aufteilen:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Datenaufbereitung (Anwendungsbereich der ISO 13485)<\/li>\n\n\n\n<li>Training des Modells (Anwendungsbereich der ISO 13485)<\/li>\n\n\n\n<li>Anwendung des Modells (Anwendungsbereich der IEC 62304)<\/li>\n<\/ol>\n\n\n\n<p>Je nach Anwendungsfall existieren noch weitere Softwareanwendungen bzw. -komponenten (z.B. f\u00fcr das Labeling der Daten). Dies w\u00fcrde den Rahmen dieses Artikels jedoch sprengen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">b) Validierung der Datenaufbereitung<\/h3>\n\n\n\n<p>Zu den typischen T\u00e4tigkeiten der Datenaufbereitung z\u00e4hlen beispielsweise:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Behandlung ung\u00fcltiger Daten <\/li>\n\n\n\n<li>Behandlung fehlender Daten<\/li>\n\n\n\n<li>Umwandlung von Formaten<\/li>\n\n\n\n<li>Umwandlung von kontinuierlichen Werten in diskrete<\/li>\n\n\n\n<li>Normalisierung von Daten<\/li>\n<\/ul>\n\n\n\n<p>Diese Datenverarbeitungsschritte lassen sich am schnellsten und einfachsten \u00fcber \u201enormale Tests\u201c pr\u00fcfen. Diese Tests sollten als Code implementiert werden, um als Regressionstests dauerhaft zur Verf\u00fcgung zu stehen.<\/p>\n\n\n\n<p>Die <a href=\"https:\/\/www.german-testing-board.info\/lehrplaene\/istqbr-certified-tester-schema\/glossar\/\">Testorakel<\/a> lassen sich beispielsweise mit \u201eNebenrechnungen\u201c (z.B. in Excel) ableiten.<\/p>\n\n\n\n<p>Als Testmethoden sollten die \u00fcblichen <a rel=\"noreferrer noopener\" aria-label=\"Blackbox-Testmethoden (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/blackbox-testing\/\" target=\"_blank\">Blackbox-Testmethoden<\/a> wie \u00e4quivalenzklassen-, grenzwert- oder fehlerbasiertes Testen zum Einsatz kommen. Das Testen eines \u201eHappy-Path\u201c ist nicht ausreichend.<\/p>\n\n\n\n<p>Um diese Testmethoden korrekt anwenden zu k\u00f6nnen, empfiehlt sich eine deskriptive Statistik, um ein genaueres Verst\u00e4ndnis der Daten zu erlangen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">c) Validierung des Trainings des Modells<\/h3>\n\n\n\n<p>Wie in Abschnitt 3a) ausgef\u00fchrt, muss der Hersteller bei diesem Schritt nachweisen, dass die Library f\u00fcr das gew\u00e4hlte Modell, f\u00fcr die vorgegebenen Hyperparameter und f\u00fcr die genutzten Trainingsdaten die besten Parameter \u201egefittet\u201c hat.<\/p>\n\n\n\n<p>Insbesondere bei einfachen Modellen gelingt dieser Nachweis durch eine grafische Darstellung der tats\u00e4chlichen und der gefitteten Werte. Bei komplexeren Modellen bedarf es oft Projektionen in niedrigere Dimensionen.<\/p>\n\n\n\n<p>Fehlermetriken (z.B. r<sup>2<\/sup>, p) helfen, die G\u00fcte des Modells f\u00fcr die gegebenen Trainingsdaten zu quantifizieren. Zwar k\u00f6nnen die Machine Learning Libraries diese Metriken bestimmen; aber streng genommen m\u00fcsste dazu die korrekte Berechnung der Metriken zuvor validiert werden. Allerdings l\u00e4uft man sp\u00e4testens dann Gefahr, sinnlose Aufw\u00e4nde zu betreiben, die das Attribut \u201erisk based\u201c nicht mehr verdienen.<\/p>\n\n\n\n<div class=\"defbox\">\n        <div class=\"definition\">\n            <i class=\"fa fa-exclamation-triangle\"><\/i> Vorsicht!\n        <\/div>\n        <p>Hersteller d\u00fcrfen nicht der Versuchung erliegen, durch eine Minimierung dieser Fehler ein Overfitting zu betreiben. Dieses w\u00fcrde die Leistungsf\u00e4higkeit des Modells \u201eim Feld\u201c verringern.<\/p>\n    <\/div>\n\n\n\n<h3 class=\"wp-block-heading\">d) Validierung der Anwendung des Modells<\/h3>\n\n\n\n<p>Die Funktionen der Machine-Learning-Bibliotheken, die im Medizinprodukt genutzt werden, m\u00fcssen die Hersteller konform der IEC 62304 spezifizieren und verifizieren bzw. validieren. Dazu sollten sie wie folgt vorgehen:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Anforderungen an die Funktionen festlegen. Das d\u00fcrfte in der Regel eine Methode (predict) sein, die f\u00fcr ein gegebenes Modell die korrekten Werte berechnet.<\/li>\n\n\n\n<li>Voraussetzungen f\u00fcr den Einsatz der Machine Learning Library spezifizieren. Das sind meist Programmiersprachen und Hardwarevoraussetzungen.<\/li>\n\n\n\n<li>Die Machine Learning Library ausw\u00e4hlen (inklusive genauer Version), die die Anforderungen und Voraussetzungen erf\u00fcllt<\/li>\n\n\n\n<li>Die Anomalien dieser Libraries recherchieren und deren Akzeptanz bewerten<\/li>\n\n\n\n<li>Verifizieren bzw. validieren, dass die Bibliothek \u2013 genauer gesagt die entsprechende Funktion(en) \u2013 die spezifizierten Anforderungen erf\u00fcllen<\/li>\n<\/ol>\n\n\n\n<p>Ein Auditor kann die Dokumentation all dieser Schritte einfordern. Der letzte Schritt d\u00fcrfte \u2013 zwar nicht bei der Dokumentation, aber bei der Durchf\u00fchrung \u2013 der anspruchsvollste sein:<\/p>\n\n\n\n<p>Bereits ein Input-Vektor aus 30 Features, von denen jedes nur noch sieben Werte annehmen kann, w\u00fcrde bereits zu 2,3 x 10<sup>25<\/sup> Werten f\u00fchren. Das l\u00e4sst sich unm\u00f6glich testen. <\/p>\n\n\n\n<p>\u00dcbrigens: Die Reduktion auf sieben Werte lie\u00dfe sich durch das Bilden von \u00c4quivalenzklassen erreichen.<\/p>\n\n\n\n<p>Um die kombinatorische Explosion zu beherrschen, kommen die Ans\u00e4tze des Testens von Subsets, z.B. des paarweisen Testens, zum Einsatz. Je mehr Parameter in Kombination getestet werden, desto h\u00f6her ist die Wahrscheinlichkeit, Fehler zu finden (s. Abb. 3).<\/p>\n\n\n\n<figure class=\"wp-block-image size-medium\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/fault-stats.jpg\" data-rel=\"lightbox-image-1\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"300\" height=\"234\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/fault-stats-300x234.jpg\" alt=\"Abb. 3: Das Testen von Kombinationen von Input-Werten findet umso mehr Fehler, desto mehr Parameter pro Kombination ber\u00fccksichtigt werden. Quelle\" class=\"wp-image-3233532\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/fault-stats-300x234.jpg 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/fault-stats-150x117.jpg 150w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/fault-stats.jpg 534w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><figcaption class=\"wp-element-caption\"><strong>Abb. 3<\/strong>: Das Testen von Kombinationen von Input-Werten findet umso mehr Fehler, je mehr Parameter pro Kombination ber\u00fccksichtigt werden (<a href=\"https:\/\/csrc.nist.gov\/projects\/automated-combinatorial-testing-for-software\">Quelle<\/a>). Zum Vergr\u00f6\u00dfern klicken<\/figcaption><\/figure>\n\n\n\n<p>Um diese Tests durchzuf\u00fchren, ben\u00f6tigt man nicht nur Test-Code, sondern auch Software, um die Testdaten zu generieren.<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-lightbulb-o\"><\/i> Tipp\n    <\/div>\n    <p>Das Johner Institut hat diesen Code bereits entwickelt und einige Bibliotheken validiert. <a href=\"https:\/\/www.johner-institut.de\/institut\/kontakt\/\">Nehmen Sie einfach Kontakt auf<\/a>, wenn Sie Unterst\u00fctzung bei der Validierung Ihrer Machine Learning Libraries w\u00fcnschen.<\/p>\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"mdsd\">5. Exkurs: Analogie zum \u201eModel Driven Software Development\u201c <\/h2>\n\n\n\n<p>Die europ\u00e4ischen Medizinprodukteregularien adressieren die k\u00fcnstliche Intelligenz und das Machine Learning nicht explizit. Daher ist es hilfreich, Analogien mit bew\u00e4hrten Technologien und Ans\u00e4tzen zu untersuchen. Dazu z\u00e4hlt das \u201eModel Driven Software Development\u201c.<\/p>\n\n\n\n<figure class=\"wp-block-image size-medium\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/MDSD-Code-Generation.jpg\" data-rel=\"lightbox-image-2\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"300\" height=\"214\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/MDSD-Code-Generation-300x214.jpg\" alt=\"von der klassischen Software-Entwicklung zur modellgetriebenen Software-Entwicklung\" class=\"wp-image-3233609\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/MDSD-Code-Generation-300x214.jpg 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/MDSD-Code-Generation-150x107.jpg 150w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/MDSD-Code-Generation.jpg 759w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/a><figcaption class=\"wp-element-caption\"><strong>Abb. 4<\/strong>: Von der klassischen zur modellgetriebenen Softwareentwicklung (zum Vergr\u00f6\u00dfern klicken)<\/figcaption><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">a) Kurze Einf\u00fchrung in das \u201eModel Driven Software Development\u201c (MDSD)<\/h3>\n\n\n\n<h4 class=\"wp-block-heading\">i) Klassische Entwicklung<\/h4>\n\n\n\n<p>In der klassischen Softwareentwicklung versucht ein Hersteller, ein Verst\u00e4ndnis einer Dom\u00e4ne zu erhalten, sich ein Modell dieser Dom\u00e4ne zu erarbeiten und dieses in Code umzusetzen (s. Abb. 4.i).<\/p>\n\n\n\n<p>Beispielsweise kann ein Modell aussagen, dass ein Patient ein Mensch ist, der \u00fcber eine oder mehrere Krankheiten verf\u00fcgt. Im Code g\u00e4be es dann eine Klasse \u201ePatient\u201c, die eine Collection von Klassen \u201eKrankheit\u201c referenziert.<\/p>\n\n\n\n<p>Diesen Quellcode w\u00fcrde ein Compiler in Bin\u00e4rcode \u00fcberf\u00fchren, der dann Teil des Medizinprodukts w\u00fcrde. <\/p>\n\n\n\n<p>Auf die Validierung dieses Compilers kann man auf Basis von Risiko\u00fcberlegungen meist verzichten, z.B. weil der Compiler sehr bew\u00e4hrt ist und damit Fehler unwahrscheinlich sind oder weil Fehler beim Compile-Vorgang mit ausreichender H\u00e4ufigkeit bemerkt w\u00fcrden.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">ii) Model Driven Software Development 1<\/h4>\n\n\n\n<p>Im n\u00e4chsten Schritt k\u00f6nnte man zuerst ein Dom\u00e4nen-Modell in einer Domain Specific Language (DSL) erstellen. Ein Code-Generator w\u00fcrde dieses automatisiert in Quellcode \u00fcberf\u00fchren. Dieser Code-Generator w\u00e4re ein computerisiertes System, das konform mit der ISO 13485 zu validieren ist (s. Abb. 4.ii).<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">iii) Model Driven Software Development 2<\/h4>\n\n\n\n<p>Die n\u00e4chste Evolutionsstufe besteht darin, den Zwischenschritt der Code-Generierung zu \u00fcberspringen. Anstatt dessen k\u00e4me eine &#8222;Runtime&#8220; f\u00fcr das Modell zur Anwendung. Das Modell w\u00fcrde direkt im Medizinprodukt ausgef\u00fchrt (s. Abb. 4.iii).<\/p>\n\n\n\n<p>Diese DSL-Runtime w\u00e4re ein Softwarekomponente, die wie jede Softwarekomponente zu spezifizieren und zu verifizieren ist. Ob der Hersteller diese Komponente selbst entwickelt oder eine SOUP verwendet, ist dabei sekund\u00e4r.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">b) Vergleich mit dem Machine Learning<\/h3>\n\n\n\n<p>Beim Machine Learning finden sich vergleichbare Ans\u00e4tze: <\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Auch hier werden Artefakte automatisch generiert, n\u00e4mlich Modelle, die sp\u00e4ter in einem Produkt zum Einsatz kommen. Und auch hier gibt es eine Runtime f\u00fcr das Modell.<\/li>\n\n\n\n<li>Sowohl die Modellgenerierung als auch die Runtime erfolgen mit Hilfe von Bibliotheken, den Machine Learning Libraries.<\/li>\n\n\n\n<li>In gewisser Weise entwickeln auch die Data Scientists ein Programm, ein Dom\u00e4nen-Modell, auf einer h\u00f6heren Abstraktionsebene.<\/li>\n\n\n\n<li>Genauso wie der Code-Generator muss auch der Modell-Generator nach ISO 13485 validiert werden. Und genauso wie die DSL-Runtime muss auch der Einsatz der Modell-Runtime den Anforderungen der IEC 62304 gen\u00fcgen.<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image size-medium\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Machine-Learning-Runtime.jpg\" data-rel=\"lightbox-image-3\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"180\" height=\"300\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Machine-Learning-Runtime-180x300.jpg\" alt=\"\" class=\"wp-image-3233613\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Machine-Learning-Runtime-180x300.jpg 180w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Machine-Learning-Runtime-90x150.jpg 90w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/Machine-Learning-Runtime.jpg 231w\" sizes=\"auto, (max-width: 180px) 100vw, 180px\" \/><\/a><figcaption class=\"wp-element-caption\">Abb. 5: Auch beim Machine Learning werden Artefakte generiert und auf einer Laufzeitumgebung (Runtime) ausgef\u00fchrt (zum Vergr\u00f6\u00dfern klicken)<\/figcaption><\/figure>\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 512 512\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M430.9,177.6c-0.3-96-78.1-174.1-174-174.9c-0.1,0-0.2,0-0.4,0c-0.2,0-0.4,0-0.5,0c-0.2,0-0.4,0-0.5,0 c-0.1,0-0.2,0-0.4,0c-95.9,0.8-173.7,78.9-174,174.9c-0.4,7.3-1.9,60.3,36.6,109.2c29.5,37.6,49.4,74.7,55,85.9v63.5 c0,0,0,0.1,0,0.1c0,0.5,0,0.9,0.1,1.4c0,0.3,0.1,0.6,0.1,0.9c0,0.1,0,0.2,0,0.2c0.4,2.7,1.4,5.2,3,7.4l33.7,55.1 c3.1,5.1,8.7,8.2,14.7,8.2h61.8c6,0,11.5-3.1,14.7-8.2l33.7-55.1c1.5-2.1,2.6-4.6,3-7.4c0-0.1,0-0.2,0-0.2c0-0.3,0.1-0.6,0.1-0.9 c0-0.5,0.1-0.9,0.1-1.4c0,0,0-0.1,0-0.1v-60.3c1.2-2.4,22.3-45.5,56.7-89.2C432.8,237.8,431.3,184.9,430.9,177.6z M303.3,418.8 h-96.2v-33.1h96.2V418.8z M276.4,475h-42.5l-13.3-21.6h69L276.4,475z M311.6,351.4H200.4c-8.6-16.3-28-50.6-55.7-85.9 c-32-40.6-29.3-85.7-29.3-86c0-0.4,0.1-0.9,0.1-1.3c0-77.6,63-140.8,140.5-141.1c77.5,0.3,140.5,63.5,140.5,141.1 c0,0.4,0,0.9,0.1,1.3c0,0.4,3.1,44.9-29.3,86C339.5,300.8,320.2,335.1,311.6,351.4z\"><\/path><path d=\"M257.8,64.4c-62,0-112.5,50.5-112.5,112.5c0,9.5,7.7,17.2,17.2,17.2s17.2-7.7,17.2-17.2 c0-43.1,35-78.1,78.1-78.1c9.5,0,17.2-7.7,17.2-17.2S267.3,64.4,257.8,64.4z\"><\/path><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Beachten Sie auch den Podcast zur Validierung von ML-Libraries!<\/span><\/div>\n<p>In dieser Episode bespricht Professor Haase mit Professor Johner die regulatorischen Anforderungen und konkrete Strategien f\u00fcr die Validierung von ML Libraries.<\/p>\n\n\n\n<p>Diese und weitere Podcast-Episoden finden Sie auch&nbsp;<a href=\"https:\/\/www.johner-institut.de\/podcast\/medical-device-insights\/\">hier<\/a>.<\/p>\n<\/div>\n\n\n\t\t\t<style type=\"text\/css\">#pp-podcast-4799 a, .pp-modal-window .modal-4799 a, .pp-modal-window .aux-modal-4799 a, #pp-podcast-4799 .ppjs__more { color: #dc1a22; } #pp-podcast-4799:not(.modern) .ppjs__audio .ppjs__button.ppjs__playpause-button button *, #pp-podcast-4799:not(.modern) .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover *, #pp-podcast-4799:not(.modern) .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus *, .pp-modal-window .modal-4799 .ppjs__audio .ppjs__button.ppjs__playpause-button button *, .pp-modal-window .modal-4799 .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover *, .pp-modal-window .modal-4799 .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus *, .pp-modal-window .aux-modal-4799 .pod-entry__play *, .pp-modal-window .aux-modal-4799 .pod-entry__play:hover * { color: #dc1a22 !important; } #pp-podcast-4799.postview .episode-list__load-more, .pp-modal-window .aux-modal-4799 .episode-list__load-more, #pp-podcast-4799:not(.modern) .ppjs__time-handle-content, .modal-4799 .ppjs__time-handle-content { border-color: #dc1a22 !important; } #pp-podcast-4799:not(.modern) .ppjs__audio-time-rail, #pp-podcast-4799.lv3 .pod-entry__play, #pp-podcast-4799.lv4 .pod-entry__play, #pp-podcast-4799.gv2 .pod-entry__play, #pp-podcast-4799.modern.wide-player .ppjs__audio .ppjs__button.ppjs__playpause-button button, #pp-podcast-4799.modern.wide-player .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover, #pp-podcast-4799.modern.wide-player .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus, .pp-modal-window .modal-4799 button.episode-list__load-more, .pp-modal-window .modal-4799 .ppjs__audio-time-rail, .pp-modal-window .modal-4799 button.pp-modal-close { background-color: #dc1a22 !important; } #pp-podcast-4799 .hasCover .ppjs__audio .ppjs__button.ppjs__playpause-button button { background-color: rgba(0, 0, 0, 0.5) !important; } .pp-modal-window .modal-4799 button.episode-list__load-more:hover, .pp-modal-window .modal-4799 button.episode-list__load-more:focus, .pp-modal-window .aux-modal-4799 button.episode-list__load-more:hover, .pp-modal-window .aux-modal-4799 button.episode-list__load-more:focus { background-color: rgba( 220,26,34, 0.7 ) !important; } #pp-podcast-4799 .ppjs__button.toggled-on, .pp-modal-window .modal-4799 .ppjs__button.toggled-on, #pp-podcast-4799.playerview .pod-entry.activeEpisode, .pp-modal-window .modal-4799.playerview .pod-entry.activeEpisode { background-color: rgba( 220,26,34, 0.1 ); } #pp-podcast-4799.postview .episode-list__load-more { background-color: transparent !important; } #pp-podcast-4799.modern:not(.wide-player) .ppjs__audio .ppjs__button.ppjs__playpause-button button *, #pp-podcast-4799.modern:not(.wide-player) .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover *, #pp-podcast-4799.modern:not(.wide-player) .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus * { color: #dc1a22 !important; } #pp-podcast-4799.modern:not(.wide-player) .ppjs__time-handle-content { border-color: #dc1a22 !important; } #pp-podcast-4799.modern:not(.wide-player) .ppjs__audio-time-rail { background-color: #dc1a22 !important; } #pp-podcast-4799, .modal-4799, .aux-modal-4799 { --pp-accent-color: #dc1a22; } #pp-podcast-4799 .ppjs__script-button { display: none; }<\/style>\n\t\t\t<div id=\"pp-podcast-4799\" class=\"pp-podcast single-episode has-header header-hidden playerview media-audio hide-download hide-description hide-content\"  data-teaser=\"\" data-elength=\"18\" data-eunit=\"\" data-ppsdata=\"{&quot;ppe-4799-1&quot;:{&quot;title&quot;:&quot;2020-05: Validierung von ML-Libraries&quot;,&quot;author&quot;:&quot;Prof. Dr. Christian Johner&quot;,&quot;date&quot;:&quot;28. September 2020&quot;,&quot;link&quot;:&quot;https:\\\/\\\/johner-institut.podigee.io\\\/5-validierung-machine-learning-libraries&quot;,&quot;src&quot;:&quot;https:\\\/\\\/audio.podigee-cdn.net\\\/290379-m-e6e2413da3256562269cc75d87d0b8af.mp3?source=feed&quot;,&quot;mediatype&quot;:&quot;audio&quot;,&quot;season&quot;:0,&quot;categories&quot;:[],&quot;duration&quot;:&quot;25:37&quot;,&quot;episodetype&quot;:&quot;full&quot;,&quot;timestamp&quot;:1601334000,&quot;key&quot;:&quot;8fb7f9d279f2e6a107e2735864880f4f&quot;},&quot;load_info&quot;:{&quot;loaded&quot;:1,&quot;displayed&quot;:1,&quot;offset&quot;:0,&quot;maxItems&quot;:1,&quot;src&quot;:&quot;5a329de0e539499bf1ed92d7abcc9adb&quot;,&quot;step&quot;:1,&quot;sortby&quot;:&quot;sort_date_desc&quot;,&quot;filterby&quot;:&quot;ML-Libraries&quot;,&quot;fixed&quot;:&quot;&quot;,&quot;args&quot;:{&quot;imgurl&quot;:&quot;https:\\\/\\\/images.podigee-cdn.net\\\/0x,sqvWI5fZv_m3DhwUGGW8fZRSSgFarfP0F8a2nNIFtktA=\\\/https:\\\/\\\/main.podigee-cdn.net\\\/uploads\\\/u17081\\\/b9425c6a-8ecc-48cf-888c-a2351bacd246.jpg&quot;,&quot;imgset&quot;:&quot;&quot;,&quot;display&quot;:&quot;&quot;,&quot;hddesc&quot;:1,&quot;hdfeat&quot;:1,&quot;oricov&quot;:&quot;https:\\\/\\\/images.podigee-cdn.net\\\/0x,sqvWI5fZv_m3DhwUGGW8fZRSSgFarfP0F8a2nNIFtktA=\\\/https:\\\/\\\/main.podigee-cdn.net\\\/uploads\\\/u17081\\\/b9425c6a-8ecc-48cf-888c-a2351bacd246.jpg&quot;,&quot;elength&quot;:18}},&quot;rdata&quot;:{&quot;permalink&quot;:&quot;https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-json\\\/wp\\\/v2\\\/posts\\\/3233284&quot;,&quot;fprint&quot;:&quot;5a329de0e539499bf1ed92d7abcc9adb&quot;,&quot;from&quot;:&quot;feedurl&quot;,&quot;elen&quot;:18,&quot;eunit&quot;:&quot;&quot;,&quot;teaser&quot;:&quot;&quot;,&quot;title&quot;:&quot;&quot;,&quot;autoplay&quot;:&quot;&quot;}}\"><div class=\"pp-podcast__wrapper\"><div class=\"pp-podcast__info pod-info\"><div class=\"pod-info__header pod-header\"><div class=\"pod-header__image\"><div class=\"pod-header__image-wrapper\"><img decoding=\"async\" class=\"podcast-cover-image\" src=\"https:\/\/images.podigee-cdn.net\/0x,sqvWI5fZv_m3DhwUGGW8fZRSSgFarfP0F8a2nNIFtktA=\/https:\/\/main.podigee-cdn.net\/uploads\/u17081\/b9425c6a-8ecc-48cf-888c-a2351bacd246.jpg\" srcset=\"\" sizes=\"(max-width: 640px) 100vw, 25vw\" alt=\"\"><\/div><span class=\"pod-header__image-style\" style=\"display: block; width: 100%; padding-top: 100%\"><\/div><\/div><\/div><div class=\"pp-podcast__content pod-content\"><div class=\"pp-podcast__single\"><div class=\"pp-podcast__player\"><div class=\"pp-player-episode\"><audio id=\"pp-podcast-4799-player\" preload=\"none\" class=\"pp-podcast-episode\" style=\"width: 100%;\" controls=\"controls\"><source type=\"audio\/mpeg\" src=\"https:\/\/audio.podigee-cdn.net\/290379-m-e6e2413da3256562269cc75d87d0b8af.mp3?source=feed\" \/><\/audio><\/div><\/div><div class=\"pod-content__episode episode-single\"><button class=\"episode-single__close\" aria-expanded=\"false\" aria-label=\"Close Single Episode\"><span class=\"btn-icon-wrap\"><svg class=\"icon icon-pp-x\" aria-hidden=\"true\" role=\"img\" focusable=\"false\"><use href=\"#icon-pp-x\" xlink:href=\"#icon-pp-x\"><\/use><\/svg><\/span><\/button><div class=\"episode-single__wrapper\"><div class=\"episode-single__header\"><div class=\"episode-single__title\">2020-05: Validierung von ML-Libraries<\/div><div class=\"episode-single__author\"><span class=\"byname\">by<\/span><span class=\"single-author\">Prof. Dr. Christian Johner<\/span><\/div><\/div><\/div><\/div><\/div><\/div><\/div><div class=\"pod-content__launcher pod-launch\"><button class=\"pod-launch__button pod-launch__info pod-button\" aria-expanded=\"false\"><span class=\"ppjs__offscreen\">Show Podcast Information<\/span><span class=\"btn-icon-wrap\"><svg class=\"icon icon-pp-podcast\" aria-hidden=\"true\" role=\"img\" focusable=\"false\"><use href=\"#icon-pp-podcast\" xlink:href=\"#icon-pp-podcast\"><\/use><\/svg><svg class=\"icon icon-pp-x\" aria-hidden=\"true\" role=\"img\" focusable=\"false\"><use href=\"#icon-pp-x\" xlink:href=\"#icon-pp-x\"><\/use><\/svg><\/span><\/button><\/div><\/div>\n\n\n<h2 class=\"wp-block-heading\" id=\"fazit\">6. Fazit und Zusammenfassung<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">a) Bitte die Bibliotheken verwenden<\/h3>\n\n\n\n<p>Hersteller, die Verfahren der k\u00fcnstlichen Intelligenz wie des Machine Learnings in ihren Produkten einsetzen wollen, sollten bestehende Bibliotheken verwenden. Das hat mehrere Gr\u00fcnde:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Sie <strong>sparen Zeit<\/strong>. In die Entwicklung dieser Machine Learning Libraries d\u00fcrften viele Personen-Jahrzehnte an Arbeit geflossen sein.<\/li>\n\n\n\n<li>Sie <strong>erh\u00f6hen die Qualit\u00e4t<\/strong>: Die Libraries werden vielfach verwendet. Anwender weltweit melden Fehler und helfen damit, diese rasch zu beheben. Bug-Listen verschaffen eine gute Transparenz.<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\">b) Fachwissen gew\u00e4hrleisen<\/h3>\n\n\n\n<p>Der Einsatz der Machine Learning Libraries erfordert technisches und regulatorisches Fachwissen. Dieses Fachwissen fordern die ISO 13485 und die MDR ein. Es scheint aber nicht immer gew\u00e4hrleistet zu sein.<\/p>\n\n\n\n<p>Beispielsweise ist die Behauptung mancher Auditoren, dass die SOUP-\/OTS-Anforderungen zu erf\u00fcllen seien, falsch. Eine Ausnahme bildet die predict-Funktion.<\/p>\n\n\n\n<p>Auch zeugt die Aussage, der Hersteller m\u00fcsse bei der Validierung von Machine Learning Libraries die Korrektheit des Modells nachweisen, von Unverst\u00e4ndnis. <\/p>\n\n\n\n<p>Die Validierung der Bibliotheken muss und kann unabh\u00e4ngig von der Validierung des Produkts erfolgen. Die Zielsetzungen unterscheiden sich grundlegend.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">c) Risikobasiert agieren<\/h3>\n\n\n\n<p>Die Hersteller m\u00fcssen die Anforderungen studieren und pr\u00e4zise befolgen. Die Validierung von Software, auch von Machine Learning Libraries, sollte aber risikobasiert erfolgen. Die Wahrscheinlichkeit eines Fehlers im eigenen Code ist meist um Gr\u00f6\u00dfenordnungen h\u00f6her als in einer erprobten Bibliothek.<\/p>\n\n\n\n<p>Es steht auch nirgends geschrieben, dass die Bibliothek in G\u00e4nze zu validieren ist. Die Regularien fordern, dass die tats\u00e4chlich genutzten Anforderungen \u00fcberpr\u00fcft werden m\u00fcssen. Sie stellen meist nur eine kleine Untermenge der Gesamtfunktionalit\u00e4t dar.<\/p>\n\n\n\n<p>Risikobasiertes Arbeiten bedeutet auch, das Produkt und die Bibliothek (SOUP \/ OTS) <a rel=\"noreferrer noopener\" aria-label=\"im Markt kontinuierlich zu \u00fcberwachen (opens in a new tab)\" href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/post-market-surveillance\/\" target=\"_blank\">im Markt kontinuierlich zu \u00fcberwachen<\/a>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">d) Das Rad nicht neu erfinden<\/h3>\n\n\n\n<p>So wie es n\u00fctzlich ist, vorhandene Bibliotheken wiederzuverwenden, ist es hilfreich, auf vorhandene Validierungen von Machine Learning Libraries und deren \u00dcberwachung im Markt zuzugreifen. <\/p>\n\n\n\n<p>Man muss auch dieses Rad nicht neu erfinden. <a href=\"https:\/\/www.johner-institut.de\/institut\/kontakt\/\">Kontaktieren Sie uns<\/a>, wenn Sie unsere Arbeit wiederverwenden wollen.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Immer mehr Hersteller setzen Machine Learning Libraries wie scikit-learn, TensorFlow und Keras in ihren Produkten ein. Damit beschleunigen sie ihre Forschungs- und Entwicklungsvorhaben. Allerdings ist nicht allen Herstellern klar, welche regulatorischen Anforderungen sie bei Machine Learning Libraries nachweisen m\u00fcssen und wie sie das am besten tun. Das f\u00fchrt dazu, dass sie unn\u00f6tige Aufw\u00e4nde treiben oder&hellip;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"Validierung von Machine Learning Libraries\n\nWenden Sie unberechtigte Anforderungen benannter Stellen und Beh\u00f6rden ab und vermeiden Sie unn\u00f6tige Aufw\u00e4nde. \n\n\u00dcbersehen Sie dabei aber nicht die wirklichen Anforderungen!","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[184],"tags":[1198,1271,269,364,368,1096],"ppma_author":[1210],"class_list":["post-3233284","post","type-post","status-publish","format-standard","hentry","category-iec-62304-medizinische-software","tag-ivd","tag-kuenstliche-intelligenz","tag-medizinische-software","tag-software-testing","tag-soup","tag-validierung","category-184","description-off"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Validierung von Machine Learning Libraries: Was viele nicht verstehen<\/title>\n<meta name=\"description\" content=\"Hersteller m\u00fcssen bei der Validierung von Machine Learning Libraries unberechtigte Anforderungen der Beh\u00f6rden abwenden. Aber sie sollten die Regeln kennen.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Validierung von Machine Learning Libraries: Was viele nicht verstehen\" \/>\n<meta property=\"og:description\" content=\"Hersteller m\u00fcssen bei der Validierung von Machine Learning Libraries unberechtigte Anforderungen der Beh\u00f6rden abwenden. Aber sie sollten die Regeln kennen.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/\" \/>\n<meta property=\"og:site_name\" content=\"Regulatorisches Wissen f\u00fcr Medizinprodukte\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/JohnerInstitut\/\" \/>\n<meta property=\"article:published_time\" content=\"2020-02-25T08:00:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-01-09T18:53:08+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"989\" \/>\n\t<meta property=\"og:image:height\" content=\"312\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Prof. Dr. Christian Johner\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Prof. Dr. Christian Johner\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"15\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/\"},\"author\":{\"name\":\"Prof. Dr. Christian Johner\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/person\\\/77ee54cd54e987c0b5738d4cb4c80441\"},\"headline\":\"Validierung von Machine Learning Libraries\",\"datePublished\":\"2020-02-25T08:00:00+00:00\",\"dateModified\":\"2025-01-09T18:53:08+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/\"},\"wordCount\":2543,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2020\\\/02\\\/machine-learning-libraries.jpg\",\"keywords\":[\"In-vitro-Diagnostika (IVD)\",\"K\u00fcnstliche Intelligenz\",\"Medizinische Software \\\/ Medical Device Software\",\"Software-Testing: Die Forderungen der IEC 62304 und FDA erf\u00fcllen\",\"SOUP - Software of Unknown Provenance\",\"Validierung: Regulatorische Anforderungen erf\u00fcllen\"],\"articleSection\":[\"Software &amp; IEC 62304\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/\",\"name\":\"Validierung von Machine Learning Libraries: Was viele nicht verstehen\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2020\\\/02\\\/machine-learning-libraries.jpg\",\"datePublished\":\"2020-02-25T08:00:00+00:00\",\"dateModified\":\"2025-01-09T18:53:08+00:00\",\"description\":\"Hersteller m\u00fcssen bei der Validierung von Machine Learning Libraries unberechtigte Anforderungen der Beh\u00f6rden abwenden. Aber sie sollten die Regeln kennen.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2020\\\/02\\\/machine-learning-libraries.jpg\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2020\\\/02\\\/machine-learning-libraries.jpg\",\"width\":989,\"height\":312},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/validierung-von-machine-learning-libraries\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Blog\",\"item\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Software &amp; IEC 62304\",\"item\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/category\\\/iec-62304-medizinische-software\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Validierung von Machine Learning Libraries\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\",\"name\":\"Regulatorisches Wissen f\u00fcr Medizinprodukte\",\"description\":\"Fachartikel zur Entwicklung und Zulassung von Medizinprodukten und weiteren regulatorischen Themen\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\",\"name\":\"Johner Institut GmbH\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2015\\\/07\\\/Johner-Institut.png\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2015\\\/07\\\/Johner-Institut.png\",\"width\":1213,\"height\":286,\"caption\":\"Johner Institut GmbH\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/JohnerInstitut\\\/\",\"https:\\\/\\\/x.com\\\/christianjohner\",\"https:\\\/\\\/www.youtube.com\\\/user\\\/JohnerInstitut\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/person\\\/77ee54cd54e987c0b5738d4cb4c80441\",\"name\":\"Prof. Dr. Christian Johner\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpgab057afc2debeb41aaf55cce7e79e618\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpg\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpg\",\"caption\":\"Prof. Dr. Christian Johner\"},\"description\":\"Professor Johner ist Experte f\u00fcr die Entwicklung und Zulassung von Medizinprodukten, die Software enthalten oder Software sind. Als Auditor, als Mitglied eines Normen-Komitees, als Ausbilder benannter Stellen sowie als Autor mehrerer B\u00fccher und Leitf\u00e4den tr\u00e4gt der promovierte Physiker zur Weiterentwicklung der regulatorischen Landschaft bei. Davon zeugen auch Leitf\u00e4den, die er f\u00fcr die WHO und die Benannten Stellen entwickelt hat. Sein Unternehmen, das Johner Institut, unterst\u00fctzt Medizinproduktehersteller weltweit beim Aufbau von QM-Systemen, bei der Zulassung und Pr\u00fcfung ihrer Produkte sowie bei der digitalen Transformation regulatorischer Prozesse. Es bietet Weiterbildungen wie E-Learning und Seminare an und \u00fcbernimmt f\u00fcr Hersteller Prozesse wie die \u00dcberwachung der Regularien und der Produkte im Markt. Christian Johner lehrte an mehreren Universit\u00e4ten u.a. an der Hochschule Konstanz, der Universit\u00e4t St. Gallen, der Universit\u00e4t W\u00fcrzburg sowie der Stanford University v.a. Software-Architektur, Software-Qualit\u00e4tssicherung und medizinische Informatik.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/christianjohner\\\/\",\"https:\\\/\\\/x.com\\\/christianjohner\"],\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/author\\\/christian\\\/\"}]}<\/script>\n<meta name=\"copyright\" content=\"Johner Institut GmbH\" \/>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Validierung von Machine Learning Libraries: Was viele nicht verstehen","description":"Hersteller m\u00fcssen bei der Validierung von Machine Learning Libraries unberechtigte Anforderungen der Beh\u00f6rden abwenden. Aber sie sollten die Regeln kennen.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/","og_locale":"de_DE","og_type":"article","og_title":"Validierung von Machine Learning Libraries: Was viele nicht verstehen","og_description":"Hersteller m\u00fcssen bei der Validierung von Machine Learning Libraries unberechtigte Anforderungen der Beh\u00f6rden abwenden. Aber sie sollten die Regeln kennen.","og_url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/","og_site_name":"Regulatorisches Wissen f\u00fcr Medizinprodukte","article_publisher":"https:\/\/www.facebook.com\/JohnerInstitut\/","article_published_time":"2020-02-25T08:00:00+00:00","article_modified_time":"2025-01-09T18:53:08+00:00","og_image":[{"width":989,"height":312,"url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg","type":"image\/jpeg"}],"author":"Prof. Dr. Christian Johner","twitter_misc":{"Verfasst von":"Prof. Dr. Christian Johner","Gesch\u00e4tzte Lesezeit":"15\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#article","isPartOf":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/"},"author":{"name":"Prof. Dr. Christian Johner","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/person\/77ee54cd54e987c0b5738d4cb4c80441"},"headline":"Validierung von Machine Learning Libraries","datePublished":"2020-02-25T08:00:00+00:00","dateModified":"2025-01-09T18:53:08+00:00","mainEntityOfPage":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/"},"wordCount":2543,"commentCount":0,"publisher":{"@id":"https:\/\/www.johner-institut.de\/blog\/#organization"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#primaryimage"},"thumbnailUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg","keywords":["In-vitro-Diagnostika (IVD)","K\u00fcnstliche Intelligenz","Medizinische Software \/ Medical Device Software","Software-Testing: Die Forderungen der IEC 62304 und FDA erf\u00fcllen","SOUP - Software of Unknown Provenance","Validierung: Regulatorische Anforderungen erf\u00fcllen"],"articleSection":["Software &amp; IEC 62304"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/","url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/","name":"Validierung von Machine Learning Libraries: Was viele nicht verstehen","isPartOf":{"@id":"https:\/\/www.johner-institut.de\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#primaryimage"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#primaryimage"},"thumbnailUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg","datePublished":"2020-02-25T08:00:00+00:00","dateModified":"2025-01-09T18:53:08+00:00","description":"Hersteller m\u00fcssen bei der Validierung von Machine Learning Libraries unberechtigte Anforderungen der Beh\u00f6rden abwenden. Aber sie sollten die Regeln kennen.","breadcrumb":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#primaryimage","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2020\/02\/machine-learning-libraries.jpg","width":989,"height":312},{"@type":"BreadcrumbList","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Blog","item":"https:\/\/www.johner-institut.de\/blog\/"},{"@type":"ListItem","position":2,"name":"Software &amp; IEC 62304","item":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},{"@type":"ListItem","position":3,"name":"Validierung von Machine Learning Libraries"}]},{"@type":"WebSite","@id":"https:\/\/www.johner-institut.de\/blog\/#website","url":"https:\/\/www.johner-institut.de\/blog\/","name":"Regulatorisches Wissen f\u00fcr Medizinprodukte","description":"Fachartikel zur Entwicklung und Zulassung von Medizinprodukten und weiteren regulatorischen Themen","publisher":{"@id":"https:\/\/www.johner-institut.de\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.johner-institut.de\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/www.johner-institut.de\/blog\/#organization","name":"Johner Institut GmbH","url":"https:\/\/www.johner-institut.de\/blog\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/07\/Johner-Institut.png","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/07\/Johner-Institut.png","width":1213,"height":286,"caption":"Johner Institut GmbH"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/JohnerInstitut\/","https:\/\/x.com\/christianjohner","https:\/\/www.youtube.com\/user\/JohnerInstitut"]},{"@type":"Person","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/person\/77ee54cd54e987c0b5738d4cb4c80441","name":"Prof. Dr. Christian Johner","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpgab057afc2debeb41aaf55cce7e79e618","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","caption":"Prof. Dr. Christian Johner"},"description":"Professor Johner ist Experte f\u00fcr die Entwicklung und Zulassung von Medizinprodukten, die Software enthalten oder Software sind. Als Auditor, als Mitglied eines Normen-Komitees, als Ausbilder benannter Stellen sowie als Autor mehrerer B\u00fccher und Leitf\u00e4den tr\u00e4gt der promovierte Physiker zur Weiterentwicklung der regulatorischen Landschaft bei. Davon zeugen auch Leitf\u00e4den, die er f\u00fcr die WHO und die Benannten Stellen entwickelt hat. Sein Unternehmen, das Johner Institut, unterst\u00fctzt Medizinproduktehersteller weltweit beim Aufbau von QM-Systemen, bei der Zulassung und Pr\u00fcfung ihrer Produkte sowie bei der digitalen Transformation regulatorischer Prozesse. Es bietet Weiterbildungen wie E-Learning und Seminare an und \u00fcbernimmt f\u00fcr Hersteller Prozesse wie die \u00dcberwachung der Regularien und der Produkte im Markt. Christian Johner lehrte an mehreren Universit\u00e4ten u.a. an der Hochschule Konstanz, der Universit\u00e4t St. Gallen, der Universit\u00e4t W\u00fcrzburg sowie der Stanford University v.a. Software-Architektur, Software-Qualit\u00e4tssicherung und medizinische Informatik.","sameAs":["https:\/\/www.linkedin.com\/in\/christianjohner\/","https:\/\/x.com\/christianjohner"],"url":"https:\/\/www.johner-institut.de\/blog\/author\/christian\/"}]}},"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack-related-posts":[{"id":6221,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/protokoll-und-protocol\/","url_meta":{"origin":3233284,"position":0},"title":"Protokoll und Protocol","author":"Prof. Dr. Christian Johner","date":"29. Juli 2013","format":false,"excerpt":"Wenn Sie Ihr FDA-Auditor nach einem \u201eTest Protocol\u201c fragt, sollten Sie ihm nicht die Testprotokolle zeigen. Denn Protocols sind Vorschriften, wie etwas zu machen ist, also eher Testspezifikationen. Das, was Sie unter Testprotokoll verstehen, w\u00fcrde der FDA-Auditor als Test Records oder Test Results bezeichnen. Dass Sie letztlich \u2013 nicht nur\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"Software Testprotokoll","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2013\/07\/software-testprotokoll.jpg?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":498984,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iec-82304\/","url_meta":{"origin":3233284,"position":1},"title":"IEC 82304 \u2013 Was die Norm zu &#8222;Health Software&#8220; fordert","author":"Dr. Tina Priewasser","date":"14. September 2016","format":false,"excerpt":"Die IEC 82304 liegt inzwischen vor. Ein guter Anlass, sich diese Norm zu \"Health-Software-Products\" n\u00e4her anzusehen. IEC 82304: Weshalb noch eine Norm? L\u00fccke der IEC 62304 bei Validierung schlie\u00dfen Mit dem Anspruch f\u00fcr jede Medizinprodukte-Software anwendbar zu sein \u2013 gleich ob standalone oder embedded \u2013, war die IEC 62304 gestartet.\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"IEC 82304: Anwendungsbereich","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/09\/IEC-82304-Scope.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/09\/IEC-82304-Scope.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/09\/IEC-82304-Scope.jpg?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/09\/IEC-82304-Scope.jpg?resize=700%2C400&ssl=1 2x"},"classes":[]},{"id":5371949,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/software-komponenten\/","url_meta":{"origin":3233284,"position":2},"title":"Software-Komponenten konform mit IEC 62304 und FDA entwickeln","author":"Prof. Dr. Christian Johner","date":"9. Mai 2023","format":false,"excerpt":"Die Hersteller medizinischer Software m\u00fcssen die gesetzlichen Anforderungen an die Software-Komponenten erf\u00fcllen, um ihre Produkte \u201ezulassen\u201c zu d\u00fcrfen. Dieser Artikel stellt diese Anforderungen vor und gibt 7 Tipps, wie diese schnell und einfach zu erf\u00fcllen sind. 1. Was Software-Komponenten sind a) Definition Die IEC 62304 definiert den Begriff Software-Komponente wie\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/Software-Komponenten.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/Software-Komponenten.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/Software-Komponenten.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/Software-Komponenten.png?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/Software-Komponenten.png?resize=1050%2C600&ssl=1 3x"},"classes":[]},{"id":4529,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/verifizierung-und-validierung-von-medizinprodukten\/","url_meta":{"origin":3233284,"position":3},"title":"Verifizierung und Validierung: Unterschied &#038; Definitionen","author":"Prof. Dr. Christian Johner","date":"14. April 2024","format":false,"excerpt":"Wie unterscheiden sich Verifizierung und Validierung\u00a0und wie sind diese Begriffe\u00a0definiert? Selbst Normen und Gesetze verwenden die Begriffe falsch oder missverst\u00e4ndlich. Dieser Artikel liefert Definitionen und Beispiele f\u00fcr die Begriffe Verifizierung und Validierung und erkl\u00e4rt wie eine pr\u00e4zise Verifizierung und Validierung von Medizinprodukten bei der Zulassung und bei Audits helfen. Das\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"Icon des Auditgarant - Die All-in-One-L\u00f6sung zur Zulassung von Medizinprodukten","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/MicrosoftTeams-image-22-1.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/MicrosoftTeams-image-22-1.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/MicrosoftTeams-image-22-1.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/MicrosoftTeams-image-22-1.png?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/MicrosoftTeams-image-22-1.png?resize=1050%2C600&ssl=1 3x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/04\/MicrosoftTeams-image-22-1.png?resize=1400%2C800&ssl=1 4x"},"classes":[]},{"id":13202,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/fpga\/","url_meta":{"origin":3233284,"position":4},"title":"FPGA aus Sicht der IEC 62304 und FDA","author":"Prof. Dr. Christian Johner","date":"27. Mai 2016","format":false,"excerpt":"Das Akronym FPGA steht f\u00fcr Field Programmable Gate Array. FPGA sind programmierbare integrierte Schaltkreise, die auch in der Medizintechnik Anwendung finden. Lesen Sie hier, welche regulatorischen Anforderungen Sie bei FPGA erf\u00fcllen sollten. FPGA in der Medizintechnik Implementierung in Hardware oder Software? Hersteller von aktiven Medizinprodukten f\u00fchren bei der Entwicklung eine\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"FPGA Software IEC 62304","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/04\/FPGA-Software-IEC-62304.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/04\/FPGA-Software-IEC-62304.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/04\/FPGA-Software-IEC-62304.jpg?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/04\/FPGA-Software-IEC-62304.jpg?resize=700%2C400&ssl=1 2x"},"classes":[]},{"id":3322,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/unit-testing-iec-62304\/","url_meta":{"origin":3233284,"position":5},"title":"Unit Testing und IEC 62304","author":"Urs M\u00fcller","date":"14. August 2024","format":false,"excerpt":"Unter Unit-Testing wird in der Software-Entwicklung das Testen von Software-Units verstanden. Allerdings gibt es kein einheitliches Verst\u00e4ndnis dar\u00fcber, was eine Software-Unit ist, was einen guten Unit-Test auszeichnet und welche regulatorischen\/gesetzlichen Anforderungen erf\u00fcllt werden m\u00fcssen. Dieser Artikel verschafft Klarheit. 1. Testobjekte: Was beim Unit-Testing getestet wird a) \u00dcbliches Verst\u00e4ndnis von Software-Units\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"Unit Testing: Was sind die Units?","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/05\/unit-testing.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/05\/unit-testing.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/05\/unit-testing.jpg?resize=525%2C300&ssl=1 1.5x"},"classes":[]}],"jetpack_shortlink":"https:\/\/wp.me\/pavawf-dz7K","jetpack_sharing_enabled":true,"authors":[{"term_id":1210,"user_id":1,"is_guest":0,"slug":"christian","display_name":"Prof. Dr. Christian Johner","avatar_url":{"url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","url2x":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg"},"0":null,"1":"","2":"","3":"","4":"","5":"","6":"","7":"","8":"","9":""}],"_links":{"self":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/3233284","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/comments?post=3233284"}],"version-history":[{"count":22,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/3233284\/revisions"}],"predecessor-version":[{"id":5379656,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/3233284\/revisions\/5379656"}],"wp:attachment":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/media?parent=3233284"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/categories?post=3233284"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/tags?post=3233284"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/ppma_author?post=3233284"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}