{"id":4086877,"date":"2021-05-04T08:00:00","date_gmt":"2021-05-04T06:00:00","guid":{"rendered":"https:\/\/www.johner-institut.de\/blog\/?p=4086877"},"modified":"2025-01-09T19:54:26","modified_gmt":"2025-01-09T18:54:26","slug":"iso-29119-11","status":"publish","type":"post","link":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/","title":{"rendered":"Sollten Sie die ISO\/IEC TR 29119-11 zum Testen von KI-\/ML-Software kennen?"},"content":{"rendered":"\n<p>Ende 2020 ver\u00f6ffentlichte die ISO den Technical Report <a href=\"https:\/\/www.iso.org\/standard\/79016.html\" target=\"_blank\" rel=\"noreferrer noopener\"><strong>ISO\/IEC TR 29119-11<\/strong>.<\/a> Er tr\u00e4gt den Titel <em>\u201eGuidelines on the testing of AI-based systems\u201c<\/em>.<\/p>\n\n\n\n<p>Viele Firmen m\u00f6chten wissen, wie sie ihre Produkte, die auf Verfahren der k\u00fcnstlichen Intelligenz (KI) basieren, nach dem Stand der Technik testen sollen. Daher hat sich die ISO\/IEC TR 29119-11 auf den Weg gemacht, konkrete Hilfestellung zu geben und damit den Stand der Technik zu beschreiben. Doch wird die Norm diesem Anspruch gerecht?<\/p>\n\n\n\n<p>Wenn Sie gleich die Antwort wissen wollen, springen Sie ins Kapitel 3 &#8222;Zusammenfassung&#8220;.  <\/p>\n\n\n\n<!--more-->\n\n\n\n<h2 aria-label=\"1. \u00dcbersicht\">1. \u00dcbersicht \u00fcber die ISO\/IEC 29119-11<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">a) Anwendungsbereich<\/h3>\n\n\n\n<p>Die ISO\/IEC 29119-11 ist Teil einer Normenreihe zum Software-Testing.&nbsp;Beispielsweise beschreibt der Teil 2 die Testprozesse, Teil 4 die \u201eTest techniques\u201c. Der hier vorgestellte Teil 11 soll Hilfestellung f\u00fcr das Testen von KI-basierter Software geben, und zwar unabh\u00e4ngig von<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Branche,<\/li><li>Art des Produkts (Standalone-Software, physisches Produkt),<\/li><li>Anzahl der KI-Komponenten.<\/li><\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">b) Aufbau der Norm<\/h3>\n\n\n\n<p>Die ISO 29119-11 umfasst 60 Seiten und besteht aus 10 Kapiteln und einem Anhang.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11.png\" data-rel=\"lightbox-image-0\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"506\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-1024x506.png\" alt=\"Kapitelstruktur der ISO\/IEC TR 29119-11 als Mindmap\" class=\"wp-image-4086909\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-1024x506.png 1024w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-300x148.png 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-768x380.png 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-1536x760.png 1536w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-2048x1013.png 2048w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-200x99.png 200w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-400x198.png 400w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-600x297.png 600w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-800x396.png 800w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-1200x593.png 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><figcaption>Abb. 1: Kapitelstruktur der ISO\/IEC TR 29119-11 (zum Vergr\u00f6\u00dfern klicken)<\/figcaption><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">2. Die wichtigsten Inhalte<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 1: Scope<\/h3>\n\n\n\n<p>Das erste Kapitel ist zwar mit \u201eScope\u201c \u00fcberschrieben, beschreibt aber eher Ziele und Inhalte der Norm.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 2: Normative references<\/h3>\n\n\n\n<p>Die Norm nennt keine normativen Referenzen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 3: Terms, definitions and abbreviations<\/h3>\n\n\n\n<p>Das dritte Kapitel enth\u00e4lt 88 Definitionen. Das ist sehr umfassend. Einen Verweis auf Quellen fehlt weitgehend. Einige Definitionen sind zumindest \u00fcberraschend. Experten f\u00fcr Machine Learning verstehen beispielsweise unter \u201e<em>false positive<\/em>\u201c etwas anderes als die Autoren, die den Begriff aus der Sicht der Software-Tester definieren:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>\u201eincorrect reporting of a pass when in reality it is a failure\u201d<\/p><cite>ISO\/IEC TR 29119-11 Kapitel 2<\/cite><\/blockquote>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 4: Introduction to AI and testing<\/h3>\n\n\n\n<p>Die sehr anspruchsvolle Einf\u00fchrung des vierten Kapitels stellt u. a. Anwendungsf\u00e4lle, Typen von KI-Modellen, KI-Frameworks wie <a href=\"https:\/\/www.tensorflow.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">Tensorflow<\/a> und regulatorische Standards vor. \u00dcber Aktualit\u00e4t, Inhalte und Auswahl dieser Listen mag es geteilte Meinungen geben.<\/p>\n\n\n\n<p>Die f\u00fcr den Bereich der Medizinprodukte relevanten Regularien fehlen fast vollst\u00e4ndig.<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-external-link\"><\/i> Weiterf\u00fchrende Informationen\n    <\/div>\n    <p>Lesen Sie hier mehr zu den <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/regulatorische-anforderungen-an-medizinprodukte-mit-machine-learning\/\">regulatorischen Anforderungen an den Einsatz von ML bei Medizinprodukten<\/a>.<\/p>\n<\/div>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 5: AI Characteristics<\/h3>\n\n\n\n<p>Die Autoren stellen das Qualit\u00e4tsmodell der <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-9126-und-iso-25010\/\" target=\"_blank\" rel=\"noreferrer noopener\">ISO 25010<\/a> vor und kommen zu der \u00fcberraschenden Erkenntnis:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>However, AI-based systems have some unique characteristics that are not contained with this quality model, such as flexibility, adaptability, autonomy, evolution, bias, transparency\/interpretability\/explainability, complexity and non-determinism.<\/p><cite><meta charset=\"utf-8\">ISO\/IEC TR 29119-11 Kapitel 4<\/cite><\/blockquote>\n\n\n\n<p>Die ISO\/IEC TR 29119-11 nennt diese Attribute sogar <em>\u201enon-functional characteristics\u201c<\/em>.<\/p>\n\n\n\n<p>Der Einsch\u00e4tzung <em>&#8222;not contained within this quality model&#8220;<\/em> l\u00e4sst sich aus mehreren Gr\u00fcnden nur schwer folgen:<\/p>\n\n\n\n<ol class=\"wp-block-list\"><li>Die Aufz\u00e4hlung in Kapitel 4 der ISO 29119 umfasst verschiedene Konzepte wie Qualit\u00e4tseigenschaften (z. B. <em>adaptability<\/em>) und Fehlertypen (<em>bias<\/em>). Die Freiheit von Fehlern, hier die Korrektheit von Werten, ist explizit Teil des Qualit\u00e4tsmodells (<em>Functional correctness<\/em>). <\/li><li>Auch weitere Qualit\u00e4tsaspekte sind sehr wohl im Qualit\u00e4tsmodell der ISO 25010 enthalten. Beispielsweise ist die <em>interpretability <\/em>ein Aspekt der <em>maintainability<\/em>, insbesondere der <em>analysability<\/em>.<\/li><li>Die Begriffe der Aufz\u00e4hlung beziehen sich auf das Modell und auf das Produkt (<em>autonomy<\/em>). Beides sollte man nicht verwechseln. Ob Produkte autonom sind, ist unabh\u00e4ngig von KI.<\/li><li>Es bleibt unklar, wie die Autoren zu der Einsch\u00e4tzung gelangen, dass der Output von KI-Modellen nicht-deterministisch ist.<\/li><\/ol>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 6: Introduction to the testing of AI-Based systems<\/h3>\n\n\n\n<p>Als besondere Herausforderung sehen die Autoren der ISO\/IEC 29119-11 das Erstellen von Spezifikationen. So sei h\u00e4ufig der gew\u00fcnschte Output des Systems nicht bekannt, was auch beim Erstellen des Testorakels ein Problem sei.<\/p>\n\n\n\n<p>Ein Medizinproduktehersteller, der so etwas behaupten w\u00fcrde, h\u00e4tte wahrscheinlich Schwierigkeiten mit seiner <a href=\"https:\/\/www.johner-institut.de\/blog\/tag\/benannte-stellen\/\" target=\"_blank\" rel=\"noreferrer noopener\">Benannten Stelle<\/a>. Er m\u00fcsste bereits f\u00fcr Testdaten genau angeben k\u00f6nnen, ob das System beispielsweise auf einem konkreten CT-Bild Krebsgewebe erkennen k\u00f6nnen soll oder nicht. Das muss er bereits beim Labeling festlegen.<\/p>\n\n\n\n<p>Die ISO 29119-11 sieht das Konzept von <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/unit-testing-iec-62304\/\" target=\"_blank\" rel=\"noreferrer noopener\">Unit<\/a>-, Integrations- und <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/software-systemtest\/\" target=\"_blank\" rel=\"noreferrer noopener\">Systemtests<\/a> auch auf Software \u00fcbertragbar, die KI-Komponenten enth\u00e4lt. Das ist nachvollziehbar. Konkrete Hinweise, wie diese Tests durchzuf\u00fchren sind, gibt die Norm nicht; sie verweist dazu auf die sp\u00e4teren Kapitel.<\/p>\n\n\n\n<p>Bei den Unittests unterscheidet die IESO 29119-11 nicht zwischen <\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Software, die Teil des Medizinprodukts ist, und<\/li><li>Software, die dem Data-Processing dient.<\/li><\/ul>\n\n\n\n<p>Aus Sicht des Software-Engineerings ergibt das Sinn. Aus regulatorischer Sicht sind die beiden F\u00e4lle jedoch zu unterscheiden. Mit der ISO 13485 und der IEC 62304 sind sogar verschiedene Normen anwendbar.<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-lightbulb-o\"><\/i> Tipp!\n    <\/div>\n    <p>Beachten Sie in diesem Kontext die regulatorischen Anforderungen der ISO 13485 <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/computer-system-validation-csv\/\">an die Computerized Systems Validation<\/a>.<\/p>\n<\/div>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 7: Testing and QA of ML systems<\/h3>\n\n\n\n<p>Das siebte Kapitel spricht im Gegensatz zu den anderen Kapiteln nur von Machine Learning, nicht von k\u00fcnstlicher Intelligenz. Weshalb dieser Wechsel stattfindet, offenbart die Norm nicht.<\/p>\n\n\n\n<p>Wer hofft, in diesem Kapitel konkrete Hilfestellung zu finden, wie man ML-Systeme testet, wird entt\u00e4uscht. Zwei bis drei relativ allgemeine S\u00e4tze widmen die Autoren verschiedenen Aspekten wie &#8222;Test Data Quality&#8220;, denen jeweils ein Unterkapitel gewidmet ist.<\/p>\n\n\n\n<p>Statt dieser Hilfestellung findet sich z. B. im Unterkapitel \u201eAdversarial Attacks\u201c eine Beschreibung dieser Angriffe, aber keine Vorgabe, wie man die Robustheit (ISO 25010-Kriterium) des Systems gegen diese Angriffe pr\u00fcft.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 8: Blackbox testing of AI based systems<\/h3>\n\n\n\n<p>Auch das achte Kapitel bleibt relativ oberfl\u00e4chlich. Beispielsweise schildert das Unterkapitel zum kombinatorischen Testen in wenigen S\u00e4tzen, worum es sich dabei handelt; was aber konkret getan werden muss und wie bzw. ob sich das kombinatorische Testen auf Bilddaten \u00fcbertragen l\u00e4sst, f\u00fchrt die ISO 29119-11 nicht aus.<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-external-link\"><\/i> Weiterf\u00fchrende Informationen\n    <\/div>\n    <p>Sie finden hier eine ausf\u00fchrlichere Beschreibung des <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/kombinatorische-testen-nicht-nur-bei-software\/\">kombinatorischen Testens<\/a>.<\/p>\n<\/div>\n\n\n\n<p>Daf\u00fcr finden sich an anderer Stelle einige Hinweise:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li><strong>Back-to-back Testing<\/strong><br>Hersteller k\u00f6nnen\/sollen beispielsweise \u00fcber alternative Implementierungen die zu erwartenden Ergebnisse (Test Orakel) ermitteln. Im Medizinproduktebereich w\u00e4re die Unkenntnis dieser Ergebnisse nur schwer zu vermitteln (s. o.). Aber die alternativen Implementierungen k\u00f6nnen helfen, das leistungsf\u00e4higste Modell zu finden und die konkrete Wahl dieses Modells zu begr\u00fcnden.<\/li><li><strong>Metamorphic Testing<br><\/strong>Das Metamorphic Testing soll helfen, Testf\u00e4lle abzuleiten. Dazu untersucht der Test, wie sich \u00c4nderungen am Test-Input auf den Test-Output auswirken. Als Beispiele nennt die Norm ein Modell, das das Alter von Personen abh\u00e4ngig von deren Lebensgewohnheiten absch\u00e4tzt. Beim \u201eMetamorphic Testing\u201c w\u00fcrde man den Einfluss des Nikotingenusses bei sonst gleichen Inputs untersuchen.<br>Letztlich beschreiben die Autoren damit die <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/pdp.html\" target=\"_blank\" rel=\"noreferrer noopener\">Partial Dependency Plots<\/a>.<\/li><\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 9: Whitebox testing of neural networks<\/h3>\n\n\n\n<p>Das Kapitel hei\u00dft in der Tat \u201cWhitebox testing of neural networks\u201c und nicht \u201eWhitebox testing of AI based systems\u201c. Weshalb die Autoren das Whitebox-Testing nur auf neuronale Netzwerke beschr\u00e4nken, bleibt unklar.<\/p>\n\n\n\n<p>Das Kapitel erkl\u00e4rt kurz, was neuronale Netzwerke, Neuronen, Gewichte und hidden layer sind. Danach legt das Kapitel seinen Schwerpunkt auf die Pr\u00fcfabdeckung (Test Coverage). Es f\u00fchrt mehrere Metriken ein:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Neuron Coverage<\/li><li>Threshold Coverage<\/li><li>Sign Change Coverage<\/li><li>Value Change Coverage<\/li><li>Sign-sign Coverage<\/li><li>Layer Coverage<\/li><\/ul>\n\n\n\n<p>Die ISO 29119-11 erkl\u00e4rt jede Metrik mit etwa zwei S\u00e4tzen. Welche Aussagekraft diese Metriken haben, gar in Abh\u00e4ngigkeit vom Input (Bilder, tabellarische Daten, Texte) oder von der Architektur des neuronalen Netzwerks, erl\u00e4utert die Norm hingegen nicht. Das w\u00e4re hilfreich gewesen, zumal viele Entwickler nicht nur auf <em>fully-connected layers<\/em> setzen.<\/p>\n\n\n\n<p>Auch auf die Rolle der Aktivierungsfunktion gehen die Autoren nicht ein. Dass man ein Neuron als aktiviert definiert, wenn dessen Output gr\u00f6\u00dfer als Null ist, mag f\u00fcr eine RELU-Funktion zutreffen. Doch schon bei einer Sigmoid-Funktion wird dieser Ansatz scheitern.<\/p>\n\n\n\n<p>Referenzen zu einer entsprechenden Literatur fehlen ebenfalls weitgehend.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Kapitel 10: Test environments for AI-based systems<\/h3>\n\n\n\n<p>Das letzte Kapitel geht auf die Testumgebungen ein. Es nennt die Vorteile&nbsp;von <em>virtual test environments<\/em>. <\/p>\n\n\n\n<p>Eine Anregung ist hilfreich: Die Gestaltung dieser Testumgebungen nicht nur aus den Systemanforderungen, sondern aus den konkreten Problemen (Accident Reports, Issues) abzuleiten.<\/p>\n\n\n\n<p>Allerdings sollten bei Medizinprodukten nicht prim\u00e4r <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/post-market-surveillance-plan-iso-20416\/\" target=\"_blank\" rel=\"noreferrer noopener\">Post-Market-Daten<\/a>, sondern das Risikomanagement die Wahl dieser Testumgebungen bestimmen.<\/p>\n\n\n\n<p>Wie die Hersteller z. B. aus Accident Reports R\u00fcckschl\u00fcsse auf die Testumgebung ziehen sollen, beschreibt die Norm nicht.<\/p>\n\n\n\n<h2 aria-label=\"3. Zusammenfassung\">3. Zusammenfassende Bewertung der ISO\/IEC TR 29119-11<\/h2>\n\n\n\n<p>Die ISO\/IEC TR 29119-11 ist \u2013 wie bereits deren Namen erkennen l\u00e4sst \u2013 ein Technical Report. Bei Technical Reports ist es \u00fcblich, dass sie nicht nur konkrete Anforderungen enthalten, sondern auch Hintergrundinformationen liefern.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">a) Unkonkret und mangelnde Handlungsleitung<\/h3>\n\n\n\n<p>Die ISO\/IEC TR 29119-11 bleibt f\u00fcr einen Technical Report auf einem sehr oberfl\u00e4chlichen Niveau. Die Norm kann als Einf\u00fchrung dienen, auch wenn vieles an anderer Stelle pr\u00e4ziser, ausf\u00fchrlicher und verst\u00e4ndlicher erkl\u00e4rt wird.<\/p>\n\n\n\n<p>Weil die ISO\/IEC TR 29119-11 alle Konzepte nur streift, erfahren die Leser nicht, was sie konkret tun k\u00f6nnen. Beispielsweise stellt die Norm fest, dass die G\u00fcte der ML-Systeme von der G\u00fcte der Test- und Trainingsdaten abh\u00e4ngt. Das d\u00fcrfte niemanden \u00fcberraschen. Die Norm fordert:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>The selection of training data in terms of the size of the dataset and characteristics such as bias, transparency and completeness should be documented and justified and confirmed by experts where the level of risk associated with the system warrants it (e.g. for critical systems).<\/p><cite>ISO\/IEC TR 29119-11 Kapitel 7.5<\/cite><\/blockquote>\n\n\n\n<p>Was sollen die Hersteller nun konkret tun?<\/p>\n\n\n\n<p>Schon fast wie eine Tautologie wirken S\u00e4tze wie:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>a system can be tested for bias by the use of independent testing using bias-free testing sets<\/p><cite><meta charset=\"utf-8\">ISO\/IEC TR 29119-11 Kapitel <em>6.1.8<\/em><\/cite><\/blockquote>\n\n\n\n<h3 class=\"wp-block-heading\">b) Unvollst\u00e4ndig<\/h3>\n\n\n\n<p>Keine Norm wird den Anspruch auf Vollst\u00e4ndigkeit erheben. Das Ma\u00df, in dem die ISO 29119-1 vorhandenes Wissen ausblendet, erstaunt dennoch. Dies betrifft beispielsweise:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Definitionen von Konzepten wie <em>Explainabiliy<\/em>, <em>Interpretability<\/em> und <em>Transparency<\/em>, die vorhandene Definitionen ignorieren<\/li><li>Whitebox-Testing-Ans\u00e4tze f\u00fcr KI-Verfahren, die sich nur auf neuronale Netzwerke beziehen<\/li><li>Ignoranz von relevanten Metriken zum Bestimmen von Coverage-Graden, z. B. die Abdeckung des Input- und Output-Datenraums<\/li><li>Fehlender Bezug zum Stand der Technik bei modellspezifischen und modellagnostischen Verfahren zum Interpretieren und \u00dcberpr\u00fcfen von ML-Modellen (wie z. B. im <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/\" target=\"_blank\" rel=\"noreferrer noopener\">Buch von Christoph Molnar<\/a> vorgestellt)<\/li><li>Ignorieren von Verfahren, die eine sehr hohe Verbreitung haben, wie die Gruppe der <em>Ensemble Trees <\/em>(Die Norm geht auf die Besonderheiten von neuronalen Netzwerken ein).<\/li><li>Die sehr anspruchsvolle <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/\" target=\"_blank\" rel=\"noreferrer noopener\">Validierung von Machine Learning Libraries<\/a>. Dass die Norm hierauf nicht eingeht, ist bedauerlich, da bei den vielen Produkten dort der meiste Code zu finden ist.<\/li><\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">c) Nicht immer nachvollziehbare Struktur<\/h3>\n\n\n\n<p>Sowohl die \u201emakroskopische Ebene&#8220; der Norm (z. B. Kapitelstruktur) als auch die \u201emikroskopische Ebene&#8220; (einzelne S\u00e4tze und Aufz\u00e4hlungen, Verwendung von Begriffen) lassen Zweifel an der konzeptionellen Integrit\u00e4t aufkommen.<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Die Kapitel gen\u00fcgen nicht den Anforderungen der <a href=\"https:\/\/de.wikipedia.org\/wiki\/MECE-Regel\" target=\"_blank\" rel=\"noreferrer noopener\">MECE-Regel<\/a>.<\/li><li>Begriffe werden verwechselt, z. B. Gef\u00e4hrdungen und Safety bzw. Feature Selection und Feature Engineering gleichgesetzt.<\/li><li>Der Text wechselt in nicht ganz nachvollziehbarer Weise zwischen KI und ML.<\/li><li>Verschiedene Konzepte wirken zusammengew\u00fcrfelt (z. B. taucht Reinforcement Learning in der Liste von Verfahren aus, die sonst neuronale Netzwerke und Entscheidungsb\u00e4ume enth\u00e4lt).<\/li><\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">d) Relevanz<\/h3>\n\n\n\n<p>Wie relevant die auf zwei Nachkommastellen genauen Vorhersagen zur Nutzung der AI, die aus dem Jahr 2018 stammen, in wenigen Jahren sein werden, l\u00e4sst sich diskutieren.<\/p>\n\n\n\n<p>Das gleich gilt f\u00fcr die gew\u00e4hlten Coverage-Grade und den Fokus auf die neuronalen Netzwerke.<\/p>\n\n\n\n<p>Viele implizite Einschr\u00e4nkungen (z. B. auf einen Teil der Aktvierungsfunktionen) engen den tats\u00e4chlichen Anwendungsbereich der Norm weiter ein.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">4. Fazit<\/h2>\n\n\n\n<p>Menschen, die Wissen zusammentragen, dieses strukturieren und in Normen gie\u00dfen, verdienen Anerkennung und Dank. Meist leisten sie diese Arbeit ehrenamtlich.<\/p>\n\n\n\n<p>Die  ISO 29119-11 wirkt, als sei sie von Personen mit fundiertem Wissen in Software-Engineering geschrieben. Eine besondere Expertise im Bereich des maschinellen Lernens strahlt sie nicht im gleichen Ma\u00dfe aus.<\/p>\n\n\n\n<p>F\u00fcr eine Norm dieser G\u00fcte 178 CHF zu verlangen, erscheint als nicht angemessen.<\/p>\n\n\n\n<p>F\u00fcr Medizinproduktehersteller und Auditoren muss klar sein:<\/p>\n\n\n\n<div class=\"defbox\">\n    <div class=\"definition\">\n        <i class=\"fa fa-lightbulb-o\"><\/i> Tipp\n    <\/div>\n    <p><strong>Die ISO\/IEC TR 29119-11 beschreibt NICHT den Stand der Technik. Daher sollte sie bei Audits NICHT eingefordert werden.<\/strong><\/p>\n<\/div>\n\n\n\n<p>Ob man das Geld zum Kaufen und die Zeit zum Lesen der Norm aufwenden oder beides lieber in das Testing seiner KI-basierten Systeme investieren will, m\u00f6ge jeder selbst entscheiden.<\/p>\n\n\n\n<p>In einem k\u00fcnftigen Beitrag wird das Johner Institut konkrete Hilfestellungen zum Testing von ML-basierter Software geben. Eine umfassende Hilfe hat es bereits im <a href=\"https:\/\/github.com\/johner-institut\/ai-guideline\" target=\"_blank\" rel=\"noreferrer noopener\">AI-Leitfaden<\/a> kostenfrei publiziert, den in abgewandelter Form auch die Benannten Stellen verwenden und auf dem ein k\u00fcnftiger Leitfaden der WHO basieren wird.<\/p>\n\n\n","protected":false},"excerpt":{"rendered":"<p>Ende 2020 ver\u00f6ffentlichte die ISO den Technical Report ISO\/IEC TR 29119-11. Er tr\u00e4gt den Titel \u201eGuidelines on the testing of AI-based systems\u201c. Viele Firmen m\u00f6chten wissen, wie sie ihre Produkte, die auf Verfahren der k\u00fcnstlichen Intelligenz (KI) basieren, nach dem Stand der Technik testen sollen. Daher hat sich die ISO\/IEC TR 29119-11 auf den Weg&hellip;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[184],"tags":[1271,269,364,680],"ppma_author":[1210],"class_list":["post-4086877","post","type-post","status-publish","format-standard","hentry","category-iec-62304-medizinische-software","tag-kuenstliche-intelligenz","tag-medizinische-software","tag-software-testing","tag-standalone-software","category-184","description-off"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>ISO 29119-11: Lohnt der Kauf der Norm zum Testen von KI-Systemen?<\/title>\n<meta name=\"description\" content=\"Die ISO\/IEC TR 29119-11 will Vorgaben zum Testen von KI-basierten Systemen geben. Ob\/wie die Norm Herstellern tats\u00e4chlich hilft.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"ISO 29119-11: Lohnt der Kauf der Norm zum Testen von KI-Systemen?\" \/>\n<meta property=\"og:description\" content=\"Die ISO\/IEC TR 29119-11 will Vorgaben zum Testen von KI-basierten Systemen geben. Ob\/wie die Norm Herstellern tats\u00e4chlich hilft.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/\" \/>\n<meta property=\"og:site_name\" content=\"Regulatorisches Wissen f\u00fcr Medizinprodukte\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/JohnerInstitut\/\" \/>\n<meta property=\"article:published_time\" content=\"2021-05-04T06:00:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-01-09T18:54:26+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2113\" \/>\n\t<meta property=\"og:image:height\" content=\"1045\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Prof. Dr. Christian Johner\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Prof. Dr. Christian Johner\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"11\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/\"},\"author\":{\"name\":\"Prof. Dr. Christian Johner\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/person\\\/77ee54cd54e987c0b5738d4cb4c80441\"},\"headline\":\"Sollten Sie die ISO\\\/IEC TR 29119-11 zum Testen von KI-\\\/ML-Software kennen?\",\"datePublished\":\"2021-05-04T06:00:00+00:00\",\"dateModified\":\"2025-01-09T18:54:26+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/\"},\"wordCount\":2022,\"commentCount\":4,\"publisher\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/05\\\/ISO-IEC-TR-29119-11-1024x506.png\",\"keywords\":[\"K\u00fcnstliche Intelligenz\",\"Medizinische Software \\\/ Medical Device Software\",\"Software-Testing: Die Forderungen der IEC 62304 und FDA erf\u00fcllen\",\"Standalone-Software\"],\"articleSection\":[\"Software &amp; IEC 62304\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/\",\"name\":\"ISO 29119-11: Lohnt der Kauf der Norm zum Testen von KI-Systemen?\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/05\\\/ISO-IEC-TR-29119-11-1024x506.png\",\"datePublished\":\"2021-05-04T06:00:00+00:00\",\"dateModified\":\"2025-01-09T18:54:26+00:00\",\"description\":\"Die ISO\\\/IEC TR 29119-11 will Vorgaben zum Testen von KI-basierten Systemen geben. Ob\\\/wie die Norm Herstellern tats\u00e4chlich hilft.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/05\\\/ISO-IEC-TR-29119-11.png\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/05\\\/ISO-IEC-TR-29119-11.png\",\"width\":2113,\"height\":1045},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/iec-62304-medizinische-software\\\/iso-29119-11\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Blog\",\"item\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Software &amp; IEC 62304\",\"item\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/category\\\/iec-62304-medizinische-software\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Sollten Sie die ISO\\\/IEC TR 29119-11 zum Testen von KI-\\\/ML-Software kennen?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\",\"name\":\"Regulatorisches Wissen f\u00fcr Medizinprodukte\",\"description\":\"Fachartikel zur Entwicklung und Zulassung von Medizinprodukten und weiteren regulatorischen Themen\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\",\"name\":\"Johner Institut GmbH\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2015\\\/07\\\/Johner-Institut.png\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2015\\\/07\\\/Johner-Institut.png\",\"width\":1213,\"height\":286,\"caption\":\"Johner Institut GmbH\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/JohnerInstitut\\\/\",\"https:\\\/\\\/x.com\\\/christianjohner\",\"https:\\\/\\\/www.youtube.com\\\/user\\\/JohnerInstitut\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/person\\\/77ee54cd54e987c0b5738d4cb4c80441\",\"name\":\"Prof. Dr. Christian Johner\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpgab057afc2debeb41aaf55cce7e79e618\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpg\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpg\",\"caption\":\"Prof. Dr. Christian Johner\"},\"description\":\"Professor Johner ist Experte f\u00fcr die Entwicklung und Zulassung von Medizinprodukten, die Software enthalten oder Software sind. Als Auditor, als Mitglied eines Normen-Komitees, als Ausbilder benannter Stellen sowie als Autor mehrerer B\u00fccher und Leitf\u00e4den tr\u00e4gt der promovierte Physiker zur Weiterentwicklung der regulatorischen Landschaft bei. Davon zeugen auch Leitf\u00e4den, die er f\u00fcr die WHO und die Benannten Stellen entwickelt hat. Sein Unternehmen, das Johner Institut, unterst\u00fctzt Medizinproduktehersteller weltweit beim Aufbau von QM-Systemen, bei der Zulassung und Pr\u00fcfung ihrer Produkte sowie bei der digitalen Transformation regulatorischer Prozesse. Es bietet Weiterbildungen wie E-Learning und Seminare an und \u00fcbernimmt f\u00fcr Hersteller Prozesse wie die \u00dcberwachung der Regularien und der Produkte im Markt. Christian Johner lehrte an mehreren Universit\u00e4ten u.a. an der Hochschule Konstanz, der Universit\u00e4t St. Gallen, der Universit\u00e4t W\u00fcrzburg sowie der Stanford University v.a. Software-Architektur, Software-Qualit\u00e4tssicherung und medizinische Informatik.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/christianjohner\\\/\",\"https:\\\/\\\/x.com\\\/christianjohner\"],\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/author\\\/christian\\\/\"}]}<\/script>\n<meta name=\"copyright\" content=\"Johner Institut GmbH\" \/>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"ISO 29119-11: Lohnt der Kauf der Norm zum Testen von KI-Systemen?","description":"Die ISO\/IEC TR 29119-11 will Vorgaben zum Testen von KI-basierten Systemen geben. Ob\/wie die Norm Herstellern tats\u00e4chlich hilft.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/","og_locale":"de_DE","og_type":"article","og_title":"ISO 29119-11: Lohnt der Kauf der Norm zum Testen von KI-Systemen?","og_description":"Die ISO\/IEC TR 29119-11 will Vorgaben zum Testen von KI-basierten Systemen geben. Ob\/wie die Norm Herstellern tats\u00e4chlich hilft.","og_url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/","og_site_name":"Regulatorisches Wissen f\u00fcr Medizinprodukte","article_publisher":"https:\/\/www.facebook.com\/JohnerInstitut\/","article_published_time":"2021-05-04T06:00:00+00:00","article_modified_time":"2025-01-09T18:54:26+00:00","og_image":[{"width":2113,"height":1045,"url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11.png","type":"image\/png"}],"author":"Prof. Dr. Christian Johner","twitter_misc":{"Verfasst von":"Prof. Dr. Christian Johner","Gesch\u00e4tzte Lesezeit":"11\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#article","isPartOf":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/"},"author":{"name":"Prof. Dr. Christian Johner","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/person\/77ee54cd54e987c0b5738d4cb4c80441"},"headline":"Sollten Sie die ISO\/IEC TR 29119-11 zum Testen von KI-\/ML-Software kennen?","datePublished":"2021-05-04T06:00:00+00:00","dateModified":"2025-01-09T18:54:26+00:00","mainEntityOfPage":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/"},"wordCount":2022,"commentCount":4,"publisher":{"@id":"https:\/\/www.johner-institut.de\/blog\/#organization"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#primaryimage"},"thumbnailUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-1024x506.png","keywords":["K\u00fcnstliche Intelligenz","Medizinische Software \/ Medical Device Software","Software-Testing: Die Forderungen der IEC 62304 und FDA erf\u00fcllen","Standalone-Software"],"articleSection":["Software &amp; IEC 62304"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/","url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/","name":"ISO 29119-11: Lohnt der Kauf der Norm zum Testen von KI-Systemen?","isPartOf":{"@id":"https:\/\/www.johner-institut.de\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#primaryimage"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#primaryimage"},"thumbnailUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11-1024x506.png","datePublished":"2021-05-04T06:00:00+00:00","dateModified":"2025-01-09T18:54:26+00:00","description":"Die ISO\/IEC TR 29119-11 will Vorgaben zum Testen von KI-basierten Systemen geben. Ob\/wie die Norm Herstellern tats\u00e4chlich hilft.","breadcrumb":{"@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#primaryimage","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11.png","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/05\/ISO-IEC-TR-29119-11.png","width":2113,"height":1045},{"@type":"BreadcrumbList","@id":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-11\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Blog","item":"https:\/\/www.johner-institut.de\/blog\/"},{"@type":"ListItem","position":2,"name":"Software &amp; IEC 62304","item":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},{"@type":"ListItem","position":3,"name":"Sollten Sie die ISO\/IEC TR 29119-11 zum Testen von KI-\/ML-Software kennen?"}]},{"@type":"WebSite","@id":"https:\/\/www.johner-institut.de\/blog\/#website","url":"https:\/\/www.johner-institut.de\/blog\/","name":"Regulatorisches Wissen f\u00fcr Medizinprodukte","description":"Fachartikel zur Entwicklung und Zulassung von Medizinprodukten und weiteren regulatorischen Themen","publisher":{"@id":"https:\/\/www.johner-institut.de\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.johner-institut.de\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/www.johner-institut.de\/blog\/#organization","name":"Johner Institut GmbH","url":"https:\/\/www.johner-institut.de\/blog\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/07\/Johner-Institut.png","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/07\/Johner-Institut.png","width":1213,"height":286,"caption":"Johner Institut GmbH"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/JohnerInstitut\/","https:\/\/x.com\/christianjohner","https:\/\/www.youtube.com\/user\/JohnerInstitut"]},{"@type":"Person","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/person\/77ee54cd54e987c0b5738d4cb4c80441","name":"Prof. Dr. Christian Johner","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpgab057afc2debeb41aaf55cce7e79e618","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","caption":"Prof. Dr. Christian Johner"},"description":"Professor Johner ist Experte f\u00fcr die Entwicklung und Zulassung von Medizinprodukten, die Software enthalten oder Software sind. Als Auditor, als Mitglied eines Normen-Komitees, als Ausbilder benannter Stellen sowie als Autor mehrerer B\u00fccher und Leitf\u00e4den tr\u00e4gt der promovierte Physiker zur Weiterentwicklung der regulatorischen Landschaft bei. Davon zeugen auch Leitf\u00e4den, die er f\u00fcr die WHO und die Benannten Stellen entwickelt hat. Sein Unternehmen, das Johner Institut, unterst\u00fctzt Medizinproduktehersteller weltweit beim Aufbau von QM-Systemen, bei der Zulassung und Pr\u00fcfung ihrer Produkte sowie bei der digitalen Transformation regulatorischer Prozesse. Es bietet Weiterbildungen wie E-Learning und Seminare an und \u00fcbernimmt f\u00fcr Hersteller Prozesse wie die \u00dcberwachung der Regularien und der Produkte im Markt. Christian Johner lehrte an mehreren Universit\u00e4ten u.a. an der Hochschule Konstanz, der Universit\u00e4t St. Gallen, der Universit\u00e4t W\u00fcrzburg sowie der Stanford University v.a. Software-Architektur, Software-Qualit\u00e4tssicherung und medizinische Informatik.","sameAs":["https:\/\/www.linkedin.com\/in\/christianjohner\/","https:\/\/x.com\/christianjohner"],"url":"https:\/\/www.johner-institut.de\/blog\/author\/christian\/"}]}},"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack-related-posts":[{"id":4272439,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-29119-6\/","url_meta":{"origin":4086877,"position":0},"title":"Hilft die ISO\/IEC TR 29119-6 zum Software-Testing auch in agilen Projekten?","author":"Prof. Dr. Christian Johner","date":"7. September 2021","format":false,"excerpt":"Die ISO\/IEC TR 29119-6 soll dabei helfen, auch bei agilen Software-Projekten die Anforderungen der Normenfamilie ISO 29119 (also der anderen Familienmitglieder) zu erf\u00fcllen. Diesen Anspruch l\u00e4sst sie bereits im Titel erkennen: \u201eGuidelines for the use of ISO\/IEC\/IEEE 29119 (all parts) in agile projects\u201c. Ob die Norm diesem Anspruch auch gerecht\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/09\/agile-development-word-cloud-klein.jpeg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/09\/agile-development-word-cloud-klein.jpeg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/09\/agile-development-word-cloud-klein.jpeg?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2021\/09\/agile-development-word-cloud-klein.jpeg?resize=700%2C400&ssl=1 2x"},"classes":[]},{"id":11556,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-9126-und-iso-25010\/","url_meta":{"origin":4086877,"position":1},"title":"ISO 25010 und ISO 9126","author":"Prof. Dr. Christian Johner","date":"10. August 2015","format":false,"excerpt":"Die ISO 9126 ist eine nicht-harmonisierte Norm, die Qualit\u00e4tseigenschaften\u00a0f\u00fcr Software klassifiziert. \u00a0Inhalts\u00fcbersicht Qualit\u00e4tseigenschaften gem\u00e4\u00df ISO 9126 \u00bb Kritik an der ISO 9126 \u00bb Qualit\u00e4tseigenschaften gem\u00e4\u00df ISO 25010 \u00bb Zusammenspiel IEC 62304 \u00bb Software-Qualit\u00e4tseigenschaften gem\u00e4\u00df ISO 9126 Die ISO 9126 eignet sich, um die Vollst\u00e4ndigkeit der System-Anforderungen zu pr\u00fcfen und zu\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"ISO 9126","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/fileadmin\/user_upload\/_imported\/ISO9126_02.png?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":4283,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/blackbox-testing\/","url_meta":{"origin":4086877,"position":2},"title":"Blackbox-Testing","author":"Janos Hackenbeck","date":"30. Juni 2015","format":false,"excerpt":"Von Blackbox-Testing spricht man, wenn\u00a0man Testf\u00e4lle alleine aus der\u00a0Spezifikation des zu testenden Objekt (Produkt, Komponente) ableitet. Beim White-box-Testing leitet man die Testf\u00e4lle hingegen aus der inneren Struktur des Objekts ab z.B. aus dessen Quellcode oder dessen Software-Architektur. Leider beobachte ich, dass\u00a0viele\u00a0Medizinproduktehersteller weder die\u00a0Testf\u00e4lle spezifizieren, noch diese systematisch mit einem Blackbox-Testverfahren\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"Blackbox testing","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/06\/black-box-testing.png?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":13395,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iso-80002-2-software-validierung\/","url_meta":{"origin":4086877,"position":3},"title":"ISO 80002-2: Validierung von Prozess-Software","author":"Urs M\u00fcller","date":"6. April 2017","format":false,"excerpt":"Die ISO 80002-2 (genau: ISO TR 80002-2) beschreibt die Anforderungen an die Validierung von Software, die im Rahmen von QM-relevanten Prozessen eingesetzt wird. Damit gibt die ISO 80002-2 wertvolle Hinweis, wie Medizinproduktehersteller die Anforderungen der ISO 13485:2016 nach Prozess-Software-Validierung erf\u00fcllen k\u00f6nnen. \u00a0Inhalts\u00fcbersicht Anwendungsbereich der Norm \u00bb Ist die ISO 80002-2\u00a0verpflichtend?\u2026","rel":"","context":"In &quot;Qualit\u00e4tsmanagement &amp; ISO 13485&quot;","block_context":{"text":"Qualit\u00e4tsmanagement &amp; ISO 13485","link":"https:\/\/www.johner-institut.de\/blog\/category\/qualitaetsmanagement-iso-13485\/"},"img":{"alt_text":"ISO 80002-2: Software-Validierung","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/07\/ISO-80002-2-1024x577.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/07\/ISO-80002-2-1024x577.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/07\/ISO-80002-2-1024x577.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/07\/ISO-80002-2-1024x577.png?resize=700%2C400&ssl=1 2x"},"classes":[]},{"id":8648,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/iec-62304-zweite-ausgabe\/","url_meta":{"origin":4086877,"position":4},"title":"IEC 62304 2. Ausgabe: Alle Anwendungsbereiche und \u00c4nderungen","author":"Prof. Dr. Christian Johner","date":"11. Januar 2022","format":false,"excerpt":"IEC 62304 2. Ausgabe: Selbst der Name der neusten Ausgabe der Norm ist derzeit noch unklar: Hei\u00dft sie wieder IEC 62304? Vielleicht IEC 62304 Version\u00a02? Oder wird man sie unter dem Mantel der Health-Software-Normen als IEC 82304-2 publizieren? Was bereits\u00a0teilweise feststeht, sind die \u00c4nderungen, die die 2. Ausgabe der IEC\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"IEC 62304 2. Ausgabe (2nd edition)","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2016\/11\/IEC-62304-zweite-Ausgabe-klein-300x114.jpg?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":3322,"url":"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/unit-testing-iec-62304\/","url_meta":{"origin":4086877,"position":5},"title":"Unit Testing und IEC 62304","author":"Urs M\u00fcller","date":"14. August 2024","format":false,"excerpt":"Unter Unit-Testing wird in der Software-Entwicklung das Testen von Software-Units verstanden. Allerdings gibt es kein einheitliches Verst\u00e4ndnis dar\u00fcber, was eine Software-Unit ist, was einen guten Unit-Test auszeichnet und welche regulatorischen\/gesetzlichen Anforderungen erf\u00fcllt werden m\u00fcssen. Dieser Artikel verschafft Klarheit. 1. Testobjekte: Was beim Unit-Testing getestet wird a) \u00dcbliches Verst\u00e4ndnis von Software-Units\u2026","rel":"","context":"In &quot;Software &amp; IEC 62304&quot;","block_context":{"text":"Software &amp; IEC 62304","link":"https:\/\/www.johner-institut.de\/blog\/category\/iec-62304-medizinische-software\/"},"img":{"alt_text":"Unit Testing: Was sind die Units?","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/05\/unit-testing.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/05\/unit-testing.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/05\/unit-testing.jpg?resize=525%2C300&ssl=1 1.5x"},"classes":[]}],"jetpack_shortlink":"https:\/\/wp.me\/pavawf-h9bn","jetpack_sharing_enabled":true,"authors":[{"term_id":1210,"user_id":1,"is_guest":0,"slug":"christian","display_name":"Prof. Dr. Christian Johner","avatar_url":{"url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","url2x":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg"},"0":null,"1":"","2":"","3":"","4":"","5":"","6":"","7":"","8":"","9":""}],"_links":{"self":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/4086877","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/comments?post=4086877"}],"version-history":[{"count":14,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/4086877\/revisions"}],"predecessor-version":[{"id":5368853,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/4086877\/revisions\/5368853"}],"wp:attachment":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/media?parent=4086877"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/categories?post=4086877"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/tags?post=4086877"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/ppma_author?post=4086877"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}