{"id":4635573,"date":"2022-02-01T08:45:00","date_gmt":"2022-02-01T07:45:00","guid":{"rendered":"https:\/\/www.johner-institut.de\/blog\/?p=4635573"},"modified":"2025-01-09T19:57:27","modified_gmt":"2025-01-09T18:57:27","slug":"interpretierbarkeit-ki","status":"publish","type":"post","link":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/","title":{"rendered":"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens"},"content":{"rendered":"\n<p>Dass k\u00fcnstliche Intelligenz (KI oder AI) ein enormes Potenzial f\u00fcr die Medizin birgt, haben viele Hersteller bereits erkannt. Was aber, wenn die Schl\u00fcsse der KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind? Ein reales und akutes Problem, bei dem das Konzept der \u201cInterpretierbarkeit von KI\u201d hilft.<\/p>\n\n\n\n<p>Die Interpretierbarkeit von maschinellem Lernen sorgt daf\u00fcr, dass KI-basierte (Medizin-)Produkte nicht zur Blackbox werden. Sie erlaubt es, Fehler zu identifizieren und Sicherheitsl\u00fccken zu vermeiden.<\/p>\n\n\n\n<p>Erfahren Sie in diesem Beitrag,<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>was Interpretierbarkeit von maschinellem Lernen bedeutet,<\/li>\n\n\n\n<li>welche Probleme sie l\u00f6st und<\/li>\n\n\n\n<li>welche Methoden es hierf\u00fcr gibt.<\/li>\n<\/ul>\n\n\n\n<!--more-->\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 48 48\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M20,19.5h16v-3H20V19.5z M20,25.5h16v-3H20V25.5z M20,31.5h10v-3H20V31.5z M14.1,20c0.6,0,1-0.2,1.4-0.6 c0.4-0.4,0.6-0.9,0.6-1.4s-0.2-1-0.6-1.4c-0.4-0.4-0.9-0.6-1.4-0.6c-0.6,0-1,0.2-1.4,0.6c-0.4,0.4-0.6,0.9-0.6,1.4 c0,0.6,0.2,1,0.6,1.4C13,19.9,13.5,20,14.1,20z M14.1,26c0.6,0,1-0.2,1.4-0.6c0.4-0.4,0.6-0.9,0.6-1.4c0-0.6-0.2-1-0.6-1.4 S14.6,22,14.1,22c-0.6,0-1,0.2-1.4,0.6s-0.6,0.9-0.6,1.4c0,0.6,0.2,1,0.6,1.4S13.5,26,14.1,26z M14.1,32c0.6,0,1-0.2,1.4-0.6 c0.4-0.4,0.6-0.9,0.6-1.4c0-0.6-0.2-1-0.6-1.4c-0.4-0.4-0.9-0.6-1.4-0.6c-0.6,0-1,0.2-1.4,0.6s-0.6,0.9-0.6,1.4 c0,0.6,0.2,1,0.6,1.4S13.5,32,14.1,32z M7,40c-1.7,0-3-1.4-3-3V11c0-0.8,0.3-1.5,0.9-2.1C5.5,8.3,6.2,8,7,8h34 c0.8,0,1.5,0.3,2.1,0.9C43.7,9.5,44,10.2,44,11v26c0,0.8-0.3,1.5-0.9,2.1C42.5,39.7,41.8,40,41,40L7,40z M7,37h34V11H7V37z M7,11\"><\/path><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Information<\/span><\/div>\n<p>Kapitel 1 und 2 geben eine allgemein verst\u00e4ndliche Einf\u00fchrung in das Thema. Kapitel 3 und 4 behandeln spezielle Methoden, mit denen die Interpretierbarkeit von Machine-Learning-Modellen erreicht werden kann.<\/p>\n<\/div>\n\n\n\n<p><\/p>\n\n\n\n<h2 aria-label=\"1. Definition\" id=\"1-was-bedeutet-interpretierbarkeit-im-maschinellen-lernen-ki\">1. Was bedeutet Interpretierbarkeit im maschinellen Lernen?<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"a-maschinelles-lernen\">a) Maschinelles Lernen<\/h3>\n\n\n\n<p>Maschinelles Lernen (ML) ist ein Teilgebiet der k\u00fcnstlichen Intelligenz (KI). Es erm\u00f6glicht dem Computer, aus Daten Regeln zu \u201clernen\u201d, ohne explizit programmiert werden zu m\u00fcssen. In der Medizintechnik kommt maschinelles Lernen vor allem bei der Verarbeitung von Bild- und Textdaten zum Einsatz. Dabei wird h\u00e4ufig auf sogenanntes \u201cDeep Learning\u201d zur\u00fcckgegriffen. Deep Learning bezeichnet k\u00fcnstliche neuronale Netze, die besonders viele \u201cSchichten\u201d haben.<\/p>\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 48 48\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M20,19.5h16v-3H20V19.5z M20,25.5h16v-3H20V25.5z M20,31.5h10v-3H20V31.5z M14.1,20c0.6,0,1-0.2,1.4-0.6 c0.4-0.4,0.6-0.9,0.6-1.4s-0.2-1-0.6-1.4c-0.4-0.4-0.9-0.6-1.4-0.6c-0.6,0-1,0.2-1.4,0.6c-0.4,0.4-0.6,0.9-0.6,1.4 c0,0.6,0.2,1,0.6,1.4C13,19.9,13.5,20,14.1,20z M14.1,26c0.6,0,1-0.2,1.4-0.6c0.4-0.4,0.6-0.9,0.6-1.4c0-0.6-0.2-1-0.6-1.4 S14.6,22,14.1,22c-0.6,0-1,0.2-1.4,0.6s-0.6,0.9-0.6,1.4c0,0.6,0.2,1,0.6,1.4S13.5,26,14.1,26z M14.1,32c0.6,0,1-0.2,1.4-0.6 c0.4-0.4,0.6-0.9,0.6-1.4c0-0.6-0.2-1-0.6-1.4c-0.4-0.4-0.9-0.6-1.4-0.6c-0.6,0-1,0.2-1.4,0.6s-0.6,0.9-0.6,1.4 c0,0.6,0.2,1,0.6,1.4S13.5,32,14.1,32z M7,40c-1.7,0-3-1.4-3-3V11c0-0.8,0.3-1.5,0.9-2.1C5.5,8.3,6.2,8,7,8h34 c0.8,0,1.5,0.3,2.1,0.9C43.7,9.5,44,10.2,44,11v26c0,0.8-0.3,1.5-0.9,2.1C42.5,39.7,41.8,40,41,40L7,40z M7,37h34V11H7V37z M7,11\"><\/path><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Weiterf\u00fchrende Informationen<\/span><\/div>\n<p>Mehr \u00fcber die Grundlagen der k\u00fcnstlichen Intelligenz bzw. des maschinellen Lernens erfahren Sie im Artikel zu <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/kuenstliche-intelligenz-in-der-medizin\/\">K\u00fcnstlicher Intelligenz in der Medizin<\/a>.&nbsp;<\/p>\n<\/div>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"b-interpretierbarkeit-von-maschinellem-lernen\">b) Interpretierbarkeit von maschinellem Lernen<\/h3>\n\n\n\n<p>Was ist mit <em>Interpretierbarkeit<\/em> von maschinellem Lernen gemeint?<\/p>\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 512 512\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M256,507C117.6,507,5,394.4,5,256S117.6,5,256,5s251,112.6,251,251S394.4,507,256,507z M256,41.6 C137.8,41.6,41.6,137.8,41.6,256S137.8,470.4,256,470.4S470.4,374.2,470.4,256S374.2,41.6,256,41.6z\"><\/path><g><path d=\"M288.4,295.7h-64.7l-10-185.6h84.7L288.4,295.7z M214.4,364.4c0-11.9,3.5-21.2,10.6-27.8 c7.1-6.6,17.3-9.9,30.8-9.9c13.3,0,23.4,3.3,30.3,9.9c6.9,6.6,10.3,15.9,10.3,27.8c0,11.8-3.6,21-10.7,27.6 c-7.1,6.6-17.1,9.9-29.9,9.9c-12.9,0-23.1-3.3-30.4-9.9C218.1,385.3,214.4,376.1,214.4,364.4z\"><\/path><\/g><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Definition: Erkl\u00e4rbarkeit (Explainability)<\/span><\/div>\n<p>Der Grad, bis zu dem ein System Klarheit \u00fcber die Gr\u00fcnde f\u00fcr die Ergebnisse (die Outputs) verschaffen kann<\/p>\n<\/div>\n\n\n\n<p><strong>Beispiel: <\/strong>Ein Verfahren, das die Relevanz der Features eines Machine-Learning-Modells bewertet, kann die Erkl\u00e4rbarkeit des Modells erh\u00f6hen.<\/p>\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 512 512\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M256,507C117.6,507,5,394.4,5,256S117.6,5,256,5s251,112.6,251,251S394.4,507,256,507z M256,41.6 C137.8,41.6,41.6,137.8,41.6,256S137.8,470.4,256,470.4S470.4,374.2,470.4,256S374.2,41.6,256,41.6z\"><\/path><g><path d=\"M288.4,295.7h-64.7l-10-185.6h84.7L288.4,295.7z M214.4,364.4c0-11.9,3.5-21.2,10.6-27.8 c7.1-6.6,17.3-9.9,30.8-9.9c13.3,0,23.4,3.3,30.3,9.9c6.9,6.6,10.3,15.9,10.3,27.8c0,11.8-3.6,21-10.7,27.6 c-7.1,6.6-17.1,9.9-29.9,9.9c-12.9,0-23.1-3.3-30.4-9.9C218.1,385.3,214.4,376.1,214.4,364.4z\"><\/path><\/g><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Definition: Transparenz (Transparency)<\/span><\/div>\n<p>Der Grad, bis zu dem ein System Informationen \u00fcber sein Innenleben, also seine innere Struktur und Trainingsdaten, offenbart<\/p>\n<\/div>\n\n\n\n<p><strong>Erl\u00e4uterung: <\/strong>Damit ist Transparenz nicht dasselbe wie Erkl\u00e4rbarkeit. Transparenz setzt das \u00d6ffnen der Blackbox voraus, Erkl\u00e4rbarkeit nicht. Ein einfacher Entscheidungsbaum hat zum Beispiel eine hohe Transparenz, da man die Vorhersage dieses Modells direkt aus der Struktur des Baums ablesen kann.<\/p>\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 512 512\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M256,507C117.6,507,5,394.4,5,256S117.6,5,256,5s251,112.6,251,251S394.4,507,256,507z M256,41.6 C137.8,41.6,41.6,137.8,41.6,256S137.8,470.4,256,470.4S470.4,374.2,470.4,256S374.2,41.6,256,41.6z\"><\/path><g><path d=\"M288.4,295.7h-64.7l-10-185.6h84.7L288.4,295.7z M214.4,364.4c0-11.9,3.5-21.2,10.6-27.8 c7.1-6.6,17.3-9.9,30.8-9.9c13.3,0,23.4,3.3,30.3,9.9c6.9,6.6,10.3,15.9,10.3,27.8c0,11.8-3.6,21-10.7,27.6 c-7.1,6.6-17.1,9.9-29.9,9.9c-12.9,0-23.1-3.3-30.4-9.9C218.1,385.3,214.4,376.1,214.4,364.4z\"><\/path><\/g><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Definition: Interpretierbarkeit (Interpretability)<\/span><\/div>\n<p>Der Grad, bis zu dem jemand die Information nutzen kann, die das System durch Erkl\u00e4rbarkeit und Transparenz liefert<\/p>\n<\/div>\n\n\n\n<p>Nach dieser Definition l\u00e4sst sich also eine Gleichung aufstellen:<\/p>\n\n\n\n<p><strong>Interpretierbarkeit&nbsp; = Erkl\u00e4rbarkeit + Transparenz<\/strong>&nbsp;<\/p>\n\n\n\n<p>Es gibt daher zwei Stellschrauben, um die Interpretierbarkeit im maschinellen Lernen zu verbessern: die Erkl\u00e4rbarkeit und die Transparenz.<\/p>\n\n\n\n<p>Transparenz l\u00e4sst sich durch den Einsatz von inh\u00e4rent transparenten Modellen oder Methoden erzeugen, die nach dem Trainieren der KI angewandt werden.&nbsp;<\/p>\n\n\n\n<p>Erkl\u00e4rbarkeit wird unterst\u00fctzt durch viele verschiedene Ans\u00e4tze f\u00fcr unterschiedliche Datentypen und Fragestellungen. Dieser Artikel stellt beide Konzepte vor.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"c-warum-sind-modelle-im-maschinellen-lernen-so-schwer-nachzuvollziehen\">c) Warum sind Modelle im maschinellen Lernen so schwer nachzuvollziehen?<\/h3>\n\n\n\n<p>KI-Entscheidungsmechanismen h\u00e4ngen von Mustern in Daten ab. Zum einen lernt die KI solche Muster, um menschliche F\u00e4higkeiten nachzuahmen (beispielsweise, Objekte in Bildern zu erkennen). Zum anderen kann eine KI aber auch Muster erkennen, die dem Menschen verborgen bleiben. <\/p>\n\n\n\n<p>Die Modelle, die sich aus diesem Prozess des maschinellen Lernens ergeben, sind kaum noch nachvollziehbar.&nbsp;Dies liegt vor allem daran, dass das System diese Modelle durch die Daten, mit denen es lernt, selbst erstellt. Das Ergebnis dieses \u201cLernprozesses\u201d ist nicht mehr durch einen Menschen programmiert.&nbsp;<\/p>\n\n\n\n<p>Zudem sind die Modelle \u00e4u\u00dferst komplex. In neuronalen Netzwerken werden beispielsweise Millionen von Parametern trainiert.&nbsp;Deshalb sind KI-Modelle in vielen F\u00e4llen eine Blackbox und selbst f\u00fcr diejenigen nicht nachvollziehbar, die sie entwickelt haben.<\/p>\n\n\n\n<div class=\"blog-banner container grey-gradient \">\n<div class=\"row\">\n<div class=\" col-sm-12 col-md-3\">\n<p class=\"banner-headline\">Traumjob gesucht?<\/p>\n<\/div>\n<div class=\" col-sm-12 col-md-3\">\n<div class=\"job-img img\">&nbsp;<\/div>\n<\/div>\n<div class=\" col-sm-12 col-md-6\">\n<p>M\u00f6chten Sie Ihr Verst\u00e4ndnis von <strong>Maschine Learning<\/strong> in der konformen <strong>Softwareentwicklung<\/strong> erweitern und in unterschiedlichsten Produkten einbringen? Dann werden Sie <strong>Teil des Johner Institut Beratungsteams<\/strong> und bewerben Sie sich jetzt.<\/p>\nJetzt bewerben<\/div>\n<\/div>\n<\/div>\n\n\n\n<h2 aria-label=\"2. Nutzen\" id=\"2-probleme-vermeiden-durch-interpretierbarkeit-von-ki\">2. Probleme vermeiden durch Interpretierbarkeit von KI<\/h2>\n\n\n\n<p>So leistungsf\u00e4hig KI auch sein kann: Fehlende Transparenz und Erkl\u00e4rbarkeit k\u00f6nnen dazu f\u00fchren, dass schwere Fehler unerkannt bleiben oder dass das Modell unbrauchbar wird. Schlimmstenfalls werden dadurch Patienten gef\u00e4hrdet.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"a-beispiele\">a) Beispiele<\/h3>\n\n\n\n<p>Wie gef\u00e4hrlich ein Mangel an Interpretierbarkeit f\u00fcr Patienten werden kann, l\u00e4sst sich am besten anhand von Beispielen illustrieren:<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"gefahren-durch-intransparente-modelle\">Gefahren durch intransparente Modelle<\/h4>\n\n\n\n<p>Intransparenz kann dazu f\u00fchren, dass dem Hersteller Fehlschl\u00fcsse der KI nicht rechtzeitig auffallen. Beispiel: Ein KI-Modell erkennt Krebs nicht zuverl\u00e4ssig anhand eines verd\u00e4chtigen Lungengewebes, sondern (auch) daran, dass die Aufnahmen von einer bestimmten Person wie einem Onkologen beauftragt wurde.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"gefahren-durch-nicht-erklarbare-modelle\">Gefahren durch nicht erkl\u00e4rbare Modelle<\/h4>\n\n\n\n<p>Sepsis Watch ist ein Modell, das auf Grundlage von klinischen Daten Sepsis bei station\u00e4r aufgenommenen Patienten vorhersagt. Das Modell wurde in den klinischen Alltag integriert. F\u00fcr die Benutzung des Tools war eine Rapid Response Team (RRT) Nurse zust\u00e4ndig. Bei einer Warnung durch das Programm verst\u00e4ndigt die RRT Nurse die \u00c4rzte auf der jeweiligen Station. Das Verfahren beruhte auf Deep Learning und lieferte keine Erkl\u00e4rung f\u00fcr die Sepsiswarnung. Dies f\u00fchrte zu erh\u00f6htem Aufwand in der Kommunikation (\u201cAber der Patient hier sieht fit aus, warum soll er ein hohes Risiko haben?\u201d, fragten die \u00c4rzte) und dazu, dass RRT Nurses sich irgendwie zusammengereimt haben, woher gerade diese Vorhersage kam. Die Nutzerinnen und Nutzer haben sich also eine \u201cInterpretierbarkeit\u201d geschaffen, die jedoch h\u00e4ufig unzutreffend war.&nbsp;<\/p>\n\n\n\n<p><strong>(Referenz: <\/strong><a href=\"https:\/\/datasociety.net\/wp-content\/uploads\/2020\/09\/Repairing-Innovation-DataSociety-20200930-1.pdf\">Repairing Innovation &#8211; A Study of Integrating AI in Clinical Care<\/a><strong>)<\/strong><strong><br><br><\/strong><\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"b-wie-interpretierbarkeit-probleme-lost-und-gefahren-minimiert\">b) Wie Interpretierbarkeit Probleme l\u00f6st und Gefahren minimiert<\/h3>\n\n\n\n<p>Um m\u00f6gliche Probleme zu vermeiden und Gefahren zu minimieren, sollten Entwickler die Interpretierbarkeit von KI-Systemen gew\u00e4hrleisten. Dazu m\u00fcssen sie:<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"fehler-wahrend-der-entwicklung-finden\">Fehler w\u00e4hrend der Entwicklung finden<\/h4>\n\n\n\n<p>Nicht alle Fehler haben ihre Ursache in einer niedrigen G\u00fcte des Modells. Manche Fehler entstehen z. B. durch bereits in den Daten vorhandene nicht-kausale Korrelationen und lassen sich mithilfe der Interpretierbarkeit aufdecken.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Nicht direkt kausale Faktoren: Wenn Asthma f\u00e4lschlicherweise als mildernder Faktor f\u00fcr Lungenentz\u00fcndung genutzt wird, obwohl der eigentliche Kausalzusammenhang ist, dass Asthmapatienten schneller Antibiotika verschrieben bekommen, da sie eine Risikogruppe sind. Daher sinkt f\u00fcr sie insgesamt das Risiko, an einer Lungenentz\u00fcndung zu erkranken. Mehr Infos dazu gibt es in <a href=\"https:\/\/www.microsoft.com\/en-us\/research\/wp-content\/uploads\/2017\/06\/KDD2015FinalDraftIntelligibleModels4HealthCare_igt143e-caruanaA.pdf\">diesem Paper<\/a>.)<br><\/li>\n\n\n\n<li>Verzerrte Ergebnisse: Eine KI, die automatisch einer bestimmten Ethnie eine mangelnde Kreditw\u00fcrdigkeit zuordnet, da sie durch initiale Fehlprogrammierung gelernt hat, dass Minderheiten schlechtere Einkommen haben.<\/li>\n<\/ul>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"limitationen-des-modells-entdecken\">Limitationen des Modells entdecken<\/h4>\n\n\n\n<p>Die Interpretierbarkeit er\u00f6ffnet die M\u00f6glichkeit, sich gezielt mit den Wirkmechanismen des Modells auseinanderzusetzen. Stellt man beispielsweise fest, dass sich ein Diagnosetool vor allem auf den Text aus Arztbriefen st\u00fctzt und weniger auf Blutwerte, Visitendaten usw., funktioniert das Modell wahrscheinlich schlechter in Kliniken, in denen der Arztbrief nur analog vorliegt und dem System nicht zur Verf\u00fcgung steht.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"sicherheitslucken-identifizieren\">Sicherheitsl\u00fccken identifizieren<\/h4>\n\n\n\n<p>Manche Risiken lassen sich nur mithilfe der Interpretierbarkeit bewerten. Adversarial Attacks (Angriff, bei dem die KI durch eine manipulierte Eingabe zu Fehlverhalten verleitet wird) k\u00f6nnen aufzeigen, ob das Modell angreifbar ist.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"vertrauen-bei-allen-stakeholdern-schaffen\">Vertrauen bei allen Stakeholdern schaffen&nbsp;<\/h4>\n\n\n\n<p>Mithilfe der Interpretierbarkeit kann man die Wirkungsweise des Modells mit Expertenwissen abgleichen, um so ein gewisses Vertrauen aufzubauen.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"feedback-erhalten-um-das-modell-zu-verbessern\">Feedback erhalten, um das Modell zu verbessern<\/h4>\n\n\n\n<p>Das gilt vor allem f\u00fcr die Entwickler des Modells: Zeigt sich, dass sich das Modell auf bestimmte Features verl\u00e4sst, so kann man diese gezielt durch Feature Engineering (also Erzeugung neuer, abgewandelter Features) verbessern.&nbsp;Beispiel: Wenn ein bestimmter Blutwert ein wichtiges Feature ist, l\u00e4sst sich m\u00f6glicherweise die Vorhersage verbessern, wenn die Entwicklung dieses Blutwerts \u00fcber die Zeit als Feature verwendet wird.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"belege-fur-die-leistungsfahigkeit-und-sicherheit-erhalten\">Belege f\u00fcr die Leistungsf\u00e4higkeit und Sicherheit erhalten<\/h4>\n\n\n\n<p>Sind die Systeme verst\u00e4ndlicher, l\u00e4sst sich auch die Sicherheit und Leistungsf\u00e4higkeit der Produkte besser nachweisen. Diese Nachweise sind z. B. f\u00fcr Benannte Stellen wichtig.<\/p>\n\n\n\n<div class=\"jig_defbox\"><div class=\"jig_defbox-definition\"><div class=\"jig_defbox-icon-wrapper\" style=\"fill:#919191\"><svg viewBox=\"0 0 512 512\" width=\"24\" height=\"24\" class=\"dashicons\" aria-hidden=\"true\"><g><path d=\"M430.9,177.6c-0.3-96-78.1-174.1-174-174.9c-0.1,0-0.2,0-0.4,0c-0.2,0-0.4,0-0.5,0c-0.2,0-0.4,0-0.5,0 c-0.1,0-0.2,0-0.4,0c-95.9,0.8-173.7,78.9-174,174.9c-0.4,7.3-1.9,60.3,36.6,109.2c29.5,37.6,49.4,74.7,55,85.9v63.5 c0,0,0,0.1,0,0.1c0,0.5,0,0.9,0.1,1.4c0,0.3,0.1,0.6,0.1,0.9c0,0.1,0,0.2,0,0.2c0.4,2.7,1.4,5.2,3,7.4l33.7,55.1 c3.1,5.1,8.7,8.2,14.7,8.2h61.8c6,0,11.5-3.1,14.7-8.2l33.7-55.1c1.5-2.1,2.6-4.6,3-7.4c0-0.1,0-0.2,0-0.2c0-0.3,0.1-0.6,0.1-0.9 c0-0.5,0.1-0.9,0.1-1.4c0,0,0-0.1,0-0.1v-60.3c1.2-2.4,22.3-45.5,56.7-89.2C432.8,237.8,431.3,184.9,430.9,177.6z M303.3,418.8 h-96.2v-33.1h96.2V418.8z M276.4,475h-42.5l-13.3-21.6h69L276.4,475z M311.6,351.4H200.4c-8.6-16.3-28-50.6-55.7-85.9 c-32-40.6-29.3-85.7-29.3-86c0-0.4,0.1-0.9,0.1-1.3c0-77.6,63-140.8,140.5-141.1c77.5,0.3,140.5,63.5,140.5,141.1 c0,0.4,0,0.9,0.1,1.3c0,0.4,3.1,44.9-29.3,86C339.5,300.8,320.2,335.1,311.6,351.4z\"><\/path><path d=\"M257.8,64.4c-62,0-112.5,50.5-112.5,112.5c0,9.5,7.7,17.2,17.2,17.2s17.2-7.7,17.2-17.2 c0-43.1,35-78.1,78.1-78.1c9.5,0,17.2-7.7,17.2-17.2S267.3,64.4,257.8,64.4z\"><\/path><\/g><\/svg><\/div><span class=\"jig_defbox-header\" style=\"color:#919191\">Beachten Sie auch den Podcast zur Interpretierbarkeit von Machine Learning von Modellen!<\/span><\/div>\n<p>Christoph Molnar spricht mit Professor Johner \u00fcber die Interpretierbarkeit von Machine Learning, \u00fcber typische Fehler dabei und L\u00f6sungsans\u00e4tze. Sie besprechen dabei auch die Literatur.<\/p>\n\n\n\n<p>Diese und weitere Podcast-Episoden finden Sie auch&nbsp;<a href=\"https:\/\/www.johner-institut.de\/podcast\/medical-device-insights\/\">hier<\/a>.<\/p>\n<\/div>\n\n\n\t\t\t<style type=\"text\/css\">#pp-podcast-6909 a, .pp-modal-window .modal-6909 a, .pp-modal-window .aux-modal-6909 a, #pp-podcast-6909 .ppjs__more { color: #dc1a22; } #pp-podcast-6909:not(.modern) .ppjs__audio .ppjs__button.ppjs__playpause-button button *, #pp-podcast-6909:not(.modern) .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover *, #pp-podcast-6909:not(.modern) .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus *, .pp-modal-window .modal-6909 .ppjs__audio .ppjs__button.ppjs__playpause-button button *, .pp-modal-window .modal-6909 .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover *, .pp-modal-window .modal-6909 .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus *, .pp-modal-window .aux-modal-6909 .pod-entry__play *, .pp-modal-window .aux-modal-6909 .pod-entry__play:hover * { color: #dc1a22 !important; } #pp-podcast-6909.postview .episode-list__load-more, .pp-modal-window .aux-modal-6909 .episode-list__load-more, #pp-podcast-6909:not(.modern) .ppjs__time-handle-content, .modal-6909 .ppjs__time-handle-content { border-color: #dc1a22 !important; } #pp-podcast-6909:not(.modern) .ppjs__audio-time-rail, #pp-podcast-6909.lv3 .pod-entry__play, #pp-podcast-6909.lv4 .pod-entry__play, #pp-podcast-6909.gv2 .pod-entry__play, #pp-podcast-6909.modern.wide-player .ppjs__audio .ppjs__button.ppjs__playpause-button button, #pp-podcast-6909.modern.wide-player .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover, #pp-podcast-6909.modern.wide-player .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus, .pp-modal-window .modal-6909 button.episode-list__load-more, .pp-modal-window .modal-6909 .ppjs__audio-time-rail, .pp-modal-window .modal-6909 button.pp-modal-close { background-color: #dc1a22 !important; } #pp-podcast-6909 .hasCover .ppjs__audio .ppjs__button.ppjs__playpause-button button { background-color: rgba(0, 0, 0, 0.5) !important; } .pp-modal-window .modal-6909 button.episode-list__load-more:hover, .pp-modal-window .modal-6909 button.episode-list__load-more:focus, .pp-modal-window .aux-modal-6909 button.episode-list__load-more:hover, .pp-modal-window .aux-modal-6909 button.episode-list__load-more:focus { background-color: rgba( 220,26,34, 0.7 ) !important; } #pp-podcast-6909 .ppjs__button.toggled-on, .pp-modal-window .modal-6909 .ppjs__button.toggled-on, #pp-podcast-6909.playerview .pod-entry.activeEpisode, .pp-modal-window .modal-6909.playerview .pod-entry.activeEpisode { background-color: rgba( 220,26,34, 0.1 ); } #pp-podcast-6909.postview .episode-list__load-more { background-color: transparent !important; } #pp-podcast-6909.modern:not(.wide-player) .ppjs__audio .ppjs__button.ppjs__playpause-button button *, #pp-podcast-6909.modern:not(.wide-player) .ppjs__audio .ppjs__button.ppjs__playpause-button button:hover *, #pp-podcast-6909.modern:not(.wide-player) .ppjs__audio .ppjs__button.ppjs__playpause-button button:focus * { color: #dc1a22 !important; } #pp-podcast-6909.modern:not(.wide-player) .ppjs__time-handle-content { border-color: #dc1a22 !important; } #pp-podcast-6909.modern:not(.wide-player) .ppjs__audio-time-rail { background-color: #dc1a22 !important; } #pp-podcast-6909, .modal-6909, .aux-modal-6909 { --pp-accent-color: #dc1a22; } #pp-podcast-6909 .ppjs__script-button { display: none; }<\/style>\n\t\t\t<div id=\"pp-podcast-6909\" class=\"pp-podcast single-episode has-header header-hidden playerview media-audio hide-download hide-description hide-content\"  data-teaser=\"\" data-elength=\"18\" data-eunit=\"\" data-ppsdata=\"{&quot;ppe-6909-1&quot;:{&quot;title&quot;:&quot;2020-12: Interpretierbarkeit von Machine Learning von Modellen&quot;,&quot;author&quot;:&quot;Christoph Molnar, Prof. Dr. Christian Johner&quot;,&quot;date&quot;:&quot;17. November 2020&quot;,&quot;link&quot;:&quot;https:\\\/\\\/johner-institut.podigee.io\\\/12-machine-learning-interpretability&quot;,&quot;src&quot;:&quot;https:\\\/\\\/audio.podigee-cdn.net\\\/323176-m-125f0c9966aabce1a2e2b4de0c9ce55a.mp3?source=feed&quot;,&quot;mediatype&quot;:&quot;audio&quot;,&quot;season&quot;:0,&quot;categories&quot;:[],&quot;duration&quot;:&quot;19:35&quot;,&quot;episodetype&quot;:&quot;full&quot;,&quot;timestamp&quot;:1605578400,&quot;key&quot;:&quot;e40bf6c43bd67021b61e83ad4b748a11&quot;},&quot;load_info&quot;:{&quot;loaded&quot;:1,&quot;displayed&quot;:1,&quot;offset&quot;:0,&quot;maxItems&quot;:1,&quot;src&quot;:&quot;5a329de0e539499bf1ed92d7abcc9adb&quot;,&quot;step&quot;:1,&quot;sortby&quot;:&quot;sort_date_desc&quot;,&quot;filterby&quot;:&quot;interpretierbarkeit&quot;,&quot;fixed&quot;:&quot;&quot;,&quot;args&quot;:{&quot;imgurl&quot;:&quot;https:\\\/\\\/images.podigee-cdn.net\\\/0x,sqvWI5fZv_m3DhwUGGW8fZRSSgFarfP0F8a2nNIFtktA=\\\/https:\\\/\\\/main.podigee-cdn.net\\\/uploads\\\/u17081\\\/b9425c6a-8ecc-48cf-888c-a2351bacd246.jpg&quot;,&quot;imgset&quot;:&quot;&quot;,&quot;display&quot;:&quot;&quot;,&quot;hddesc&quot;:1,&quot;hdfeat&quot;:1,&quot;oricov&quot;:&quot;https:\\\/\\\/images.podigee-cdn.net\\\/0x,sqvWI5fZv_m3DhwUGGW8fZRSSgFarfP0F8a2nNIFtktA=\\\/https:\\\/\\\/main.podigee-cdn.net\\\/uploads\\\/u17081\\\/b9425c6a-8ecc-48cf-888c-a2351bacd246.jpg&quot;,&quot;elength&quot;:18}},&quot;rdata&quot;:{&quot;permalink&quot;:&quot;https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-json\\\/wp\\\/v2\\\/posts\\\/4635573&quot;,&quot;fprint&quot;:&quot;5a329de0e539499bf1ed92d7abcc9adb&quot;,&quot;from&quot;:&quot;feedurl&quot;,&quot;elen&quot;:18,&quot;eunit&quot;:&quot;&quot;,&quot;teaser&quot;:&quot;&quot;,&quot;title&quot;:&quot;&quot;,&quot;autoplay&quot;:&quot;&quot;}}\"><div class=\"pp-podcast__wrapper\"><div class=\"pp-podcast__info pod-info\"><div class=\"pod-info__header pod-header\"><div class=\"pod-header__image\"><div class=\"pod-header__image-wrapper\"><img decoding=\"async\" class=\"podcast-cover-image\" src=\"https:\/\/images.podigee-cdn.net\/0x,sqvWI5fZv_m3DhwUGGW8fZRSSgFarfP0F8a2nNIFtktA=\/https:\/\/main.podigee-cdn.net\/uploads\/u17081\/b9425c6a-8ecc-48cf-888c-a2351bacd246.jpg\" srcset=\"\" sizes=\"(max-width: 640px) 100vw, 25vw\" alt=\"\"><\/div><span class=\"pod-header__image-style\" style=\"display: block; width: 100%; padding-top: 100%\"><\/div><\/div><\/div><div class=\"pp-podcast__content pod-content\"><div class=\"pp-podcast__single\"><div class=\"pp-podcast__player\"><div class=\"pp-player-episode\"><audio id=\"pp-podcast-6909-player\" preload=\"none\" class=\"pp-podcast-episode\" style=\"width: 100%;\" controls=\"controls\"><source type=\"audio\/mpeg\" src=\"https:\/\/audio.podigee-cdn.net\/323176-m-125f0c9966aabce1a2e2b4de0c9ce55a.mp3?source=feed\" \/><\/audio><\/div><\/div><div class=\"pod-content__episode episode-single\"><button class=\"episode-single__close\" aria-expanded=\"false\" aria-label=\"Close Single Episode\"><span class=\"btn-icon-wrap\"><svg class=\"icon icon-pp-x\" aria-hidden=\"true\" role=\"img\" focusable=\"false\"><use href=\"#icon-pp-x\" xlink:href=\"#icon-pp-x\"><\/use><\/svg><\/span><\/button><div class=\"episode-single__wrapper\"><div class=\"episode-single__header\"><div class=\"episode-single__title\">2020-12: Interpretierbarkeit von Machine Learning von Modellen<\/div><div class=\"episode-single__author\"><span class=\"byname\">by<\/span><span class=\"single-author\">Christoph Molnar, Prof. Dr. Christian Johner<\/span><\/div><\/div><\/div><\/div><\/div><\/div><\/div><div class=\"pod-content__launcher pod-launch\"><button class=\"pod-launch__button pod-launch__info pod-button\" aria-expanded=\"false\"><span class=\"ppjs__offscreen\">Show Podcast Information<\/span><span class=\"btn-icon-wrap\"><svg class=\"icon icon-pp-podcast\" aria-hidden=\"true\" role=\"img\" focusable=\"false\"><use href=\"#icon-pp-podcast\" xlink:href=\"#icon-pp-podcast\"><\/use><\/svg><svg class=\"icon icon-pp-x\" aria-hidden=\"true\" role=\"img\" focusable=\"false\"><use href=\"#icon-pp-x\" xlink:href=\"#icon-pp-x\"><\/use><\/svg><\/span><\/button><\/div><\/div>\n\n\n<h2 aria-label=\"3. Transparenz\" id=\"3-interpretierbarkeit-durch-transparenz-schaffen\">3. Interpretierbarkeit durch Transparenz schaffen<\/h2>\n\n\n\n<p>Interpretierbarkeit kann durch Transparenz erreicht werden. Hier wiederum gibt es grunds\u00e4tzlich zwei M\u00f6glichkeiten:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Transparenz per Design<\/strong><br>Hierbei geht es um die Nutzung von inh\u00e4rent transparenten Modellen. Man kann sich von vornherein auf Modelle beschr\u00e4nken, die eine leicht verst\u00e4ndliche und somit transparente Struktur haben, z. B. Entscheidungsb\u00e4ume und Generalized Additive Models.<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Nachtr\u00e4gliche Transparenz<\/strong><br>Hierbei wird bei eigentlich intransparenten Modellen nachtr\u00e4glich Transparenz erzeugt durch spezielle Methoden. Diese machen komplexe Modelle wie neuronale Netze interpretierbar, indem sie ihre Struktur transparenter machen.<\/li>\n<\/ul>\n\n\n\n<p><\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"a-transparenz-per-design\">a) Transparenz per Design<\/h3>\n\n\n\n<h5 class=\"wp-block-heading\" id=\"generalized-additive-models\"><strong>Generalized Additive Models<\/strong><\/h5>\n\n\n\n<p>Der Name klingt sehr kompliziert, aber letztendlich sind Generalized Additive Models (GAM) mathematische Formeln, die die Vorhersage aufgrund der Features berechnen. Diese Formeln gewichten und kombinieren die Features, wobei der optimale Wert der Gewichte im Trainingsprozess gelernt wird. Ein GAM ist ein transparentes Modell, da man direkt aus den Formeln ablesen kann, wie die Vorhersage gemacht wird.<\/p>\n\n\n\n<p><strong>Beispiel GFR-Score<\/strong><\/p>\n\n\n\n<p>Die glomerul\u00e4re Filtrationsrate (GFR) ist eine wichtige Kennzahl f\u00fcr die Nierenfunktion (je niedriger, desto schlechter die Nierenfunktion). Die GFR ist aber schwer zu messen. Diese Kennzahl wird mithilfe von Features gesch\u00e4tzt und nennt sich dann eGFR. Es gibt verschiedene Formeln daf\u00fcr, z. B. die MDRD-Formel:<\/p>\n\n\n\n<p>eGFR = 175 x SKr <sup>-1,154<\/sup> x A <sup>-0,203<\/sup><\/p>\n\n\n\n<p>Dabei steht SKr f\u00fcr das Serumkreatinin und A f\u00fcr das Alter der Patienten. Zus\u00e4tzlich wird der Score bei Frauen mit 0,742 multipliziert und bei Personen mit schwarzer Hautfarbe mit 1,212 (ein Faktor, f\u00fcr den es bereits <a href=\"https:\/\/www.wired.com\/story\/how-algorithm-blocked-kidney-transplants-black-patients\/\">harsche Kritik<\/a> gab). Der genaue Wert f\u00fcr diese Gewichtung haben Forscher mithilfe von Daten gesch\u00e4tzt.&nbsp;<\/p>\n\n\n\n<p>Ein paar Mathekenntnisse vorausgesetzt, kann man direkt aus dieser Formel ablesen, dass eine Erh\u00f6hung des Alters (bei gleichbleibenden anderen Faktoren) zu einem niedrigeren eGFR-Score f\u00fchrt.<\/p>\n\n\n\n<h5 class=\"wp-block-heading\" id=\"weitere-beispiele-von-inharent-interpretierbaren-modellen\"><strong>Weitere Beispiele von inh\u00e4rent interpretierbaren Modellen<\/strong><\/h5>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Entscheidungsb\u00e4ume: Beim maschinellen Lernen werden diese nicht per Hand konstruiert, sondern die \u201cVer\u00e4stelungen\u201d werden aus den Daten gelernt. Aber: So eine Whitebox wird schnell auch zur Blackbox. Ein sehr tiefer Entscheidungsbaum ist nur schwer nachvollziehbar.<br><\/li>\n\n\n\n<li>Eng verwandt mit Entscheidungsb\u00e4umen sind Entscheidungsregeln. Eine Entscheidungsregel folgt immer dem typischen if-then-Konstrukt: Wenn bestimmte Feature-Werte vorliegen, wird eine bestimmte Vorhersage getroffen.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"b-nachtragliche-transparenz\">b) Nachtr\u00e4gliche Transparenz<\/h3>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"beispiele-von-modellen-die-nicht-inharent-interpretierbar-sind\">Beispiele von Modellen, die nicht inh\u00e4rent interpretierbar sind<\/h4>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Ein klassisches Beispiel sind tiefe neuronale Netze (Stichwort: Deep Learning). Diese sind in der Regel nicht nachvollziehbar und fallen daher in die Kategorie der Blackbox-Modelle.<br><\/li>\n\n\n\n<li>Ein weiteres Beispiel ist der Random Forest. Wie der Name verr\u00e4t, besteht der Random Forest aus B\u00e4umen, also Entscheidungsb\u00e4umen. Diese gelten eigentlich als transparent. Aber dadurch, dass der Random Forest aus mehreren hundert B\u00e4umen besteht, muss man auch diesen als Blackbox-Modell kategorisieren \u2013 die Transparenz geht durch die Komplexit\u00e4t verloren.<\/li>\n<\/ul>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"methoden-fur-mehr-transparenz\">Methoden f\u00fcr mehr Transparenz<\/h4>\n\n\n\n<p>Auch f\u00fcr Blackbox-Modelle kann man die Transparenz erh\u00f6hen. Das erfordert zus\u00e4tzlichen Aufwand, um einzelne Komponenten eines Modells zu interpretieren, z. B. einzelne Neuronen in einem neuronalen Netzwerk.&nbsp;<\/p>\n\n\n\n<p><strong>Beispiel Feature-Visualization-Methode<\/strong><\/p>\n\n\n\n<p>Die Feature-Visualization-Methode ist ein gutes Beispiel f\u00fcr die Erh\u00f6hung der Transparenz in Convolutional Neural Networks (CNN). CNNs werden zur Klassifikation von Bildern eingesetzt. Welche Rolle hierbei einzelne Neuronen spielen, ist erst einmal nicht ersichtlich. Das CNN ist nicht transparent.&nbsp;<\/p>\n\n\n\n<p>Mithilfe der Feature-Visualization-Methode lassen sich gezielt Bilder erzeugen, auf die einzelne Neuronen im Netzwerk besonders ansprechen. Dadurch l\u00e4sst sich besser interpretieren, wie das Modell funktioniert.&nbsp;<\/p>\n\n\n\n<p>Abbildung 1 zeigt die Bilder, die verschiedene Neuronen des CNN aktivieren. Es zeigt sich, dass Neuronen auf den ersten Ebenen des Netzwerkes vor allem Kanten erkennen. Je tiefer  die Ebene, desto komplexere Formen und Strukturen k\u00f6nnen erkannt werden, bis hin zu Objekten wie Hundeschnauzen.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-1-small.jpg\" data-rel=\"lightbox-image-0\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"322\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-1-small-1024x322.jpg\" alt=\"\" class=\"wp-image-5379882\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-1-small-1024x322.jpg 1024w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-1-small-300x94.jpg 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-1-small-768x241.jpg 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-1-small.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><figcaption class=\"wp-element-caption\">Abb. 1: Feature-Visualization-Methode. Quelle: \u200b\u200b<a href=\"https:\/\/distill.pub\/2017\/feature-visualization\/\" target=\"_blank\" rel=\"noreferrer noopener\">https:\/\/distill.pub\/2017\/feature-visualization\/<\/a><\/figcaption><\/figure>\n\n\n\n<p><strong>Beispiel Attention Mechanismen<\/strong><\/p>\n\n\n\n<p>Ein weiteres Beispiel sind Attention Mechanismen von bestimmten neuronalen Netzwerken. Diese haben intern Gewichte, die bestimmen, wie stark bei einer Klassifikation oder Vorhersage z. B. auf bestimmte Bildregionen oder W\u00f6rter geachtet wird. Sie lassen sich visualisieren, um so die Transparenz f\u00fcr diese Netzwerke zu erh\u00f6hen. Es ist aber noch umstritten, wie sehr man diese Attention-Gewichte als Interpretation betrachten kann (mehr hierzu: <a href=\"https:\/\/arxiv.org\/abs\/1902.10186\">Attention is not Explanation<\/a>).&nbsp;<\/p>\n\n\n\n<h2 aria-label=\"4. Erkl\u00e4rbarkeit\" id=\"4-interpretierbarkeit-durch-erklarbarkeit\">4. Interpretierbarkeit durch Erkl\u00e4rbarkeit<\/h2>\n\n\n\n<p>Ein anderer Ansatz, um die Interpretierbarkeit von KI zu gew\u00e4hrleisten, ist die Erkl\u00e4rbarkeit. Der gro\u00dfe Vorteil gegen\u00fcber der Transparenz ist dabei, dass die Blackbox geschlossen bleiben kann. Erkl\u00e4rbarkeit arbeitet nur mit Inputs und Outputs und l\u00e4sst das zugrunde liegende Modell unber\u00fchrt.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"a-feature-effects\">a) Feature Effects<\/h3>\n\n\n\n<p>Ein Feature Effect beschreibt, wie sich ein einzelnes Feature (z. B. das Alter der Patienten) im Durchschnitt auf den Modelloutput (z. B. Krebsrisiko) auswirkt. Wichtig ist hier \u201cim Durchschnitt\u201d: Es geht nicht darum, wie sich das Feature in einem Einzelfall auswirkt, sondern darum, wie sich der Modelloutput f\u00fcr die Mehrzahl der Datens\u00e4tze verh\u00e4lt.&nbsp;<\/p>\n\n\n\n<p>Feature Effects k\u00f6nnen mithilfe von Diagrammen visualisiert werden, auf denen man das Feature auf der horizontalen Achse vermerkt (hier Alter) und auf der vertikalen Achse die Vorhersage des Modells (hier Krebsrisiko). <\/p>\n\n\n\n<p>Abbildung 2 zeigt ein Beispiel f\u00fcr einen Feature Effect Plot, der mit der <strong>Partial-Dependence-Plot-Methode<\/strong> erzeugt wurde. F\u00fcr andere Methoden w\u00fcrde die Grafik sehr \u00e4hnlich aussehen. Man sieht, dass mit steigendem Alter die Krebswahrscheinlichkeit leicht sinkt. Um das vierzigste Lebensjahr steigt die Wahrscheinlichkeit, an Krebs zu erkranken, sprunghaft an, flacht danach wieder etwas ab und verharrt ab dem sechzigsten Lebensjahr auf konstant hohem Niveau. Die Striche auf der horizontalen Achse geben an, welches Alter man tats\u00e4chlich in den Daten beobachtet hat \u2013 fast niemand war \u00e4lter als 50, daher sollte man auch den Feature Effect in diesem Bereich nicht \u00fcberbewerten.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg\" data-rel=\"lightbox-image-1\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"683\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2-1024x683.jpg\" alt=\"\" class=\"wp-image-5368758\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2-1024x683.jpg 1024w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2-300x200.jpg 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2-768x512.jpg 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2-1536x1024.jpg 1536w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg 1800w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><figcaption class=\"wp-element-caption\">Abb. 2: Feature Effect Plot. Quelle: <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/pdp.html\">Interpretable Machine Learning<\/a><\/figcaption><\/figure>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"berechnen-des-feature-effects-durch-partial-dependence-plot\">Berechnen des Feature Effects durch Partial Dependence Plot<\/h4>\n\n\n\n<p>Der Partial Dependence Plot wird auf folgende Art berechnet: M\u00f6chte man wissen, wie sich das Alter der Patienten durchschnittlich auf die vom Modell vorhergesagte Wahrscheinlichkeit f\u00fcr Krankheit X auswirkt, startet man mit dem geringsten Alter, das man in den Daten beobachtet (z. B. 20 Jahre). Dann setzt man k\u00fcnstlich alle Patienten in dem Datensatz auf das Alter 20 und misst die durchschnittliche Vorhersage f\u00fcr Krankheit f\u00fcr diesen Datensatz im Modell. Das Ganze wiederholt man f\u00fcr das Alter 21 usw., bis man bei 80 Jahren angekommen ist. Dadurch hat man simuliert, wie sich die Wahrscheinlichkeit \u00e4ndert, wenn das Alter erh\u00f6ht wird, aber die anderen Features der Patienten gleich bleiben.<\/p>\n\n\n\n<p>Es gibt noch andere Techniken, um Feature Effects zu berechnen: <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/ale.html\">Accumulated Local Effect Plots<\/a>, <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/ice.html\">Invididual Conditional Expectation Curves<\/a> und <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/shap.html\">Shapley Dependence Plots<\/a> (aber das geht hier zu sehr in die Tiefe). Diese sind zum Teil komplizierter in der Berechnung als der hier beschriebene Partial Dependence Plot, aber funktionieren \u00e4hnlich und werden \u00e4hnlich interpretiert.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"b-permutation-feature-importance\">b) Permutation Feature Importance<\/h3>\n\n\n\n<p>Permutation Feature Importance ist eine Methode, die f\u00fcr die verschiedenen Input-Features eines Modells feststellt, wie wichtig diese f\u00fcr korrekte Vorhersagen der Daten waren.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"konzept\">Konzept<\/h4>\n\n\n\n<p>Die Permutation Feature Importance funktioniert nach einem einfachen Prinzip:<\/p>\n\n\n\n<p>Zuerst wird die Performanz des Modells gemessen. Anschlie\u00dfend wird eines der Features permutiert, d. h. die Werte in der entsprechenden Tabellenspalte werden zuf\u00e4llig gemischt. Dadurch wir der Zusammenhang zwischen diesem Feature und der korrekten Vorhersage \u201czerst\u00f6rt\u201d. Anschlie\u00dfend wird mit diesen \u201cfehlerhaften\u201d Daten noch einmal die Performanz des Modells gemessen. Diese ist entweder gleich geblieben, falls das Feature keinen Einfluss auf die Vorhersage hat, oder stark gefallen, falls das Modell sich f\u00fcr eine korrekte Vorhersage stark auf dieses Feature verl\u00e4sst. Das Vorgehen wiederholt man f\u00fcr alle Features und erh\u00e4lt so ein Ranking der Wichtigkeit der einzelnen Features.<\/p>\n\n\n\n<p>Die Beschreibung macht vielleicht schon deutlich, warum man auch diese Methode zur Erkl\u00e4rung von Blackbox-Modellen verwenden kann: Es geht darum, die Inputdaten des Modelles zu \u201cmanipulieren\u201d und die \u00c4nderung der Ausgabe zu messen. Es wird keine Transparenz des Modells vorausgesetzt.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"beispiel\">Beispiel<\/h4>\n\n\n\n<p>Vorhersagemodell \u00fcber die Entwicklung von Bluthochdruck auf der Grundlage von kardiorespiratorischen Fitnessdaten&nbsp;<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeiit-von-KI_Grafik-3.png\" data-rel=\"lightbox-image-2\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1010\" height=\"1024\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeiit-von-KI_Grafik-3-1010x1024.png\" alt=\"\" class=\"wp-image-5368759\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeiit-von-KI_Grafik-3-1010x1024.png 1010w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeiit-von-KI_Grafik-3-296x300.png 296w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeiit-von-KI_Grafik-3-768x778.png 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeiit-von-KI_Grafik-3.png 1181w\" sizes=\"auto, (max-width: 1010px) 100vw, 1010px\" \/><\/a><figcaption class=\"wp-element-caption\">Abb. 3: Permutation Feature Importance. Quelle: <a href=\"https:\/\/bmcmedinformdecismak.biomedcentral.com\/articles\/10.1186\/s12911-019-0874-0\">On the interpretability of machine learning-based model for predicting hypertension<\/a><\/figcaption><\/figure>\n\n\n\n<p>Hier sieht man z. B., dass das Alter das wichtigste Feature ist. Erst dann folgen Features wie systolischer Blutdruck in der Ruhe und maximaler diastolischer Blutdruck. Diese Informationen k\u00f6nnen jetzt mit Expertenwissen abgeglichen werden. Man wei\u00df jetzt, dass das Alter ein wichtiger Faktor f\u00fcr das Modell ist, und es ist sinnvoll, die Modellperformanz in Abh\u00e4ngigkeit vom Alter zu betrachten.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"c-shapley-values\">c) Shapley Values<\/h3>\n\n\n\n<p>Die Erkl\u00e4rmethode Shapley Values eignet sich, um die Vorhersage f\u00fcr einzelne Datenpunkte zu erl\u00e4utern. Hierbei wird die Vorhersage \u201cfair\u201d auf die einzelnen Features aufgeteilt, um zu erkl\u00e4ren, wie die Vorhersagen des Modells zustande gekommen sind.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"konzept\">Konzept<\/h4>\n\n\n\n<p>Shapley Values kommen eigentlich aus der Spieltheorie: Man nimmt an, dass einige Spieler ein kooperatives Spiel spielen und ein Preisgeld erhalten. Wie soll dieses Preisgeld fair aufgeteilt werden? Die Shapley-Value-Methode bietet hier eine L\u00f6sung: Erst werden alle m\u00f6glichen Kombinationen aus Spielern inklusive resultierendem Preisgeld simuliert. Dann wird f\u00fcr jede Konstellation verglichen: Wie hoch ist das Preisgeld mit oder ohne diesen Spieler? Die durchschnittliche Differenz im Preisgeld ist dann der faire Anteil f\u00fcr diesen Spieler.<\/p>\n\n\n\n<p>Das Prinzip l\u00e4sst sich auch auf Machine Learning \u00fcbertragen: Die \u201cSpieler\u201d sind die einzelnen Featurewerte f\u00fcr einen bestimmten Datensatz. Das \u201cPreisgeld\u201d ist die Vorhersage des Modells, die es fair unter den Featurewerten aufzuteilen gilt. Es gibt noch eine Nuance zu beachten: Nicht die Vorhersage wird nicht komplett aufgeteilt, sondern die Differenz zur mittleren Vorhersage im gesamten Datensatz. Somit interpretiert man mit Shapley Values, warum genau dieser Datensatz eine andere Vorhersage hat als die Daten im Mittel haben.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"anwendungsgebiete\">Anwendungsgebiete<\/h4>\n\n\n\n<p>Shapley Values haben ein breites Einsatzgebiet: Neben Tabellendaten lassen sie sich auch f\u00fcr Bilddaten und Textdaten benutzen. Shapley Values k\u00f6nnen (zumindest bei Anwendung auf Tabellendaten) \u00fcber Datens\u00e4tze hinweg aggregiert werden. Somit erlauben sie Interpretationen \u00fcber die gesamte Verteilung der Daten des Modells, z. B. hinsichtlich Feature Effects und Wichtigkeit der Features.&nbsp;<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"beispiel\">Beispiel<\/h4>\n\n\n\n<p>In folgendem Beispiel wurde ein Machine Learning Modell trainiert, das die Anzahl t\u00e4glich ausgeliehener Fahrr\u00e4der bei einem Fahrradverleih vorhersagt. Als Features wurden kalendarische Informationen wie Monat und Wochentag und Wetter benutzt. Ziel ist, die Vorhersage von 2.409 Fahrr\u00e4dern f\u00fcr einen bestimmten Tag im Oktober, an dem es regnerisch war, zu erkl\u00e4ren. Sie liegt um 2.108 Fahrr\u00e4der unter der durchschnittlichen Vorhersage. Man sieht, dass vor allem die hohe Luftfeuchtigkeit von 90 % und das regnerische Wetter f\u00fcr diese niedrige Vorhersage verantwortlich waren (Abbildung 4). Es gibt aber mit der f\u00fcr Oktober milden Temperatur von 17 \u00b0C auch einen Faktor, der einen positiven Einfluss auf die Vorhersage hatte. Addiert man die Shapley Values f\u00fcr die Features, kommt man auf die Differenz von 2.108.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4.png\" data-rel=\"lightbox-image-3\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"732\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4-1024x732.png\" alt=\"\" class=\"wp-image-5368760\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4-1024x732.png 1024w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4-300x214.png 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4-768x549.png 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4-1536x1097.png 1536w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-4.png 2048w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><figcaption class=\"wp-element-caption\">Abb. 4: Shapely Values. Quelle: <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/shapley.html\">Interpretable Machine Learning<\/a>&nbsp;<\/figcaption><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"d-counterfactual-explanations\">d) Counterfactual Explanations<\/h3>\n\n\n\n<p>Counterfactual Explanations sind \u201cWas-w\u00e4re-wenn\u201d-Erkl\u00e4rungen, die aufzeigen, welche Featurewerte ge\u00e4ndert werden m\u00fcssten, damit das Machine-Learning-Modell zu einer anderen Vorhersage k\u00e4me. \u00c4hnlich wie Shapley Values eignet sich diese Methode, um die Vorhersage einzelner Datenpunkte zu erkl\u00e4ren.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"konzept\">Konzept<\/h4>\n\n\n\n<p>Die Vorhersage muss vom Nutzer ausgew\u00e4hlt werden. Besagt z. B. ein Diagnosetool, dass ein Patient wahrscheinlich Krebs hat, w\u00fcrde man Counterfactuals erzeugen f\u00fcr die gegens\u00e4tzliche Klassifikation \u201ckein Krebs\u201d. Eine Counterfactual-Erkl\u00e4rung k\u00f6nnte sein: Falls ein bestimmter Blutwert kleiner w\u00e4re, dann w\u00e4re die Diagnose \u201cgesund\u201d gewesen.<\/p>\n\n\n\n<p>Es gibt verschiedene Algorithmen, um Counterfactual-Erkl\u00e4rungen zu finden. Theoretisch kann aber auch ein Mensch Counterfactuals erzeugen, indem er z. B. mit den Eingaben in einem KI-Tool \u201cspielt\u201d und versucht, die Ausgabe zu ver\u00e4ndern. Counterfactual Explanations sind somit auch f\u00fcr Laien leichter verst\u00e4ndlich. Allerdings ist es immer m\u00f6glich, beliebig viele Counterfactual-Erkl\u00e4rungen f\u00fcr eine Modellvorhersage zu erstellen.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"beispiel\">Beispiel<\/h4>\n\n\n\n<p>Kreditw\u00fcrdigkeit: Eine Person mit bestimmten Attributen (Alter, Geschlecht, Job, Wohnung, Erspartes) beantragt einen Kredit in einer bestimmten H\u00f6he, mit einer bestimmten Dauer und aus einem bestimmten Grund. <\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5.png\" data-rel=\"lightbox-image-4\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"142\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5-1024x142.png\" alt=\"\" class=\"wp-image-5368761\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5-1024x142.png 1024w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5-300x42.png 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5-768x107.png 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5-1536x214.png 1536w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-5.png 1568w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><\/figure>\n\n\n\n<p>Das Modell berechnet die Wahrscheinlichkeit, dass der Kredit zur\u00fcckgezahlt wird. Die Person hat danach nur eine 24-prozentige Wahrscheinlichkeit, den Kredit zur\u00fcckzuzahlen. Was m\u00fcsste anders sein, damit diese Wahrscheinlichkeit bei mindestens 50 % liegt? Hier sind zwei verschiedene Counterfactuals:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-6.png\" data-rel=\"lightbox-image-5\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"772\" height=\"274\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-6.png\" alt=\"\" class=\"wp-image-5368762\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-6.png 772w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-6-300x106.png 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-6-768x273.png 768w\" sizes=\"auto, (max-width: 772px) 100vw, 772px\" \/><\/a><\/figure>\n\n\n\n<p>W\u00e4re die Kundin in einem \u201cskilled job&#8220; und die Kreditdauer 20 Monate k\u00fcrzer, so w\u00e4re die Kreditw\u00fcrdigkeit h\u00f6her. W\u00e4re die Person ein drei Jahre j\u00fcngerer Mann und die Kreditdauer 24 Monate k\u00fcrzer, h\u00e4tte sie den Kredit auch erhalten. Auch bei einem &#8222;unskilled job&#8220;. Es zeigt sich, dass dieser Algorithmus Frauen diskriminiert.&nbsp;<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"e-saliency-maps-lrp-gradcam-integrated-gradient-und-co\">e) Saliency Maps: LRP, GradCAM, Integrated Gradient und Co<\/h3>\n\n\n\n<p>Saliency Maps markieren Regionen in Bildern, die wichtig f\u00fcr die Vorhersage von Bilderkennungsalgorithmen basierend auf Deep Learning waren.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"konzept\">Konzept<\/h4>\n\n\n\n<p>Saliency Maps sind sehr n\u00fctzlich, um zu verstehen, warum das Modell das Falsche gelernt hat. Speziell aus der Medizin gibt es viele Beispiele, in denen man erkennen konnte, dass das Modell \u201cAbk\u00fcrzungen\u201d gelernt hat, die aber nicht hilfreich sind. Diese Fehler waren aber nicht an der Performanz des Modells zu erkennen.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"beispiel\">Beispiel<\/h4>\n\n\n\n<p>Analyse von Bildern, die zur Hautkrebs-Vorsorge aufgenommen wurden<\/p>\n\n\n\n<p>Durch Saliency Maps l\u00e4sst sich erkennen, dass ein Neural Network sich auf Markierungen st\u00fctzt, die das medizinische Personal im Bild gemacht hat, um Melanome zu klassifizieren (Abbildung 5). Das ist nat\u00fcrlich unerw\u00fcnscht, denn hier flie\u00dft bereits indirekt eine Beurteilung ein. Verd\u00e4chtige Stellen werden eher markiert und vermessen als unverd\u00e4chtige.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-7-compress.jpg\" data-rel=\"lightbox-image-6\" data-rl_title=\"\" data-rl_caption=\"\" title=\"\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"666\" src=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-7-compress-1024x666.jpg\" alt=\"\" class=\"wp-image-5379884\" srcset=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-7-compress-1024x666.jpg 1024w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-7-compress-300x195.jpg 300w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-7-compress-768x500.jpg 768w, https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2022\/02\/Interpretierbarkeit-von-KI_Grafik-7-compress.jpg 1200w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/a><figcaption class=\"wp-element-caption\">Abb. 5: Saliency Maps. Quelle: <a href=\"https:\/\/jamanetwork.com\/journals\/jamadermatology\/fullarticle\/2740808\">Association Between Surgical Skin Markings in Dermoscopic Images and Diagnostic Performance of a Deep Learning Convolutional Neural Network for Melanoma Recognition<\/a><\/figcaption><\/figure>\n\n\n\n<p>Saliency Maps sind sehr n\u00fctzlich, um Fehler zu erkennen. Dies gilt vor allem w\u00e4hrend des Entwicklungsprozesses. Es gibt sehr viele Methoden in dieser Kategorie, z. B. LRP, GradCAM, Vanilla Gradient, Integrated Gradient, DeepLift, DeepTaylor etc. Die Methoden haben gemein, dass sie den Gradienten (die mathematische Ableitung) der Modellvorhersage bez\u00fcglich der Input-Pixel nutzen. Einfacher gesagt: Man misst, wie sensitiv die Modellvorhersage bez\u00fcglich der \u00c4nderungen an den Pixeln ist. Je h\u00f6her, desto wichtiger der Pixel. Manche Methoden unterscheiden, ob eine \u00c4nderung der Pixelintensit\u00e4t die Vorhersage negativ oder positiv verschiebt. Dabei sind Saliency Maps selbst wiederum Bilder, die \u00fcber die zu klassifizierenden Bilder gelegt werden, um die f\u00fcr die Vorhersage wichtigen Stellen zu markieren.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"f-weitere-methoden-speziell-fur-deep-learning\">f) Weitere Methoden speziell f\u00fcr Deep Learning<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Adversarial Attacks<\/strong><br>Das sind spezielle Datens\u00e4tze, die Modelle zu einer Fehlklassifikation verleiten. Zum Beispiel kann man an Bildern leichte \u00c4nderungen an den Pixeln vornehmen. Das Bild sieht f\u00fcr einen Menschen normal aus, z. B. sieht man einen Hund darauf. Aber die Klassifikation ist dann schlicht falsch.<br><\/li>\n\n\n\n<li><strong>Influential Instances<\/strong><br>Mithilfe dieser Technik werden die Trainingsdatens\u00e4tze identifiziert, die f\u00fcr die Klassifikation oder Vorhersage des neuronalen Netzwerks am wichtigsten waren.<\/li>\n<\/ul>\n\n\n\n<p>Insgesamt bietet dieser Artikel nur einen ersten Einblick in und \u00fcber die verf\u00fcgbaren Techniken. Die Vielfalt ist noch viel gr\u00f6\u00dfer und erst die Zeit wird zeigen, was sich als Standard herausstellt.&nbsp;<\/p>\n\n\n\n<h2 aria-label=\"5. Regulatorisches\" id=\"5-regulatorische-betrachtung\">5. Regulatorische Betrachtung<\/h2>\n\n\n\n<p>Das europ\u00e4ische Medizinprodukterecht stellt keine spezifischen Anforderungen an die Anwendung der k\u00fcnstlichen Intelligenz oder gar die Interpretierbarkeit von Modellen. Allerdings verpflichtet das Medizinprodukterecht die Hersteller zu Folgendem:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Entwicklung nach Stand der Technik<\/li>\n\n\n\n<li>Bestm\u00f6gliches Nutzen-Risiko-Verh\u00e4ltnis<\/li>\n\n\n\n<li>Sicherheit der Produkte<\/li>\n\n\n\n<li>Wiederholbarkeit der Ergebnisse<\/li>\n<\/ul>\n\n\n\n<p>Die oben vorgestellten Methoden entsprechen dem Stand der Technik. Sie tragen dazu bei, Gef\u00e4hrdungen zu entdecken und damit das Risiko zu minimieren und das Risiko-Nutzen-Verh\u00e4ltnis zu verbessern.<\/p>\n\n\n\n<p>Daraus leitet sich ab: ML-basierte Medizinprodukte, die die Methoden zur Interpretierbarkeit ignorieren, entsprechen also nicht dem Stand der Technik. Das gilt zumindest f\u00fcr die Medizinprodukte, deren ML-Modelle einen Einfluss auf die Sicherheit, die Leistungsf\u00e4higkeit und den klinischen Nutzen haben.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"6-fazit\">6. Fazit<\/h2>\n\n\n\n<p>Maschinelles Lernen hat aufgrund der hohen Leistungsf\u00e4higkeit Einzug in die MedTech-Branche gehalten. Das gilt vor allem f\u00fcr die Bild- und Texterkennung. Die FDA und die europ\u00e4ischen Beh\u00f6rden haben derartige Systeme bereits zugelassen. <\/p>\n\n\n\n<p>Es ist zu erwarten, dass die MedTech-Branche k\u00fcnftig immer h\u00e4ufiger auf maschinelles Lernen setzen wird. Doch genau das kann auch zu Problemen f\u00fchren: KI, deren Modelle nicht mehr nachzuvollziehen sind, kann f\u00fcr Patientinnen und Patienten gef\u00e4hrlich werden. M\u00f6glichen Problemen sollten Hersteller fr\u00fchzeitig entgegenwirken. Hierbei k\u00f6nnen unter anderem die Methoden der Interpretierbarkeit helfen.&nbsp;<\/p>\n\n\n\n<p>Interpretierbarkeit ist w\u00e4hrend der Entwicklungsphase genauso n\u00fctzlich wie bei der Post-Market Surveillance. Bei dieser sollten die Hersteller genau darauf achten, wie gut die Methode funktioniert \u2013 und ob Endanwender die Erkl\u00e4rung auch verstehen k\u00f6nnen.<\/p>\n\n\n\n<h2 aria-label=\"7. Ressourcen\" id=\"7-weiterfuhrende-ressourcen\">7. Weiterf\u00fchrende Ressourcen<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/www.johner-institut.de\/ai-guideline\/\">KI-Leitfaden<\/a> des Johner Instituts<\/li>\n\n\n\n<li>Blog: <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/regulatorische-anforderungen-an-medizinprodukte-mit-machine-learning\/\">Regulatorische Anforderungen an Medizinprodukte mit Machine Learning<\/a><\/li>\n\n\n\n<li>Blog: <a href=\"https:\/\/www.johner-institut.de\/blog\/iec-62304-medizinische-software\/validierung-von-machine-learning-libraries\/\">Validierung von Machine Learning Libraries<\/a><\/li>\n\n\n\n<li>Blog: <a href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/kuenstliche-intelligenz-in-der-medizin\/\">K\u00fcnstliche Intelligenz in der Medizin<\/a><\/li>\n\n\n\n<li>Lerneinheiten &#8222;K\u00fcnstliche Intelligenz&#8220; im <a href=\"https:\/\/www.johner-institut.de\/auditgarant\/\">Auditgarant<\/a><\/li>\n\n\n\n<li>Seminar <a href=\"https:\/\/www.johner-institut.de\/seminare\/weitere-seminare\/kuenstliche-intelligenz\/\">KI-Anwendungen gesetzeskonform entwickeln<\/a><\/li>\n\n\n\n<li>Buch: <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/\">Interpretable Machine Learning<\/a><\/li>\n<\/ul>\n\n\n\n<div style=\"height:82px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<hr class=\"wp-block-separator has-css-opacity\"\/>\n\n\n\n<p>Dieser Beitrag wurde initial von <a href=\"https:\/\/twitter.com\/ChristophMolnar\">Christoph Molnar<\/a>, Experte f\u00fcr Interpretierbarkeit im maschinellen Lernen, verfasst. Sein Buch <a href=\"https:\/\/christophm.github.io\/interpretable-ml-book\/\">Interpretable Machine Learning<\/a> steht auf seiner Website zur Verf\u00fcgung.<br><\/p>\n\n\n\n<hr class=\"wp-block-separator has-css-opacity\"\/>\n\n\n\n<p><em>Das Johner Institut hilft Ihnen gerne dabei, Ihre KI-Medizinprodukte rasch in den Markt zu bekommen und dabei deren Sicherheit und Nutzen zu gew\u00e4hrleisten. Wie genau, erfahren Sie in einem <a href=\"https:\/\/www.johner-institut.de\/kontakt\/\" target=\"_blank\" rel=\"noreferrer noopener\">kostenlosen Expertengespr\u00e4ch<\/a>.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Dass k\u00fcnstliche Intelligenz (KI oder AI) ein enormes Potenzial f\u00fcr die Medizin birgt, haben viele Hersteller bereits erkannt. Was aber, wenn die Schl\u00fcsse der KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind? Ein reales und akutes Problem, bei dem das Konzept der \u201cInterpretierbarkeit von KI\u201d hilft. Die Interpretierbarkeit von maschinellem Lernen sorgt daf\u00fcr, dass KI-basierte&hellip;<\/p>\n","protected":false},"author":1,"featured_media":5368758,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"Was, wenn die Schl\u00fcsse einer KI f\u00fcr Menschen nicht mehr nachvollziehbar sind? Fehler und Sicherheitsl\u00fccken folgen. Hier hilft \"Interpretierbarkeit von KI\". Sie sorgt daf\u00fcr, dass KI-basierte Medizinprodukte nicht zur Blackbox werden. \n#KI #machinelearning","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[1108],"tags":[1065,1271,269],"ppma_author":[1210],"class_list":["post-4635573","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-regulatory-affairs","tag-grundlegende-anforderungen","tag-kuenstliche-intelligenz","tag-medizinische-software","category-1108","description-off"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens<\/title>\n<meta name=\"description\" content=\"Methoden der Interpretierbarkeit verhindern, dass Schl\u00fcsse von KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens\" \/>\n<meta property=\"og:description\" content=\"Methoden der Interpretierbarkeit verhindern, dass Schl\u00fcsse von KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/\" \/>\n<meta property=\"og:site_name\" content=\"Regulatorisches Wissen f\u00fcr Medizinprodukte\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/JohnerInstitut\/\" \/>\n<meta property=\"article:published_time\" content=\"2022-02-01T07:45:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-01-09T18:57:27+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1800\" \/>\n\t<meta property=\"og:image:height\" content=\"1200\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Prof. Dr. Christian Johner\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Prof. Dr. Christian Johner\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"24\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/\"},\"author\":{\"name\":\"Prof. Dr. Christian Johner\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/person\\\/77ee54cd54e987c0b5738d4cb4c80441\"},\"headline\":\"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens\",\"datePublished\":\"2022-02-01T07:45:00+00:00\",\"dateModified\":\"2025-01-09T18:57:27+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/\"},\"wordCount\":4138,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/01\\\/Interpretierbarkeit-von-KI_Grafik-2.jpg\",\"keywords\":[\"Grundlegende Sicherheits- und Leistungsanforderungen\",\"K\u00fcnstliche Intelligenz\",\"Medizinische Software \\\/ Medical Device Software\"],\"articleSection\":[\"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/\",\"name\":\"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/01\\\/Interpretierbarkeit-von-KI_Grafik-2.jpg\",\"datePublished\":\"2022-02-01T07:45:00+00:00\",\"dateModified\":\"2025-01-09T18:57:27+00:00\",\"description\":\"Methoden der Interpretierbarkeit verhindern, dass Schl\u00fcsse von KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/01\\\/Interpretierbarkeit-von-KI_Grafik-2.jpg\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/01\\\/Interpretierbarkeit-von-KI_Grafik-2.jpg\",\"width\":1800,\"height\":1200},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/regulatory-affairs\\\/interpretierbarkeit-ki\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Blog\",\"item\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte\",\"item\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/category\\\/regulatory-affairs\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\",\"name\":\"Regulatorisches Wissen f\u00fcr Medizinprodukte\",\"description\":\"Fachartikel zur Entwicklung und Zulassung von Medizinprodukten und weiteren regulatorischen Themen\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#organization\",\"name\":\"Johner Institut GmbH\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2015\\\/07\\\/Johner-Institut.png\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2015\\\/07\\\/Johner-Institut.png\",\"width\":1213,\"height\":286,\"caption\":\"Johner Institut GmbH\"},\"image\":{\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/JohnerInstitut\\\/\",\"https:\\\/\\\/x.com\\\/christianjohner\",\"https:\\\/\\\/www.youtube.com\\\/user\\\/JohnerInstitut\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/#\\\/schema\\\/person\\\/77ee54cd54e987c0b5738d4cb4c80441\",\"name\":\"Prof. Dr. Christian Johner\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpgab057afc2debeb41aaf55cce7e79e618\",\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpg\",\"contentUrl\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/wp-content\\\/uploads\\\/2023\\\/05\\\/Christian_Johner.jpg\",\"caption\":\"Prof. Dr. Christian Johner\"},\"description\":\"Professor Johner ist Experte f\u00fcr die Entwicklung und Zulassung von Medizinprodukten, die Software enthalten oder Software sind. Als Auditor, als Mitglied eines Normen-Komitees, als Ausbilder benannter Stellen sowie als Autor mehrerer B\u00fccher und Leitf\u00e4den tr\u00e4gt der promovierte Physiker zur Weiterentwicklung der regulatorischen Landschaft bei. Davon zeugen auch Leitf\u00e4den, die er f\u00fcr die WHO und die Benannten Stellen entwickelt hat. Sein Unternehmen, das Johner Institut, unterst\u00fctzt Medizinproduktehersteller weltweit beim Aufbau von QM-Systemen, bei der Zulassung und Pr\u00fcfung ihrer Produkte sowie bei der digitalen Transformation regulatorischer Prozesse. Es bietet Weiterbildungen wie E-Learning und Seminare an und \u00fcbernimmt f\u00fcr Hersteller Prozesse wie die \u00dcberwachung der Regularien und der Produkte im Markt. Christian Johner lehrte an mehreren Universit\u00e4ten u.a. an der Hochschule Konstanz, der Universit\u00e4t St. Gallen, der Universit\u00e4t W\u00fcrzburg sowie der Stanford University v.a. Software-Architektur, Software-Qualit\u00e4tssicherung und medizinische Informatik.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/christianjohner\\\/\",\"https:\\\/\\\/x.com\\\/christianjohner\"],\"url\":\"https:\\\/\\\/www.johner-institut.de\\\/blog\\\/author\\\/christian\\\/\"}]}<\/script>\n<meta name=\"copyright\" content=\"Johner Institut GmbH\" \/>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens","description":"Methoden der Interpretierbarkeit verhindern, dass Schl\u00fcsse von KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/","og_locale":"de_DE","og_type":"article","og_title":"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens","og_description":"Methoden der Interpretierbarkeit verhindern, dass Schl\u00fcsse von KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind.","og_url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/","og_site_name":"Regulatorisches Wissen f\u00fcr Medizinprodukte","article_publisher":"https:\/\/www.facebook.com\/JohnerInstitut\/","article_published_time":"2022-02-01T07:45:00+00:00","article_modified_time":"2025-01-09T18:57:27+00:00","og_image":[{"width":1800,"height":1200,"url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg","type":"image\/jpeg"}],"author":"Prof. Dr. Christian Johner","twitter_misc":{"Verfasst von":"Prof. Dr. Christian Johner","Gesch\u00e4tzte Lesezeit":"24\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#article","isPartOf":{"@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/"},"author":{"name":"Prof. Dr. Christian Johner","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/person\/77ee54cd54e987c0b5738d4cb4c80441"},"headline":"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens","datePublished":"2022-02-01T07:45:00+00:00","dateModified":"2025-01-09T18:57:27+00:00","mainEntityOfPage":{"@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/"},"wordCount":4138,"commentCount":0,"publisher":{"@id":"https:\/\/www.johner-institut.de\/blog\/#organization"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#primaryimage"},"thumbnailUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg","keywords":["Grundlegende Sicherheits- und Leistungsanforderungen","K\u00fcnstliche Intelligenz","Medizinische Software \/ Medical Device Software"],"articleSection":["Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/","url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/","name":"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens","isPartOf":{"@id":"https:\/\/www.johner-institut.de\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#primaryimage"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#primaryimage"},"thumbnailUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg","datePublished":"2022-02-01T07:45:00+00:00","dateModified":"2025-01-09T18:57:27+00:00","description":"Methoden der Interpretierbarkeit verhindern, dass Schl\u00fcsse von KI f\u00fcr den Menschen nicht mehr nachvollziehbar sind.","breadcrumb":{"@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#primaryimage","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg","width":1800,"height":1200},{"@type":"BreadcrumbList","@id":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/interpretierbarkeit-ki\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Blog","item":"https:\/\/www.johner-institut.de\/blog\/"},{"@type":"ListItem","position":2,"name":"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte","item":"https:\/\/www.johner-institut.de\/blog\/category\/regulatory-affairs\/"},{"@type":"ListItem","position":3,"name":"Interpretierbarkeit von KI: Blick in die Blackbox des maschinellen Lernens"}]},{"@type":"WebSite","@id":"https:\/\/www.johner-institut.de\/blog\/#website","url":"https:\/\/www.johner-institut.de\/blog\/","name":"Regulatorisches Wissen f\u00fcr Medizinprodukte","description":"Fachartikel zur Entwicklung und Zulassung von Medizinprodukten und weiteren regulatorischen Themen","publisher":{"@id":"https:\/\/www.johner-institut.de\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.johner-institut.de\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/www.johner-institut.de\/blog\/#organization","name":"Johner Institut GmbH","url":"https:\/\/www.johner-institut.de\/blog\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/07\/Johner-Institut.png","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2015\/07\/Johner-Institut.png","width":1213,"height":286,"caption":"Johner Institut GmbH"},"image":{"@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/JohnerInstitut\/","https:\/\/x.com\/christianjohner","https:\/\/www.youtube.com\/user\/JohnerInstitut"]},{"@type":"Person","@id":"https:\/\/www.johner-institut.de\/blog\/#\/schema\/person\/77ee54cd54e987c0b5738d4cb4c80441","name":"Prof. Dr. Christian Johner","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpgab057afc2debeb41aaf55cce7e79e618","url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","contentUrl":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","caption":"Prof. Dr. Christian Johner"},"description":"Professor Johner ist Experte f\u00fcr die Entwicklung und Zulassung von Medizinprodukten, die Software enthalten oder Software sind. Als Auditor, als Mitglied eines Normen-Komitees, als Ausbilder benannter Stellen sowie als Autor mehrerer B\u00fccher und Leitf\u00e4den tr\u00e4gt der promovierte Physiker zur Weiterentwicklung der regulatorischen Landschaft bei. Davon zeugen auch Leitf\u00e4den, die er f\u00fcr die WHO und die Benannten Stellen entwickelt hat. Sein Unternehmen, das Johner Institut, unterst\u00fctzt Medizinproduktehersteller weltweit beim Aufbau von QM-Systemen, bei der Zulassung und Pr\u00fcfung ihrer Produkte sowie bei der digitalen Transformation regulatorischer Prozesse. Es bietet Weiterbildungen wie E-Learning und Seminare an und \u00fcbernimmt f\u00fcr Hersteller Prozesse wie die \u00dcberwachung der Regularien und der Produkte im Markt. Christian Johner lehrte an mehreren Universit\u00e4ten u.a. an der Hochschule Konstanz, der Universit\u00e4t St. Gallen, der Universit\u00e4t W\u00fcrzburg sowie der Stanford University v.a. Software-Architektur, Software-Qualit\u00e4tssicherung und medizinische Informatik.","sameAs":["https:\/\/www.linkedin.com\/in\/christianjohner\/","https:\/\/x.com\/christianjohner"],"url":"https:\/\/www.johner-institut.de\/blog\/author\/christian\/"}]}},"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/01\/Interpretierbarkeit-von-KI_Grafik-2.jpg","jetpack-related-posts":[{"id":1776205,"url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/kuenstliche-intelligenz-in-der-medizin\/","url_meta":{"origin":4635573,"position":0},"title":"K\u00fcnstliche Intelligenz in der Medizin","author":"Dr. Tina Priewasser","date":"15. Januar 2025","format":false,"excerpt":"Immer mehr Medizinprodukte nutzen k\u00fcnstliche Intelligenz, um Krankheitsbilder pr\u00e4ziser zu diagnostizieren und Patienten wirksamer zu behandeln. Weiterf\u00fchrende Informationen Bitte beachten Sie den \u00dcbersichtsartikel mit den Definitionen der Begriffe \"k\u00fcnstliche Intelligenz\", \"Machine Learning\" und \"Neuronale Netzwerke\". Videokurs zur k\u00fcnstlichen Intelligenz Unser Auditgarant bietet eine umfangreiche Unterst\u00fctzung mit mehr als 25 Videotrainings\u2026","rel":"","context":"In &quot;Gesundheitswesen &amp; Health IT&quot;","block_context":{"text":"Gesundheitswesen &amp; Health IT","link":"https:\/\/www.johner-institut.de\/blog\/category\/gesundheitswesen\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=1050%2C600&ssl=1 3x"},"classes":[]},{"id":5379662,"url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/ai-act-eu-ki-verordnung\/","url_meta":{"origin":4635573,"position":1},"title":"Was der AI Act f\u00fcr Medizinprodukte- und IVD-Hersteller bedeutet","author":"Prof. Dr. Christian Johner","date":"20. Oktober 2025","format":false,"excerpt":"Die\u00a0EU-KI-Verordnung\u00a0(EU AI Act) ist ver\u00f6ffentlicht. Viele Hersteller von Medizinprodukten und IVD sowie andere Akteure im Gesundheitswesen stehen vor der gro\u00dfen Aufgabe,\u00a0den \u00fcber 140 Seiten umfassenden Gesetzestext zu verstehen und die Anforderungen zu erf\u00fcllen. Beachten Sie: Verst\u00f6\u00dfe gegen den AI Act werden mit Geldstrafen in H\u00f6he von bis zu 7 %\u2026","rel":"","context":"In &quot;Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte&quot;","block_context":{"text":"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte","link":"https:\/\/www.johner-institut.de\/blog\/category\/regulatory-affairs\/"},"img":{"alt_text":"Der AI Act betrifft IVDs und Medizinprodukte, die Verfahren der k\u00fcnstlichen Intelligenz, insbesondere des Machine Learnings verwenden","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2024\/10\/AI-Act-Medizinprodukte.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2024\/10\/AI-Act-Medizinprodukte.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2024\/10\/AI-Act-Medizinprodukte.jpg?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2024\/10\/AI-Act-Medizinprodukte.jpg?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2024\/10\/AI-Act-Medizinprodukte.jpg?resize=1050%2C600&ssl=1 3x"},"classes":[]},{"id":5376410,"url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/klinische-studien-bei-kuenstlicher-intelligenz\/","url_meta":{"origin":4635573,"position":2},"title":"Wann lassen sich bei Produkten mit k\u00fcnstlicher Intelligenz klinische Studien vermeiden?","author":"Dr. Nadine Jurrmann","date":"10. Oktober 2023","format":false,"excerpt":"F\u00fcr Hersteller ist die Antwort auf die Frage relevant, ob und wann beim Einsatz k\u00fcnstlicher Intelligenz in Medizinprodukten klinische Studien notwendig sind. Denn davon h\u00e4ngen die Dauer und die Kosten ab, um diese Produkte in den Markt zu bringen. Die gute Nachricht vorweg: Es gibt F\u00e4lle, in denen die Hersteller\u2026","rel":"","context":"In &quot;Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte&quot;","block_context":{"text":"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte","link":"https:\/\/www.johner-institut.de\/blog\/category\/regulatory-affairs\/"},"img":{"alt_text":"magisches Dreieck bei klinischen Studien","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/09\/magisches-dreieck-klinische-studien.png?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":5381085,"url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/anwendbarkeit-des-ai-acts\/","url_meta":{"origin":4635573,"position":3},"title":"Anwendbarkeit des AI Acts f\u00fcr (Hersteller als) Betreiber","author":"Prof. Dr. Christian Johner","date":"15. April 2025","format":false,"excerpt":"Dieser Artikel untersucht die Anwendbarkeit des AI Acts f\u00fcr Hersteller von Medizinprodukten und IVD, die keine KI-basierten Produkte in den Verkehr bringen. Unter anderem beantwortet er die Frage, ob ein Hersteller den AI Act beachten muss, falls er ChatGPT verwendet oder zur eigenen Nutzung ein KI-System entwickelt, das Kundenr\u00fcckmeldungen klassifiziert.\u2026","rel":"","context":"In &quot;Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte&quot;","block_context":{"text":"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte","link":"https:\/\/www.johner-institut.de\/blog\/category\/regulatory-affairs\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/04\/Anwendbarkeit-AI-Act.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/04\/Anwendbarkeit-AI-Act.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/04\/Anwendbarkeit-AI-Act.jpg?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/04\/Anwendbarkeit-AI-Act.jpg?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/04\/Anwendbarkeit-AI-Act.jpg?resize=1050%2C600&ssl=1 3x"},"classes":[]},{"id":3534207,"url":"https:\/\/www.johner-institut.de\/blog\/regulatory-affairs\/regulatorische-anforderungen-an-medizinprodukte-mit-machine-learning\/","url_meta":{"origin":4635573,"position":4},"title":"Regulatorische Anforderungen an Medizinprodukte mit Machine Learning","author":"Prof. Dr. Christian Johner","date":"29. Januar 2026","format":false,"excerpt":"Hersteller, die Machine Learning (ML) in ihren Medizinprodukten oder IVD verwenden, m\u00fcssen viele regulatorische Anforderungen erf\u00fcllen. Dieser Artikel gibt eine \u00dcbersicht \u00fcber die wichtigsten Regularien und Best Practices f\u00fcr die Umsetzung. Er erspart Ihnen somit das Recherchieren und Lesen von hunderten Seiten und hilft Ihnen, sich perfekt auf das n\u00e4chste\u2026","rel":"","context":"In &quot;Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte&quot;","block_context":{"text":"Regulatory Affairs: Regulatorische Anforderungen an Medizinprodukte","link":"https:\/\/www.johner-institut.de\/blog\/category\/regulatory-affairs\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2019\/01\/layer-wise-relevance-propagation.png?resize=1050%2C600&ssl=1 3x"},"classes":[]},{"id":5380672,"url":"https:\/\/www.johner-institut.de\/blog\/qualitaetsmanagement-iso-13485\/iso-iec-42001\/","url_meta":{"origin":4635573,"position":5},"title":"ISO\/IEC 42001: KI-Managementsysteme","author":"Claudia Volk","date":"25. Februar 2025","format":false,"excerpt":"Die ISO\/IEC 42001 tr\u00e4gt den Titel \u201eInformation technology \u2013 Artificial intelligence \u2013 Management system\u201c. Erste Medizinproduktehersteller haben sich auf den Weg gemacht, sich nach dieser Norm zertifizieren zu lassen. Doch sind die Aufw\u00e4nde daf\u00fcr gerechtfertigt? Hilft die ISO\/IEC 42001 dabei, die Anforderungen des AI Act zu erf\u00fcllen? Antworten gibt dieser\u2026","rel":"","context":"In &quot;Qualit\u00e4tsmanagement &amp; ISO 13485&quot;","block_context":{"text":"Qualit\u00e4tsmanagement &amp; ISO 13485","link":"https:\/\/www.johner-institut.de\/blog\/category\/qualitaetsmanagement-iso-13485\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/02\/ISO-IEC-42001-2023.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/02\/ISO-IEC-42001-2023.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/02\/ISO-IEC-42001-2023.jpg?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/02\/ISO-IEC-42001-2023.jpg?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/02\/ISO-IEC-42001-2023.jpg?resize=1050%2C600&ssl=1 3x, https:\/\/i0.wp.com\/www.johner-institut.de\/blog\/wp-content\/uploads\/2025\/02\/ISO-IEC-42001-2023.jpg?resize=1400%2C800&ssl=1 4x"},"classes":[]}],"jetpack_shortlink":"https:\/\/wp.me\/pavawf-jrVj","jetpack_sharing_enabled":true,"authors":[{"term_id":1210,"user_id":1,"is_guest":0,"slug":"christian","display_name":"Prof. Dr. Christian Johner","avatar_url":{"url":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg","url2x":"https:\/\/www.johner-institut.de\/blog\/wp-content\/uploads\/2023\/05\/Christian_Johner.jpg"},"0":null,"1":"","2":"","3":"","4":"","5":"","6":"","7":"","8":"","9":""}],"_links":{"self":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/4635573","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/comments?post=4635573"}],"version-history":[{"count":36,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/4635573\/revisions"}],"predecessor-version":[{"id":5379885,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/posts\/4635573\/revisions\/5379885"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/media\/5368758"}],"wp:attachment":[{"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/media?parent=4635573"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/categories?post=4635573"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/tags?post=4635573"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/www.johner-institut.de\/blog\/wp-json\/wp\/v2\/ppma_author?post=4635573"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}