Krebsdiagnose, Kindeswohl: Was darf die KI entscheiden – und was nicht?

Das neue digitale Sprachmodell ist in aller Munde, es löst euphorische Zustimmung, aber auch Ängste aus. Kürzlich kam aus Kalifornien, der Hochburg der KI, der Vorschlag, sich auf ein sechsmonatiges Moratorium bei der Entwicklung von Sprach-KI zu einigen. Ein Befreiungsschlag?Mein erster Impuls war: Ein Pausenknopf wäre gut, weil die Geschwindigkeit zu hoch war. Aber sowohl manche der Personen hinter dem Aufruf als auch manche Positionen sind problematisch. Elon Musk einerseits, der selbst in den Wettbewerb eingestiegen ist. Das Future of Life Institute andererseits, welches transhumanistischen Positionen nahesteht, die unter dem Schlagwort „existenzielles Risiko“ auf langfristige Gefahren für die Menschheit fokussieren. Viele Unterzeichner, gerade aus der Informatik, teilen diese Positionen nicht, weisen aber zu Recht auf mangelnde Kontrolle, mögliche Diskriminierungen durch KI-Systeme und vieles mehr hin. Letztlich war es ein Zeichen, welches zumindest Aufmerksamkeit auf Probleme gerichtet hat.Sie erwähnten die Transhumanisten. Der Mensch sei von Natur aus künstlich, heißt es in einer paradoxen Sentenz des Philosophen Helmuth Plessner, und es sei „ein rätselhaftes Verhältnis zwischen Mensch und Maschine“. Sind wir Letzterem mit ChatGPT nähergekommen? Das warder Lackmus-Test des Computer-Papstes Alan Turing, der fragte: Wie unterscheidet man zwischen der Kommunikation von Mensch und Maschine?Menschen sind immer schon mit ihrer technologischen Umgebung verbunden. Spätestens seit der Menschen die Erdgeschichte prägt, also dem Anthropozän, ist auch klar, dass die Unterscheidung zwischen Natur und Technik so nicht mehr steht. Der Bezug zum von Ihnen erwähnte Turing-Test ist naheliegend, weil es bei den von ChatGPT produzierten Texten oftmals nicht ersichtlich ist, dass eine Maschine sie produziert hat. Aber: Die Ununterscheidbarkeit sagt wenig über die Fähigkeiten der Maschine aus, mehr über die menschliche Wahrnehmung.Sie meinen, dass wir dazu neigen, in intelligenten Maschinen unseresgleichen zu erkennen?Ja. Der Turing-Test vermischt Sprachperformanz mit Denkkompetenz. Dass der Output von ChatGPT sich kaum von Texten unterscheiden lässt, die Menschen geschrieben haben, heißt nicht, dass ChatGPT denken kann oder Texte versteht. Man muss sich klarmachen: ChatGPT produziert Texte auf der Basis statistischer Wortmuster, welches aus Datenmaterial gelernt wurde. Es geht um plausible Muster aus Worten und Sätzen, nicht um Verständnis der Inhalte.Was macht den Menschen nun besonders? Seine Handlungskompetenz – oder seine Fehlerhaftigkeit?Alles davon. Oder andersherum: Nichts an ChatGPT ist menschlich, es ist eine Maschine, welche auf Basis von Texten trainiert wurde, die Menschen verfasst haben. Daraus erkennt und reproduziert es Sprachmuster. Auch wenn es Nutzer:innen so erscheinen mag: ChatGPT versteht nichts und hat kein Bewusstsein, keine Gefühle, keine Empathie. Es kann nur Sprache produzieren, die den Anschein erweckt, dies alles zu besitzen.Der Ethikrat führt in seiner Stellungnahme Analysekriterien ein, die den Einsatz von maschinellen Systemen klassifizieren: Erweiterung, Verminderung, Ersetzung. Fließende Grenzen … Wo gilt was?Wir beschreiben hier zwei Dimensionen: Wenn wir KI einsetzen, delegieren wir Tätigkeiten, welche vorher Menschen vorbehalten waren, an Maschinen – dies kann bis zu einer vollständigen Ersetzung des Menschen gehen. Dieses Delegieren wiederum wirkt zurück auf Menschen – und kann deren Handlungsmöglichkeiten erweitern und vermindern. Ziel eines guten Einsatzes von KI muss in allen Bereichen darin bestehen, die Handlungsmöglichkeiten von Menschen zu erweitern und nicht zu vermindern.Und Verminderung bedeutet Entwertung.Vor der Gefahr einer solchen möglichen Entwertung und Verminderung menschlicher Handlungsfähigkeit warnen wir ja. Im Gegenzug geht es jedoch auch darum, Chancen zu nutzen. Gerade in Bezug auf Wissen gibt es viele Möglichkeiten der Erweiterung menschlicher Fähigkeiten durch künstliche Intelligenz. Sie ist ein Werkzeug, welches sehr gut darin ist, Muster zu erkennen – und damit kann es unsere Erkenntnis- und Prognosefähigkeit in vielen Bereichen erweitern. Aber dafür muss KI gut gemacht sein.Es gibt Bereiche, in denen die Anwendung von KI regelrecht gefährlich werden könnte. Ein falscher Befund bei Krebsdiagnosen oder eine falsche Prognose beim Verdacht auf Kindeswohlgefährdung in einer Familie? Die WHO hat eine Warnung vor fehlerhafter Behandlung und Datenmissbrauch herausgegeben.Die WHO hat vor allem vor der Nutzung von Sprachmodellen wie ChatGPT für medizinische Informationen gewarnt. Einerseits gibt es hier Probleme mit dem Schutz sensibler Daten, die Nutzer:innen möglicherweise eingeben, andererseits Probleme mit der Qualität der Aussagen. ChatGPT ist ja kein medizinisches Expertensystem – es generiert nur plausibel klingende Texte ohne jeden Wahrheitsbezug. Daher sollte man sich nicht auf medizinische Empfehlungen von ChatGPT verlassen und auch keine sensiblen Daten eingeben.Es gibt auch viele Systeme, die Entscheidungen in der Medizin und im Sozialbereich unterstützen sollen. Wie ist es mit denen?Grundsätzlich können wir bei Vorhersagen immer zwei Arten von Fehlern machen: etwas vorhersagen, was nicht eintritt, oder etwas nicht vorhersagen, was dann aber eintritt. Je nach Kontext ist der eine oder andere Fehler schlimmer. Denken Sie an Krebsdiagnostik – lieber einmal zu früh warnen als einmal zu spät? Ein Bereich, in dem beide Fehler hochproblematisch sind, ist die Kindeswohlgefährdung. Beide Fehler hätten massive Folgen, ich nehme das Kind fälschlicherweise aus der Familie, obwohl keine Gefährdung vorliegt, oder ich belasse es dort, und das Kind wird misshandelt. Bei solch hochgradig schwierigen Entscheidungen wäre es wichtig, Entscheidungen so zu verbessern, dass insgesamt weniger Fehler passieren – und da können datenbasierte KI-Systeme helfen. Aber es zeigt sich leider, dass diese Systeme oft nicht so gut funktionieren, wie man glaubt, und dass sie oft zusätzlich diskriminieren. Das Ziel sollte darin bestehen, Technik und Mensch so zusammenspielen zu lassen, dass die bestmögliche Entscheidung herauskommt.Und wie passiert das?Zunächst geht es darum, die Technik bestmöglich zu gestalten. Ich muss auf der einen Seite für eine gute Qualität der Systeme sorgen, für eine hohe Genauigkeit, die nachweisbar ist. Und dann muss ich sicherstellen, dass unterschiedliche Personengruppen gleich gut behandelt werden. Funktioniert die Krebsdiagnostik bei heller oder dunkler Haut vergleichbar gut? Datenbasierte Entscheidungssysteme haben leider die Tendenz, gesellschaftliche Ungleichheiten und Stereotype fortzuschreiben und damit gleichzeitig unsichtbar zu machen. Da muss man aktiv entgegenwirken.Aber was ist, wenn Menschen dem System vertrauen, um sich als Entscheider zu entlasten?Um blindes Vertrauen zu verhindern, wäre es wichtig, die Grenzen der Technik deutlich zu machen. Ein Beispiel: Eine Software zur Analyse von Lungenröntgenbildern hat häufig fälschlicherweise Tuberkulose diagnostiziert. Dann kam man darauf, dass die Trainingsdaten aus Indien kamen, wo Tuberkulose weiter verbreitet ist als hier – und dadurch kam es zu den Fehlern. Das heißt: Es kommt auch darauf an, dass der Entwicklungs- und der Einsatzkontext von Software übereinstimmen, sonst kann es zu Fehlern kommen.Und wenn man sich aus Vorsicht gegen die Maschine entscheidet?Hier sind die institutionellen Rahmenbedingungen wichtig. Wie werden maschinelle Prognosen in Arbeitsabläufe eingebaut: Wer entscheidet zuerst, die Ärztin oder der Sozialfürsorger oder das maschinelle System? Wenn der menschliche Entscheider dem System folgt, sollte er dann begründen, warum er davon abweicht oder warum er seine Entscheidung annimmt? Das kann in verschiedenen Kontexten sehr unterschiedlich sein.Wichtig ist, dass man sowohl auf der technischen Seite optimiert und auf der anderen Seite auch die Rahmenbedingungen bedenkt.Ist es vorstellbar, dass die Verantwortung für eine Entscheidung künftig ganz an die Maschine delegiert wird?Maschinen können keine Verantwortung übernehmen, daher wird immer ein Mensch oder eine Institution verantwortlich sein. Irgendjemand ist auch dafür verantwortlich, dass Entscheidungen an Maschinen delegiert werden.Die EU hat eine KI-Verordnung auf den Weg gebracht. Und Samsung hat seinen Mitarbeitern verboten, ChatGPT im betrieblichen Umfeld zu nutzen.Ich kenne deren Begründung nicht, vermute aber, dass es um den Schutz von Daten und Geschäftsgeheimnissen geht. In der Tat gibt es bei ChatGPT massive Probleme mit dem Datenschutz, was Italien als Hebel für ein Verbot nutzte. Verbote sind sicher immer das letzte Mittel, aber zumindest war es ein Zeichen, zu sagen: Ihr müsst euch schon an unsere Regeln halten, wenn ihr auf den europäischen Markt wollt. Die Verbreitung der Technologie lässt sich nicht aufhalten, wohl aber einhegen. Und dafür ist ja die KI-Verordnung da. Allerdings waren da die großen Sprachmodelle nicht wirklich berücksichtigt, deswegen wurde nachjustiert.Die EU hat entschieden, diese Technologieebene nicht als „hochrisikoreich“ einzustufen. Wie sehen Sie das?Das disruptive Potenzial der Technologie ist enorm. Ich hatte, obwohl ich mich viel mit dem Thema beschäftige, das Gefühl, überrollt worden zu sein. Weniger von der Technik selbst als von Dynamik, die dadurch entsteht, dass Unternehmen halbgare Produkte auf den Markt werfen, mit Risiken und Folgen, für die keiner verantwortlich sein will. Das macht mir Sorge.Placeholder infobox-1