Warnung „AI Snake Oil“ Buch: Wie gut ist die prädiktive KI, vorhersagende Künstliche Intelligenz?

Kapoor betonte, sie seien der Ansicht, dass prädiktive KI in zahlreichen Bereichen, wie etwa in der Versicherungsbranche, im Gesundheitswesen oder in der Strafjustiz, nicht das leiste, was von den Entwicklern versprochen werde. Nach ihrer Einschätzung werde prädiktive KI häufig mit veralteten Methoden, wie zum Beispiel logistischen Regressionsmodellen (eine statistische Methode zur Vorhersage), durchgeführt, die dann als moderne KI verkauft würden. Ein Beispiel sei die Vorhersage von Bürgerkriegen, bei der Studien behaupteten, mit hoher Genauigkeit voraussagen zu können, wann und wo ein Konflikt ausbreche. Ihre Nachforschungen hätten jedoch gezeigt, dass diese Vorhersagen oft nicht reproduzierbar (wiederholbar) und damit unzuverlässig seien.

Problematische Vorhersagen bei der Auswahl von Kandidaten für Jobs oder Strafvollzug

Besonders problematisch sei nach Kapoors Ansicht, dass viele prädiktive KI-Systeme in Bereichen eingesetzt würden, in denen es um gravierende Entscheidungen gehe, etwa bei der Auswahl von Kandidaten für Jobs oder im Strafvollzug. Oft würden solche Systeme nur marginal besser als der Zufall arbeiten, obwohl sie als große technologische Fortschritte vermarktet würden. Diesen Missstand bezeichneten die Autoren provokativ als „Snake Oil“ (Schlangenöl), ein Begriff, der auf wertlose Produkte zurückgehe, die als Heilmittel angepriesen werden.

Kapoor räumte jedoch ein, dass sie und Narayanan optimistisch seien, was die generative KI (erzeugende Künstliche Intelligenz), wie etwa große Sprachmodelle (Programme wie ChatGPT, die Texte erzeugen können), betreffe. Diese Technologie habe bereits greifbare Fortschritte erzielt, besonders im Bereich der Textgenerierung und Programmierung. Allerdings betonte Kapoor, dass ein gesunder Skeptizismus gegenüber der KI wichtig sei, um zu verstehen, wo die Grenzen der Technologie lägen und welche Erwartungen unrealistisch seien.

Auch im klinischen Bereich sei Vorsicht geboten

Ein Beispiel für die überzogenen Ansprüche prädiktiver KI sei der Versuch der Firma Epic Systems, ein System zu entwickeln, das die Wahrscheinlichkeit von Sepsis (einer lebensbedrohlichen Infektion) bei Patienten voraussagen könne. Kapoor erklärte, dass Epic über Jahre hinweg behauptet habe, das System arbeite mit hoher Genauigkeit, doch eine unabhängige Studie habe gezeigt, dass die Vorhersagen kaum besser als Zufallsergebnisse gewesen seien.

Zusammenfassend erklärten Kapoor und Narayanan, sie seien der Überzeugung, dass die Begeisterung für prädiktive KI oft auf falschen Versprechungen basiere. Um die tatsächlichen Potenziale der Künstlichen Intelligenz zu nutzen, müsse man realistische Erwartungen haben und kritisch hinterfragen, was die Technologie tatsächlich leisten könne.

Das vollständige Interview ist auf Ground Truths verfügbar: AI Snake Oil – Sayash Kapoor.

Kritik an Chat GPT-4

In ihrem Blogbeitrag „GPT-4 and professional benchmarks: the wrong answer to the wrong question“ äußerten die Princeton-Computerwissenschaftler Arvind Narayanan und Sayash Kapoor auch die Erkenntnis, dass OpenAI möglicherweise einen grundlegenden Fehler in der maschinellen Lernforschung begangen habe: Testen auf Trainingsdaten, was die Ergebnisse verfälschen könnte. Sie seien der Überzeugung, dass dies die tatsächlichen Fähigkeiten von GPT-4 verzerrt darstelle, insbesondere im Hinblick auf die beruflichen Prüfungen, auf die OpenAI großen Wert gelegt habe, wie das Bar Exam (Anwaltsexamen).

Narayanan und Kapoor stellten infrage, ob die Testergebnisse von GPT-4 tatsächlich die Leistung im realen Berufsleben widerspiegelten. Sie sagten, dass das Modell in Tests auf der Programmierplattform Codeforces gezeigt habe, dass es ältere Aufgaben aus seiner Trainingszeit gut lösen könne, bei neueren Problemen jedoch scheitere. Dies lasse darauf schließen, dass GPT-4 in der Lage sei, Lösungen aus seinen Trainingsdaten zu memorisieren, anstatt neue Herausforderungen wirklich zu bewältigen.

Weiterhin vertraten sie die Ansicht, dass professionelle Prüfungen wie das Bar Exam nicht geeignet seien, um die Fähigkeiten von KI-Systemen zu messen. Diese Tests seien für Menschen entwickelt worden, deren berufliche Aufgaben wesentlich komplexer seien als standardisierte Prüfungsfragen, die KI-Modelle leichter beantworten könnten. Sie seien der Meinung, dass dies zu einer Überbewertung der tatsächlichen Anwendungsfähigkeit von GPT-4 führe.

Abschließend äußerten sie die Überzeugung, dass anstelle von standardisierten Tests besser untersucht werden sollte, wie gut KI-Modelle dabei helfen können, echte berufliche Aufgaben zu bewältigen.

Hier kann das Buch gekauft werden

Das Buch "AI Snake Oil" von Arvind Narayanan und Sayash Kapoor, das die Grenzen und übertriebenen Versprechungen der prädiktiven Künstlichen Intelligenz (vorhersagenden KI) kritisch beleuchtet, ist ab sofort in Deutschland, der Schweiz und Österreich erhältlich.

In Deutschland kann das Buch unter anderem bei Thalia für 27,99 € als gebundene Ausgabe oder für 25,49 € als eBook (elektronisches Buch) erworben werden. Hier der direkte Link: Thalia – AI Snake Oil.

Für Leserinnen und Leser aus der Schweiz ist das Buch bei Ex Libris für CHF 30,40 erhältlich. Weitere Informationen und Bestellmöglichkeiten finden Sie hier: Ex Libris – AI Snake Oil.

In Österreich kann das Buch bei Bücher Stierle für 26,99 € als eBook (elektronisches Buch) erworben werden. Zum Angebot: Bücher Stierle – AI Snake Oil.

Das Buch richtet sich an alle, die sich gegen falsche Versprechungen (unrealistische Behauptungen) der KI-Branche wappnen wollen und bietet tiefe Einblicke in die Missstände (Probleme, Schwächen) und Grenzen (Einschränkungen) der prädiktiven Künstlichen Intelligenz.