Lifestyle

KI LMU-Autoren Uribe und Maldupa im Übertreibungsmodus: Fragwürdige Studie zur ChatGPT-Nutzung - massiv überinterpretiert

KOMMENTAR München, Riga – Die Ludwig-Maximilians-Universität München (LMU) hat kürzlich eine von Dr. Sergio Uribe und Dr. Ilze Maldupa geleitete Studie veröffentlicht und über ihre Pressestelle groß verbreitet. Die Studie behauptet, dass bestimmte Signalwörter in wissenschaftlichen Arbeiten verstärkt genutzt werden und dies ein Hinweis darauf sei, dass viele dieser Arbeiten mit Hilfe von ChatGPT geschrieben wurden. Doch eine stichprobenartige Untersuchung von NETZ-TRENDS.de zeigt: Die derzeit bekannten Ergebnisse dieser Studie sind nicht nur fragwürdig, sondern massiv überdehnt.

07.09.2024
Mit diesem KI Bild schlägt Chat GPT auf Anfrage von Netz-trends vor, diesen Kommentar zu bebildern.

Wer sind die Autoren?

Dr. Sergio Uribe, Maxillofacial-Radiologe und Associate Professor an der Riga Stradins University in Lettland, sowie Dr. Ilze Maldupa, akademische Mitarbeiterin an der Fakultät für Zahnmedizin derselben Universität, sind die Köpfe hinter dieser Studie. Auffällig ist, dass Uribe an einem Forschungszentrum arbeitet, das sich selbst als „Centre of Excellence“ bezeichnet – eine Eigenbezeichnung, die genauso überdehnt wirkt wie die Schlussfolgerungen dieser Studie. Normalerweise überlässt man es doch anderen, ob etwas tatsächlich „exzellent“ ist, anstatt es sich selbst auf die Fahnen zu

Ausgangslage der LMU-Studie
Die LMU-Studie behauptet, dass bestimmte Signalwörter wie „erforschen“ (delve) in wissenschaftlichen Arbeiten, die angeblich unter Mitwirkung von ChatGPT erstellt wurden, 17-mal häufiger verwendet werden. Auch Begriffe wie „transformative“, „realm“ und „revolutionize“ sollen deutlich zugenommen haben. Diese Häufung sehen die Autoren als klaren Hinweis darauf, dass viele wissenschaftliche Arbeiten mit Hilfe der KI geschrieben werden.

Die Überprüfung durch NETZ-TRENDS.de
Um diese These zu überprüfen, gab NETZ-TRENDS.de ChatGPT die anspruchsvolle Aufgabe, die ersten Seiten einer Doktorarbeit zum Thema Zahngesundheit zu generieren. Eine Doktorarbeit ist eine anspruchsvolle Forschungsarbeit, die neue Erkenntnisse liefern soll – etwas, das sich nicht durch bloßes Kopieren und Wiedergabe von Informationen erledigen lässt. Eine gute Doktorarbeit lebt von tiefergehenden Analysen, Querverweisen und eigener Forschung, etwas, das eine KI wie ChatGPT allein nicht leisten kann.

Ergebnis: Auf den ersten 7 DIN-A4-Seiten des generierten Textes, der 2300 Wörter umfasste, kamen weder das Wort „erforschen“ noch „transformative“ vor. Dies widerspricht klar den Aussagen der LMU-Studie, die eine deutliche Häufung dieser Begriffe behauptet, da angeblich so viele wissenschaftliche Arbeiten mit Hilfe von ChatGPT erstellt werden.

Warum ChatGPT hier versagt
Eine Doktorarbeit erfordert fundierte Forschung, eigene Erkenntnisse und eine klare Struktur, die mit wissenschaftlichen Belegen untermauert ist. ChatGPT kann existierende Informationen zusammenfassen, aber es fehlen die tiefergehenden Analysen, Fußnoten und Belege, die eine Doktorarbeit auszeichnen. Dies zeigt, dass die Nutzung von ChatGPT allein kaum die Qualität einer echten Forschungsarbeit erreichen kann – etwas, das die LMU-Studie offenbar ignoriert.

Schwachstellen der LMU-Studie
Nach den Behauptungen der LMU-Studie müsste das Wort „erforschen“ in wissenschaftlichen Arbeiten, die mit ChatGPT erstellt wurden, 17-mal häufiger vorkommen. In einer wissenschaftlichen Arbeit von 100 Seiten würde das bedeuten, dass das Wort auf jeder 5. bis 6. Seite erscheinen müsste. Doch auf den 7 DIN-A4-Seiten, die ChatGPT generierte, kamen weder „erforschen“ noch „transformative“ auch nur einmal vor – das widerspricht der Studie fundamental.

Fragwürdige Analyse von 300.000 Arbeiten
Besonders auffällig in der LMU-Studie ist die Behauptung, 300.000 wissenschaftliche Arbeiten analysiert zu haben. Bei einem Umfang von 30 bis 100 Seiten pro Arbeit ergibt dies eine Gesamtmenge von 9 bis 30 Millionen Seiten. Diese riesige Textmenge realistisch und gründlich zu analysieren, wäre selbst mit modernster Technologie kaum machbar – das stellt die Glaubwürdigkeit der Studie stark infrage. KI-Tools wie ChatGPT sind derzeit nicht in der Lage, so komplexe Mengen an Informationen mit der nötigen Präzision zu verarbeiten, geschweige denn qualitative Schlüsse daraus zu ziehen.

Fazit: Überzogene Interpretation mit fragwürdigen Ergebnissen
Die von Dr. Uribe und Dr. Maldupa geleitete LMU-Studie mag auf den ersten Blick spannend klingen, aber bei genauer Betrachtung zeigt sich, dass die Interpretation der Ergebnisse massiv überdehnt ist. Die Schlussfolgerungen sind oberflächlich und lassen die wissenschaftliche Gründlichkeit vermissen, die man von einer Universität dieses Kalibers erwarten würde. Dass die LMU selbst diese fragwürdige Studie über ihre Pressestelle so großflächig verbreitet, wirkt befremdlich – besonders angesichts der Tatsache, dass man sich selbst gern als „exzellent“ bezeichnet. Normalerweise ist es die Qualität der Arbeit, die diesen Ruf bestimmen sollte, nicht die Selbstdarstellung.

Gefällt mir
2