Dies ist eine regelmäßige Erinnerung daran, dass KI-gesteuerte Chatbots immer noch Dinge erfinden und mit der Sicherheit eines GPS-Systems lügen, das einem sagt, dass der kürzeste Weg nach Hause durch einen See führt.
Meine Erinnerung kommt mit freundlicher Genehmigung des Nieman Lab, das ein Experiment durchführte, um zu sehen, ob ChatGPT korrekte Links zu Artikeln von Nachrichtenpublikationen liefert, an die es Millionen von Dollar zahlt. Es stellte sich heraus, dass ChatGPT dies nicht tut. Stattdessen erfindet es selbstbewusst ganze URLs, ein Phänomen, das in der KI-Branche als “Halluzinieren” bezeichnet wird, ein Begriff, der eher auf eine reale Person zutrifft, die von ihrem eigenen Schwachsinn high ist.
Andrew Deck vomNieman Labbat den Service, Links zu hochkarätigen Exklusivgeschichten zu liefern, die von 10 Verlagen veröffentlicht wurden, mit denen OpenAI Verträge in Millionenhöhe abgeschlossen hat. Dazu gehörten die Associated Press, das Wall Street Journal, die Financial Times, die Times (UK), Le Monde, El País, The Atlantic, The Verge, Vox und Politico. Als Antwort spuckte ChatGPT erfundene URLs aus, die zu 404-Fehlerseiten führten, weil sie einfach nicht existierten. Mit anderen Worten: Das System funktionierte genau so, wie es sollte, indem es die wahrscheinlichste Version der URL eines Artikels vorhersagte, anstatt tatsächlich die richtige zu zitieren. Nieman Lab führte Anfang des Monats ein ähnliches Experiment mit einer einzelnen Publikation – Business Insider – durch und kam zu dem gleichen Ergebnis.
Ein Sprecher von OpenAI teilte Nieman Lab mit, dass das Unternehmen noch an einem Experiment arbeitet, das Gesprächsfähigkeiten mit den neuesten Nachrichteninhalten kombiniert und die korrekte Zuordnung und Verlinkung zu den Quellen sicherstellt – ein erweitertes Experiment, das sich noch in der Entwicklung befindet und noch nicht in ChatGPT verfügbar ist. Sie weigerten sich jedoch, die gefälschten URLs zu erklären.
Wir wissen nicht, wann diese neue Erfahrung verfügbar sein wird oder wie zuverlässig sie sein wird. Nichtsdestotrotz stopfen Nachrichtenverlage weiterhin Jahre an Journalismus in den klaffenden Schlund von OpenAI, im Austausch für kaltes, hartes Geld, weil die Journalismusbranche immer noch nicht herausgefunden hat, wie man Geld verdienen kann, ohne seine Seele an Technologieunternehmen zu verkaufen. Inzwischen stürzen sich KI-Unternehmen auf Inhalte, die von all jenen veröffentlicht werden, die sich nicht auf diesen faustischen Handel eingelassen haben, und nutzen sie, um ihre Modelle zu trainieren. Mustafa Suleyman, der KI-Chef von Microsoft, bezeichnete kürzlich alles, was im Internet veröffentlicht wird, als “Freeware”, die zum Training von KI-Modellen verwendet werden kann. Als ich das schrieb, wurde Microsoft mit 3,36 Billionen Dollar bewertet.
Daraus kann man etwas lernen: Wenn ChatGPT URLs erfindet, erfindet es auch Fakten. So funktioniert generative KI – im Grunde ist diese Technologie eine verbesserte Version der automatischen Vervollständigung, die einfach das nächste plausible Wort in einer Sequenz errät. Sie “versteht” nicht, was Sie sagen, auch wenn sie so tut, als würde sie es. Kürzlich habe ich versucht, unsere führenden Chatbots dazu zu bringen, mir bei der Lösung des New York Times Spelling Bee zu helfen, und musste mit ansehen, wie sie abstürzten und verbrannten.
Wenn generative KI nicht einmal einen Buchstabierwettbewerb lösen kann, sollten wir sie auch nicht für die Ermittlung von Fakten einsetzen.
