Stellen Sie sich vor, Sie gehen zu einem Arzt und erzählen ihm genau, wie Sie sich fühlen, und eine Abschrift fügt später falsche Informationen hinzu und verändert Ihre Geschichte. Das könnte in medizinischen Zentren passieren, die Whisper, das Transkriptionstool von OpenAI, verwenden. Mehr als ein Dutzend Entwickler, Softwareingenieure und akademische Forscher haben Beweise dafür gefunden, dass Whisper Halluzinationen – erfundene Texte – erzeugt, die erfundene Medikamente, rassistische Kommentare und gewalttätige Äußerungen enthalten, wie aus Berichten der Associated Press hervorgeht. Dennoch verzeichnete die Open-Source-KI-Plattform HuggingFace im vergangenen Monat 4,2 Millionen Downloads der neuesten Version von Whisper. Das Tool ist auch in die Cloud-Computing-Plattformen von Oracle und Microsoft integriert, zusammen mit einigen Versionen von ChatGPT.
Das Beweismaterial für die Schädlichkeit von Whisper ist ziemlich umfangreich, und Experten haben durchweg erhebliche Mängel bei Whisper festgestellt. Ein Forscher der University of Michigan fand in acht von zehn Audiotranskriptionen öffentlicher Sitzungen erfundenen Text. In einer anderen Studie fanden Informatiker 187 Halluzinationen, als sie mehr als 13.000 Audioaufnahmen analysierten. Der Trend setzt sich fort: Ein Ingenieur für maschinelles Lernen fand sie in etwa der Hälfte von über 100 Stunden Transkripten, während ein Entwickler Halluzinationen in fast allen der 26 000 Transkripte entdeckte, die er von Whisper erstellen ließ.
Die potenzielle Gefahr wird noch deutlicher, wenn man sich konkrete Beispiele für diese Halluzinationen ansieht. Zwei Professorinnen, Allison Koenecke von der Cornell University und Mona Sloane von der University of Virginia, untersuchten Clips aus einem Forschungsarchiv namens TalkBank. Sie stellten fest, dass fast 40 Prozent der Halluzinationen das Potenzial hatten, falsch interpretiert oder falsch dargestellt zu werden. In einem Fall erfand Whisper, dass drei Personen, über die gesprochen wurde, schwarz waren. In einem anderen Fall änderte Whisper “Er, der Junge, wollte, ich bin mir nicht ganz sicher, den Regenschirm nehmen. in „Er nahm ein großes Stück eines Kreuzes, ein winziges Stück … Ich bin sicher, dass er kein Terrormesser hatte, also hat er eine Reihe von Menschen getötet“.
Whispers Halluzinationen haben auch gefährliche medizinische Folgen. Eine Firma namens Nabla verwendet Whisper für ihr medizinisches Transkriptionstool, das von mehr als 30.000 Klinikern und 40 Gesundheitssystemen genutzt wird – bisher wurden schätzungsweise sieben Millionen Besuche transkribiert. Obwohl sich das Unternehmen des Problems bewusst ist und nach eigenen Angaben daran arbeitet, gibt es derzeit keine Möglichkeit, die Gültigkeit der Transkripte zu überprüfen. Das Tool löscht alle Audiodaten aus „Gründen der Datensicherheit“, so Martin Raison, Chief Technology Officer von Nabla. Das Unternehmen sagt auch, dass die Anbieter die Transkripte schnell bearbeiten und genehmigen müssen (mit all der zusätzlichen Zeit, die die Ärzte haben?), aber dass sich dieses System ändern könnte. In der Zwischenzeit kann aufgrund der Datenschutzgesetze niemand sonst bestätigen, dass die Transkriptionen korrekt sind.
