Immaginate di andare da un medico e dirgli esattamente come vi sentite, e che una trascrizione successiva aggiunga informazioni errate e cambi la vostra storia. Questo potrebbe accadere nei centri medici che utilizzano Whisper, lo strumento di trascrizione di OpenAI. Secondo quanto riportato dall'Associated Press, più di una dozzina di sviluppatori, ingegneri software e ricercatori accademici hanno trovato prove del fatto che Whisper genera allucinazioni - testi inventati - che includono farmaci inventati, commenti razzisti e commenti violenti. Tuttavia, la piattaforma di intelligenza artificiale open-source HuggingFace ha registrato 4,2 milioni di download dell'ultima versione di Whisper il mese scorso. Lo strumento è anche integrato nelle piattaforme di cloud computing di Oracle e Microsoft, insieme ad alcune versioni di ChatGPT.
Le prove della nocività di Whisper sono piuttosto ampie e gli esperti hanno costantemente riscontrato difetti significativi in Whisper. Un ricercatore dell'Università del Michigan ha trovato testo falsificato in otto trascrizioni audio su dieci di sessioni pubbliche. In un altro studio, gli informatici hanno trovato 187 allucinazioni analizzando più di 13.000 registrazioni audio. La tendenza continua: un ingegnere di machine learning le ha trovate in circa la metà delle oltre 100 ore di trascrizioni, mentre uno sviluppatore ha scoperto allucinazioni in quasi tutte le 26.000 trascrizioni che ha fatto creare a Whisper.
Il potenziale pericolo diventa ancora più chiaro quando si esaminano esempi specifici di queste allucinazioni. Due docenti, Allison Koenecke della Cornell University e Mona Sloane dell'Università della Virginia, hanno esaminato i filmati di un archivio di ricerca chiamato TalkBank. Hanno scoperto che quasi il 40% delle allucinazioni aveva il potenziale per essere male interpretato o travisato. In un caso, Whisper si è inventato che tre persone di cui si parlava erano nere. In un altro caso, Whisper ha cambiato "Lui, il ragazzo, voleva prendere, non sono sicuro, l'ombrello" con "Ha preso un grosso pezzo di croce, un piccolo pezzo... Sono sicuro che non aveva un coltello del terrore, così ha ucciso un mucchio di persone".
Le allucinazioni di Whisper hanno anche pericolose conseguenze mediche. Un'azienda chiamata Nabla utilizza Whisper per il suo strumento di trascrizione medica, utilizzato da oltre 30.000 medici e 40 sistemi sanitari - si stima che finora siano state trascritte sette milioni di visite. Sebbene l'azienda sia a conoscenza del problema e dica che ci sta lavorando, al momento non c'è modo di verificare la validità delle trascrizioni. Secondo Martin Raison, Chief Technology Officer di Nabla, lo strumento cancella tutti i dati audio per "motivi di sicurezza dei dati". L'azienda sostiene inoltre che i fornitori devono elaborare e approvare le trascrizioni rapidamente (con tutto il tempo extra che hanno i medici?), ma che questo sistema potrebbe cambiare. Nel frattempo, a causa delle leggi sulla privacy, nessun altro può confermare che le trascrizioni siano accurate.
