ChatGPT e AI generative creator: cosa sono le “allucinazioni”?

Un AI generative creator è un tipo di sistema di intelligenza artificiale che ha la capacità di generare autonomamente contenuti creativi utilizzando tecniche di apprendimento profondo e di elaborazione del linguaggio naturale per comprendere gli input e produrre nuovi contenuti di testo, immagini, musica o video. Tuttavia, per non prendere “lucciole per lanterne” è importante tenere in considerazione che, seppur potenti, si tratta di modelli che non sono dotati di vera intelligenza, di capacità di comprensione e di coscienza, come gli esseri umani.

A cura di Luigi Simeone, Chief Technology Officer Moxoff

Cos’è l’hallucination di ChatGPT?

Il fenomeno dell’allucinazione è chiaro quando, alla domanda: “Qual è il numero atomico del pianeta Marte?” ChatGPT risponde: “Il numero atomico del pianeta Marte è 67” non comprendendo che Marte non è un elemento chimico. Oppure, alla domanda: “Qual è la capitale della Luna?” ChatGPT risponde: “La capitale della Luna è Luminia” non riconoscendo che la Luna non ha una capitale e inventa una risposta.

Tuttavia, “l’errore” di un potente algoritmo di Intelligenza Artificiale generativo risponde a input ambigui o poco chiari, o alla mancanza di informazioni sufficienti per fornire una risposta accurata.

Questo accade perché l’algortimo è costruito per generare sempre e comunque una risposta. Ma il problema delle allucinazioni non è solo una questione di “risposta creativa”, ma genera dubbi e problemi sulla possibilità di utilizzo della AI generativa in tutte le applicazioni diverse da quelle meramente ludiche.

L’allucinazione, o hallucination, si riferisce a situazioni in cui uno strumento di AI generativa di contenuti come ChatGPT riesce a produrre risposte e contenuti che sembrano coerenti ma sono completamente inventati o errati. Il termine “allucinazione” però è utilizzato metaforicamente, poiché l’AI generativa non ha coscienza né esperienza, quindi non può avere vere e proprie allucinazioni come vengono intese dagli esseri umani. I modelli di AI generativa, infatti, non hanno la capacità di comprendere il significato completo delle domande o degli input, perché basano le risposte su pattern e dati di addestramento piuttosto che su una vera comprensione del contesto.

Cosa determina le allucinazioni delle AI generative?

In generale, le allucinazioni di ChatGPT e di sistemi simili sono da ricercarsi nei dati in ingresso, nell’architettura del sistema e nella tecnica di training dell’algoritmo. Diversi, quindi, sono i fattori coinvolti nel fenomeno dell’hallucination.

1. Mancanza di chiarezza nell’input o prompt. Gli algoritmi di intelligenza artificiale, come ChatGPT, generano contenuti basandosi su pattern e statistiche dei dati di addestramento. Quando una domanda è troppo generica, l’input è ambiguo o poco chiaro, il tool genera una risposta andando a cercare tra le informazioni storiche immagazzinate e quindi, non trovando risposte adeguate, potrebbe inventare risposte che sembrano allucinanti.
2. Mancanza di memoria a lungo termine. I modelli di linguaggio hanno memoria limitata e possono dimenticare informazioni chiave durante la conversazione. Questo, nell’ambito di una conversazione con ChatGPT, ad esempio, può portare a risposte incoerenti o fuori contesto, poiché il modello potrebbe non ricordare completamente ciò che è stato discusso precedentemente.
3. Bias nei dati di addestramento. Se il set di addestramento contiene bias o pregiudizi culturali, sociali o di altro tipo, informazioni erronee o dati distorti, oppure è scarsa la qualità del prompt, il modello potrebbe imparare comportamenti incoerenti o errati, generando risposte “allucinate”, e produrre risposte che riflettono tali pregiudizi ed errori.
4. Architettura del modello. Le allucinazioni possono essere originate dallo stadio di ingresso (encoder), allorché vengono identificate correlazioni erronee, o dallo stadio d’uscita (decoder), che può effettuare la generazione del contenuto usando in modo sbagliato i dati codificati di input.
5. Training. La tecnica di stima dei parametri utilizzata durante il training impone la presenza d’un output anche quando esso ha una bassa probabilità in relazione al contesto e quando ciò accade può manifestarsi il fenomeno delle allucinazioni.

Come si mitigano le allucinazioni?

Le allucinazioni di ChatGPT sono un problema noto nel campo dell’elaborazione del linguaggio naturale e dell’intelligenza artificiale. Gli sviluppatori e i ricercatori lavorano costantemente per migliorare la coerenza e la precisione dei modelli di linguaggio come ChatGPT, al fine di ridurre al minimo le allucinazioni e fornire risposte più accurate e significative.

La classificazione delle tecniche di mitigazione delle allucinazioni rispecchia quella delle cause, dunque si cerca di operare sui dati (mediante operazioni di filtraggio), sull’architettura (modificando encoder e decoder) e sul training, ad esempio tramite Reinforcement Learning, cioè fornendo, durante il processo, informazioni al sistema circa la quantità di allucinazioni prodotte in modo che esso cerchi in automatico di correggersi.

Si deve tuttavia considerare che, secondo recenti pubblicazioni [9], il fenomeno delle allucinazioni è consustanziale all’architettura e al training del modello attualmente più di successo nelle applicazioni di Natural Language Generation (NLG), ossia il Generative Pre-trained Transformer (GPT, alla base di ChatGPT).

Inoltre diminuire le allucinazioni riduce nel contempo la creatività in fase di generazione di contenuti, quindi è necessario effettuare un compromesso fra i due obiettivi in base al contesto di impiego del modello.

Anche a livello d’utente è possibile operare al fine di limitare l’insorgenza delle allucinazioni. Questo è il campo del “prompt engineering” che consiste nell’elaborare in modo strategico e accurato il “prompt”, cioè il testo di input che viene fornito al modello di intelligenza artificiale per ottenere le risposte desiderate. Infatti, la scelta e la formulazione del prompt sono fondamentali per ottenere dal sistema di AI generativa risultati coerenti e pertinenti.

Cosa fare per non “prendere lucciole per lanterne”

Sebbene gli strumenti di AI generativa stiano dimostrando un enorme potenziale in vari ambiti creativi, il loro utilizzo solleva anche preoccupazioni etiche. Ad esempio, possono essere sfruttati per creare contenuti falsi o deepfakes, causando disinformazione e possibili danni. Pertanto, è fondamentale utilizzare tali tecnologie in modo responsabile e consapevole, in modo da produrre contenuti creativi verificati ma, soprattutto, per non credere a tutto ciò che viene generato da un AI. Pertanto:

1. Esaminare e verificare la risposta: verificare la credibilità della fonte da cui proviene il contenuto. Se proviene da una fonte poco conosciuta o non verificata, potrebbe essere necessario approfondire ulteriormente prima di considerarlo come vero, rivolgendosi anche ad esperti umani o fonti affidabili per ottenere ulteriori informazioni, in caso di dubbi.
2. Cercare di verificare le informazioni attraverso diverse fonti affidabili. Se non si trovano conferme in fonti diverse, potrebbe essere un segno che il contenuto è falso.
3. Cercare errori e incongruenze: controllare attentamente il contenuto per eventuali errori di fatto o incongruenze logiche che possono essere indicative di allucinazioni.
4. Fare domande dettagliate: in caso di dubbi su un contenuto generato da una AI, provare a fare domande più specifiche e complesse per vedere se il modello risponde in modo coerente e accurato.

Inoltre, considerando il fatto che l’accrescimento delle capacità dell’intelligenza artificiale generativa rappresenta un vantaggio per l’intera comunità, si può auspicare una sinergia fra utenti, i quali formulano le domande, ed esperti di dominio, cui spetta il compito di valutare le risposte fornite dal sistema. Da questa sinergia, tramite l’ausilio di opportuni modelli matematici di ottimizzazione data driven, ci si aspetta un processo virtuoso di perfezionamento iterativo della formulazione del prompt a fronte del livello di pertinenza e di veridicità dei risultati prodotti dalla macchina.

Si ricordi che, nonostante gli sforzi per migliorare la precisione dei modelli di linguaggio, le risposte di ChatGPT e altri sistemi simili possono comunque contenere errori o allucinazioni. L’uso critico e responsabile di tali strumenti è essenziale per evitare la diffusione di informazioni non verificate o errate.

Bibliografia

1. Survey of hallucination in natural language generation. Ji Z, Lee N, Frieske R, et al. ACM Comput Surv. 2022 [Google Scholar]
2. Abstracts written by ChatGPT fool scientists. [Preprint] Gao CA, Howard FM, Nikolay S. bioRxiv. 2022 [Google Scholar]
3. https://www.wired.it/article/intelligenza-artificiale-allucinazioni-cosa-sono/#due
4. https://redis.com/blog/chatgpt-memory-project/
5. https://bernardmarr.com/chatgpt-what-are-hallucinations-and-why-are-they-a-problem-for-ai-systems/
6. https://spectrum.ieee.org/ai-hallucination
7. https://zapier.com/blog/ai-hallucinations/
8. https://www.agendadigitale.eu/cultura-digitale/anche-i-chatbot-hanno-le-allucinazioni-cosa-significa-e-perche-avviene/
9. Lee, Minhyeok. “A mathematical investigation of hallucination and creativity in gpt models.” Mathematics 11.10 (2023): 2320.
10. Afzal, Anum, et al. “Challenges in Domain-Specific Abstractive Summarization and How to Overcome Them.” 15th International Conference on Agents and Artificial Intelligence, ICAART 2023. SCITEPRESS, 2023.
11. Alkaissi, Hussam, and McFarlane, Samy I.. “Artificial hallucinations in ChatGPT: implications in scientific writing.” Cureus 15.2 (2023).
12. Aydın, Nazif, and Erdem, O. Ayhan. “A Research on the New Generation Artificial Intelligence Technology Generative Pretraining Transformer 3.” 2022 3rd International Informatics and Software Engineering Conference (IISEC). IEEE, 2022.
13. Chaudhari, Akshay S., et al. “Prospective deployment of deep learning in MRI: a framework for important considerations, challenges, and recommendations for best practices.” Journal of Magnetic Resonance Imaging 54.2 (2021): 357-371.
14. Dziri, Nouha, and Madotto, Andrea and Zaiane, Osmar and Bose, Avishek Joey. “Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding.” EMNLP, 2021.
15. Ge, Jin, and Jennifer C. Lai. “Artificial intelligence-based text generators in hepatology: ChatGPT is just the beginning.” Hepatology Communications 7.4 (2023).
16. Fui-Hoon Nah, Fiona, et al. “Generative AI and ChatGPT: Applications, challenges, and AI-human collaboration.” Journal of Information Technology Case and Application Research (2023): 1-28.
17. Rudolph, Jürgen, Samson Tan, and Shannon Tan. “ChatGPT: Bullshit spewer or the end of traditional assessments in higher education?.” Journal of Applied Learning and Teaching 6.1 (2023).
18. Walczak, Krzysztof, and Wojciech Cellary. “Challenges for higher education in the era of widespread access to Generative AI.” Economics and Business Review 9.2 (2023).
19. Au Yeung, Joshua, et al. “AI chatbots not yet ready for clinical use.” Frontiers in Digital Health 5 (2023): 60.
20. Zhou, Chunting and Neubig, Graham and Gu, Jiatao and Diab, Mona and Guzmán, Francisco and Zettlemoyer, Luke and Ghazvininejad, Marjan. “Detecting Hallucinated Content in Conditional Neural Sequence Generation.” Findings of the Association for Computational Linguistics (ACL-IJCNLP), 2021. 1393–1404.