{"id":5675,"date":"2024-07-17T13:32:58","date_gmt":"2024-07-17T13:32:58","guid":{"rendered":"https:\/\/www.moxoff.com\/?p=5675"},"modified":"2025-09-11T14:09:25","modified_gmt":"2025-09-11T14:09:25","slug":"chatgpt-ai-generative-creator-cosa-sono-le-allucinazioni","status":"publish","type":"post","link":"https:\/\/www.moxoff.com\/en\/chatgpt-ai-generative-creator-cosa-sono-le-allucinazioni\/","title":{"rendered":"ChatGPT and Generative AI creators: what are \u201challucinations\u201d?"},"content":{"rendered":"

Un AI generative creator<\/strong> \u00e8 un tipo di sistema di intelligenza artificiale che ha la capacit\u00e0 di generare autonomamente contenuti creativi utilizzando tecniche di apprendimento profondo e di elaborazione del linguaggio naturale<\/strong> per comprendere gli input e produrre nuovi contenuti di testo, immagini, musica o video. Tuttavia, per non prendere \u201clucciole per lanterne\u201d \u00e8 importante tenere in considerazione che, seppur potenti, si tratta di modelli che non sono dotati di vera intelligenza, di capacit\u00e0 di comprensione e di coscienza, come gli esseri umani.<\/p>\n

Cos\u2019\u00e8 l\u2019hallucination di ChatGPT?<\/span><\/h2>\n

Il fenomeno dell\u2019allucinazione \u00e8 chiaro quando, alla domanda: \u201cQual \u00e8 il numero atomico del pianeta Marte?\u201d ChatGPT risponde: \u201cIl numero atomico del pianeta Marte \u00e8 67\u201d non comprendendo che Marte non \u00e8 un elemento chimico. Oppure, alla domanda: \u201cQual \u00e8 la capitale della Luna?\u201d ChatGPT risponde: \u201cLa capitale della Luna \u00e8 Luminia\u201d non riconoscendo che la Luna non ha una capitale e inventa una risposta.<\/p>\n

Tuttavia, \u201cl\u2019errore\u201d di un potente algoritmo di Intelligenza Artificiale generativo risponde a input ambigui o poco chiari, o alla mancanza di informazioni sufficienti per fornire una risposta accurata.<\/p>\n

Questo accade perch\u00e9 l\u2019algortimo \u00e8 costruito per generare sempre e comunque una risposta. Ma il problema delle allucinazioni non \u00e8 solo una questione di \u201crisposta creativa\u201d, ma genera dubbi e problemi sulla possibilit\u00e0 di utilizzo della AI generativa in tutte le applicazioni diverse da quelle meramente ludiche.<\/p>\n

L\u2019allucinazione, o hallucination, si riferisce a situazioni in cui uno strumento di AI generativa di contenuti come ChatGPT riesce a produrre risposte e contenuti che sembrano coerenti ma sono completamente inventati o errati. Il termine \u201callucinazione\u201d per\u00f2 \u00e8 utilizzato metaforicamente, poich\u00e9 l\u2019AI generativa non ha coscienza n\u00e9 esperienza, quindi non pu\u00f2 avere vere e proprie allucinazioni come vengono intese dagli esseri umani. I modelli di AI generativa, infatti, non hanno la capacit\u00e0 di comprendere il significato completo delle domande o degli input, perch\u00e9 basano le risposte su pattern e dati di addestramento piuttosto che su una vera comprensione del contesto.<\/p>\n

Cosa determina le allucinazioni delle AI generative?<\/span><\/h2>\n

In generale, le allucinazioni di ChatGPT e di sistemi simili sono da ricercarsi nei dati in ingresso, nell\u2019architettura del sistema e nella tecnica di training dell\u2019algoritmo. Diversi, quindi, sono i fattori coinvolti nel fenomeno dell\u2019hallucination.<\/p>\n

    \n
  1. Mancanza di chiarezza nell\u2019input o prompt.<\/strong> Gli algoritmi di intelligenza artificiale, come ChatGPT, generano contenuti basandosi su pattern e statistiche dei dati di addestramento. Quando una domanda \u00e8 troppo generica, l\u2019input \u00e8 ambiguo o poco chiaro, il tool genera una risposta andando a cercare tra le informazioni storiche immagazzinate e quindi, non trovando risposte adeguate, potrebbe inventare risposte che sembrano allucinanti.<\/li>\n
  2. Mancanza di memoria a lungo termine.<\/strong> I modelli di linguaggio hanno memoria limitata e possono dimenticare informazioni chiave durante la conversazione. Questo, nell\u2019ambito di una conversazione con ChatGPT, ad esempio, pu\u00f2 portare a risposte incoerenti o fuori contesto, poich\u00e9 il modello potrebbe non ricordare completamente ci\u00f2 che \u00e8 stato discusso precedentemente.<\/li>\n
  3. Bias nei dati di addestramento.<\/strong> Se il set di addestramento contiene bias o pregiudizi culturali, sociali o di altro tipo, informazioni erronee o dati distorti, oppure \u00e8 scarsa la qualit\u00e0 del prompt, il modello potrebbe imparare comportamenti incoerenti o errati, generando risposte \u201callucinate\u201d, e produrre risposte che riflettono tali pregiudizi ed errori.<\/li>\n
  4. Architettura del modello.<\/strong> Le allucinazioni possono essere originate dallo stadio di ingresso (encoder), allorch\u00e9 vengono identificate correlazioni erronee, o dallo stadio d\u2019uscita (decoder), che pu\u00f2 effettuare la generazione del contenuto usando in modo sbagliato i dati codificati di input.<\/li>\n
  5. Training.<\/strong> La tecnica di stima dei parametri utilizzata durante il training impone la presenza d\u2019un output anche quando esso ha una bassa probabilit\u00e0 in relazione al contesto e quando ci\u00f2 accade pu\u00f2 manifestarsi il fenomeno delle allucinazioni.<\/li>\n<\/ol>\n

    Come si mitigano le allucinazioni?<\/span><\/h2>\n

    Le allucinazioni di ChatGPT sono un problema noto nel campo dell\u2019elaborazione del linguaggio naturale e dell\u2019intelligenza artificiale. Gli sviluppatori e i ricercatori lavorano costantemente per migliorare la coerenza e la precisione dei modelli di linguaggio come ChatGPT, al fine di ridurre al minimo le allucinazioni e fornire risposte pi\u00f9 accurate e significative.<\/p>\n

    La classificazione delle tecniche di mitigazione delle allucinazioni rispecchia quella delle cause, dunque si cerca di operare sui dati (mediante operazioni di filtraggio), sull\u2019architettura (modificando encoder e decoder) e sul training, ad esempio tramite Reinforcement Learning, cio\u00e8 fornendo, durante il processo, informazioni al sistema circa la quantit\u00e0 di allucinazioni prodotte in modo che esso cerchi in automatico di correggersi.<\/p>\n

    Si deve tuttavia considerare che, secondo recenti pubblicazioni [9], il fenomeno delle allucinazioni \u00e8 consustanziale all\u2019architettura e al training del modello attualmente pi\u00f9 di successo nelle applicazioni di Natural Language Generation (NLG), ossia il Generative Pre-trained Transformer (GPT, alla base di ChatGPT).<\/p>\n

    Inoltre diminuire le allucinazioni riduce nel contempo la creativit\u00e0 in fase di generazione di contenuti, quindi \u00e8 necessario effettuare un compromesso fra i due obiettivi in base al contesto di impiego del modello.<\/p>\n

    Anche a livello d\u2019utente \u00e8 possibile operare al fine di limitare l\u2019insorgenza delle allucinazioni. Questo \u00e8 il campo del \u201cprompt engineering\u201d che consiste nell\u2019elaborare in modo strategico e accurato il \u201cprompt\u201d, cio\u00e8 il testo di input che viene fornito al modello di intelligenza artificiale per ottenere le risposte desiderate. Infatti, la scelta e la formulazione del prompt sono fondamentali per ottenere dal sistema di AI generativa risultati coerenti e pertinenti.<\/p>\n

    Cosa fare per non \u201cprendere lucciole per lanterne”<\/span><\/h2>\n

    Sebbene gli strumenti di AI generativa stiano dimostrando un enorme potenziale in vari ambiti creativi, il loro utilizzo solleva anche preoccupazioni etiche. Ad esempio, possono essere sfruttati per creare contenuti falsi o deepfakes, causando disinformazione e possibili danni. Pertanto, \u00e8 fondamentale utilizzare tali tecnologie in modo responsabile e consapevole, in modo da produrre contenuti creativi verificati ma, soprattutto, per non credere a tutto ci\u00f2 che viene generato da un AI. Pertanto:<\/p>\n

      \n
    1. Esaminare e verificare la risposta:<\/strong> verificare la credibilit\u00e0 della fonte da cui proviene il contenuto. Se proviene da una fonte poco conosciuta o non verificata, potrebbe essere necessario approfondire ulteriormente prima di considerarlo come vero, rivolgendosi anche ad esperti umani o fonti affidabili per ottenere ulteriori informazioni, in caso di dubbi.<\/li>\n
    2. Cercare di verificare le informazioni attraverso diverse fonti affidabili.<\/strong> Se non si trovano conferme in fonti diverse, potrebbe essere un segno che il contenuto \u00e8 falso.<\/li>\n
    3. Cercare errori e incongruenze:<\/strong> controllare attentamente il contenuto per eventuali errori di fatto o incongruenze logiche che possono essere indicative di allucinazioni.<\/li>\n
    4. Fare domande dettagliate:<\/strong> in caso di dubbi su un contenuto generato da una AI, provare a fare domande pi\u00f9 specifiche e complesse per vedere se il modello risponde in modo coerente e accurato.<\/li>\n<\/ol>\n

      Inoltre, considerando il fatto che l\u2019accrescimento delle capacit\u00e0 dell\u2019intelligenza artificiale generativa rappresenta un vantaggio per l\u2019intera comunit\u00e0, si pu\u00f2 auspicare una sinergia fra utenti, i quali formulano le domande, ed esperti di dominio, cui spetta il compito di valutare le risposte fornite dal sistema. Da questa sinergia, tramite l\u2019ausilio di opportuni modelli matematici di ottimizzazione data driven, ci si aspetta un processo virtuoso di perfezionamento iterativo della formulazione del prompt a fronte del livello di pertinenza e di veridicit\u00e0 dei risultati prodotti dalla macchina.<\/p>\n

      Si ricordi che, nonostante gli sforzi per migliorare la precisione dei modelli di linguaggio, le risposte di ChatGPT e altri sistemi simili possono comunque contenere errori o allucinazioni. L\u2019uso critico e responsabile di tali strumenti \u00e8 essenziale per evitare la diffusione di informazioni non verificate o errate.<\/p>\n

      Bibliografia<\/span><\/h2>\n

      Survey of hallucination in natural language generation. Ji Z, Lee N, Frieske R, et al. ACM Comput Surv. 2022 [Google Scholar]
      \nAbstracts written by ChatGPT fool scientists. [Preprint] Gao CA, Howard FM, Nikolay S. bioRxiv. 2022 [Google Scholar]
      \nhttps:\/\/www.wired.it\/article\/intelligenza-artificiale-allucinazioni-cosa-sono\/#due
      \nhttps:\/\/redis.com\/blog\/chatgpt-memory-project\/<\/p>\n

      ChatGPT: What Are Hallucinations And Why Are They A Problem For AI Systems<\/a><\/span><\/p>\n

      https:\/\/spectrum.ieee.org\/ai-hallucination
      \nhttps:\/\/zapier.com\/blog\/ai-hallucinations\/<\/p>\n

      https:\/\/www.agendadigitale.eu\/cultura-digitale\/anche-i-chatbot-hanno-le-allucinazioni-cosa-significa-e-perche-avviene\/<\/a><\/span>
      \nLee, Minhyeok. \u201cA mathematical investigation of hallucination and creativity in gpt models.\u201d Mathematics 11.10 (2023): 2320.
      \nAfzal, Anum, et al. \u201cChallenges in Domain-Specific Abstractive Summarization and How to Overcome Them.\u201d 15th International Conference on Agents and Artificial Intelligence, ICAART 2023. SCITEPRESS, 2023.
      \nAlkaissi, Hussam, and McFarlane, Samy I.. \u201cArtificial hallucinations in ChatGPT: implications in scientific writing.\u201d Cureus 15.2 (2023).
      \nAyd\u0131n, Nazif, and Erdem, O. Ayhan. \u201cA Research on the New Generation Artificial Intelligence Technology Generative Pretraining Transformer 3.\u201d 2022 3rd International Informatics and Software Engineering Conference (IISEC). IEEE, 2022.
      \nChaudhari, Akshay S., et al. \u201cProspective deployment of deep learning in MRI: a framework for important considerations, challenges, and recommendations for best practices.\u201d Journal of Magnetic Resonance Imaging 54.2 (2021): 357-371.
      \nDziri, Nouha, and Madotto, Andrea and Zaiane, Osmar and Bose, Avishek Joey. \u201cNeural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding.\u201d EMNLP, 2021.
      \nGe, Jin, and Jennifer C. Lai. \u201cArtificial intelligence-based text generators in hepatology: ChatGPT is just the beginning.\u201d Hepatology Communications 7.4 (2023).
      \nFui-Hoon Nah, Fiona, et al. \u201cGenerative AI and ChatGPT: Applications, challenges, and AI-human collaboration.\u201d Journal of Information Technology Case and Application Research (2023): 1-28.
      \nRudolph, J\u00fcrgen, Samson Tan, and Shannon Tan. \u201cChatGPT: Bullshit spewer or the end of traditional assessments in higher education?.\u201d Journal of Applied Learning and Teaching 6.1 (2023).
      \nWalczak, Krzysztof, and Wojciech Cellary. \u201cChallenges for higher education in the era of widespread access to Generative AI.\u201d Economics and Business Review 9.2 (2023).
      \nAu Yeung, Joshua, et al. \u201cAI chatbots not yet ready for clinical use.\u201d Frontiers in Digital Health 5 (2023): 60.
      \nZhou, Chunting and Neubig, Graham and Gu, Jiatao and Diab, Mona and Guzm\u00e1n, Francisco and Zettlemoyer, Luke and Ghazvininejad, Marjan. \u201cDetecting Hallucinated Content in Conditional Neural Sequence Generation.\u201d Findings of the Association for Computational Linguistics (ACL-IJCNLP), 2021. 1393\u20131404.<\/p>\n","protected":false},"excerpt":{"rendered":"

      Un AI generative creator \u00e8 un tipo di sistema di intelligenza artificiale che ha la capacit\u00e0 di generare autonomamente contenuti creativi utilizzando tecniche di apprendimento profondo e di elaborazione del linguaggio naturale per comprendere gli input e produrre nuovi contenuti di testo, immagini, musica o video. Tuttavia, per non prendere \u201clucciole per lanterne\u201d \u00e8 importante […]<\/p>\n","protected":false},"author":3,"featured_media":1754,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"content-type":"","footnotes":""},"categories":[36],"tags":[],"class_list":["post-5675","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t