{"id":5435,"date":"2024-04-18T06:26:25","date_gmt":"2024-04-18T06:26:25","guid":{"rendered":"https:\/\/www.moxoff.com\/?p=5435"},"modified":"2025-09-03T15:43:16","modified_gmt":"2025-09-03T15:43:16","slug":"i-large-language-model-open-source-oltre-linglese","status":"publish","type":"post","link":"https:\/\/www.moxoff.com\/en\/i-large-language-model-open-source-oltre-linglese\/","title":{"rendered":"I Large Language Model open source oltre l\u2019inglese"},"content":{"rendered":"

Un confronto tra due diversi fine tuning di Large Language Model per la lingua italiana<\/h2>\n\n

Introduction<\/span><\/h2>\n

Il mondo open source sta guadagnando terreno in termini di competitivit\u00e0 rispetto al pi\u00f9 competitivo gemello closed source.
Recentemente, sulla piattaforma di condivisione di modelli Hugging Face<\/strong><\/span><\/a>, dove sono presenti classifiche comparative tra vari Large Language Model, si sono verificati due eventi notevoli che segnano la fine del predominio tecnologico del mondo closed source e delle Big Tech:<\/p>\n

    \n
  1. an modello open weights<\/strong>, Command R Plus<\/a><\/span><\/strong>, ha superato le prestazioni di alcune versioni di GPT-4 nella classifica di riferimento LMSys Chatbot Arena<\/li>\n
  2. an modello open source<\/strong>, WizardLM<\/strong>2<\/strong><\/a><\/span>, ha superato le prestazioni di alcune versioni di GPT-4 nel framework di valutazione MT-Bench<\/li>\n<\/ol>\n

    Tuttavia, questi risultati sono validi esclusivamente se si considerano confronti sulla inglese. Infatti, nonostante i Large Language Model open source specializzati sull’inglese continuino a crescere in popolarit\u00e0 e a mostrare miglioramenti significativi in termini di qualit\u00e0, i modelli per altre lingue, come quella italiana, rimangono piuttosto limitati.
    In questo articolo, esamineremo due modelli     open source<\/a><\/strong><\/span> particolarmente interessanti e le loro evoluzioni sviluppate da Moxoff:<\/p>\n

      \n
    1. Mistral 7B v0.2<\/strong><\/a><\/span> : un modello multilingua sviluppato da Mistral AI.<\/li>\n
    2. Gemma 7B<\/strong><\/a><\/span> : un modello di Google che \u00e8 stato allenato esclusivamente su dati in lingua inglese.<\/li>\n<\/ol>\n

      Tenteremo quindi di rispondere a queste domande:<\/p>\n

        \n
      1. \u00c8 possibile intervenire sui modelli multilingua<\/strong> (e.g. Mistral) addestrando ulteriormente su una lingua specifica come l\u2019italiano?<\/li>\n
      2. \u00c8 possibile intervenire su modelli in lingua specifica<\/strong> (e.g. Gemma) per fargli “apprendere” altre lingue?<\/li>\n
      3. La differenza di risultato tra le due operazioni \u00e8 significativa o i risultati ottenuti sono paragonabili?<\/li>\n<\/ol>\n

        Prima di entrare nei dettagli, uno spoiler: entrambe le procedure funzionano! Moxoff ha rilasciato nell\u2019ultimo periodo due modelli:<\/p>\n

          \n
        1. Azzurro<\/strong><\/span><\/a>, un\u2019evoluzione di Mistral<\/li>\n
        2. Volare<\/span><\/a><\/strong>, un\u2019evoluzione di Gemma<\/li>\n<\/ol>\n

          Entrambi i modelli sono stati rilasciati sulla pagina Hugging Face di Moxoff<\/strong><\/span><\/a> ed hanno ottenuto ottimi risultati, come \u00e8 possibile osservare su Open Ita LLM Leaderboard, la classifica di riferimento per i Large Language Model in lingua italiana<\/span> .<\/a><\/strong><\/p>\n

          Il task<\/span><\/h2>\n

          Il fine tuning (*) \u00e8 una tipologia di addestramento dei Large Language Model che pu\u00f2 essere impiegata per specializzarli nell’esecuzione di specifiche attivit\u00e0. Nel contesto del nostro studio, ci siamo concentrati sulla task di Question & Answering (Q&A)<\/strong> con contesto, un’attivit\u00e0 di fondamentale importanza nello sviluppo di applicazioni quali i ChatBot basati su tecnologie AI. Queste applicazioni dialogano con gli utenti finali, attingendo tipicamente informazioni da una Knowledge Base e utilizzando tecnologie che prendono il nome di Retrieval-Augmented Generation (RAG)<\/em>.
          Per il fine tuning, abbiamo utilizzato una combinazione di dataset open source, come           SQUAD-it<\/span><\/a><\/strong> e dataset sviluppati internamente. Entrambi i modelli sono stati quindi allenati utilizzando metodi di training quali Sparse Fine-Tuning (SFT) e Low-Rank Adaptation (LoRA). Questo approccio ci ha permesso di esplorare l’efficacia del fine tuning nel migliorare la precisione e la pertinenza delle risposte fornite dai modelli in contesti di Q&A.
          (*) Per approfondimenti sul metodo di fine tuning utilizzato, vi rimandiamo al nostro articolo precedente disponibile su Moxoff.<\/p>\n

          I modelli di partenza<\/span><\/h2>\n

          Mistral 7B v0.2<\/h3>\n

          Quest’ultima versione del modello Mistral 7B, rilasciata da Mistral AI<\/strong> <\/a><\/span>, \u00e8 stata progettata per introdurre miglioramenti specifici che facilitano l’uso dei modelli precedentemente rilasciati dalla societ\u00e0:<\/p>\n

            \n
          1. Un significativo aumento della context window<\/strong>, che \u00e8 stata estesa da 8.000 a 32.000 token. Questo ampliamento permette al modello di gestire contesti pi\u00f9 lunghi, migliorando cos\u00ec la coerenza e la qualit\u00e0 delle risposte generate su testi estesi;<\/li>\n
          2. L‘introduzione di Rope Theta impostato a 1e6<\/strong>, una caratteristica tecnica che ottimizza il processo di trattamento dei dati;<\/li>\n
          3. L\u2019eliminazione della Sliding-Window Attention<\/strong>, un cambiamento che semplifica la struttura del modello rendendolo pi\u00f9 diretto e meno oneroso in termini computazionali.<\/li>\n<\/ol>\n\n\n
            Modello<\/td>Tempo di Inferenza per Token<\/td><\/tr>
            Azzurro<\/td>2.5s<\/td><\/tr>
            Volare<\/td>4.5s<\/td><\/tr><\/tbody><\/table>
            Questo utilizzando una GPU 4090 e una CPU i7-8700.<\/figcaption><\/figure>\n\n\n

            Benchmark<\/h3>\n

            Passiamo ora a una valutazione pi\u00f9 quantitativa tramite i benchmark di riferimento. Le metriche selezionate includono i punteggi su dataset come HellaSwag, ARC, MMLU e metriche effettive come F1.<\/p>\n\n\n

            Modello<\/td>HellaSwag_it<\/td>Arc_it<\/td>m_mmlu_it<\/td>Media<\/td>F1<\/td><\/tr>
            Azzurro<\/td>0.6076<\/td>0.4405<\/td>0.5112<\/td>0.52<\/td>53.26<\/td><\/tr>
            Volare<\/td>0.6474<\/td>0.4671<\/td>0.5521<\/td>0.55<\/td>69.82<\/td><\/tr><\/tbody><\/table>
            I risultati mostrano che Volare supera Azzurro in termini di F1, indicando una correttezza generale pi\u00f9 alta delle risposte.<\/figcaption><\/figure>\n\n\n

            Conclusioni<\/span><\/h2>\n

            L’analisi comparativa dei modelli Mistral 7B v0.2 (“Azzurro”) e Gemma 7B (“Volare”)<\/strong> ha rivelato dettagli notevoli sulle prestazioni e sui limiti dei Large Language Model open source nell’elaborazione di testi in italiano.
            Entrambi i modelli hanno evidenziato efficacia nel task di Question & Answering (Q&A)<\/strong>, mostrando risultati variabili in base al tipo di domanda posta. In particolare, Azzurro ha funzionato molto bene nel fornire risposte accurate e contestualmente adeguate in scenari che richiedevano un livello avanzato di inferenza, come dimostrato dai risultati dei test specifici. D’altra parte, Volare ha ottenuto punteggi superiori nei test di benchmarking, indicando una maggiore accuratezza nelle risposte.<\/p>\n

            Nonostante Volare abbia mostrato prestazioni leggermente inferiori in alcuni test dove era necessario generasse testo simile ma non uguale al contesto, le sue capacit\u00e0 rimangono notevoli, soprattutto considerando che \u00e8 stato principalmente addestrato su dati in inglese. Questo mette in luce la capacit\u00e0 dei modelli non nativamente multilingue di adattarsi con successo ad altre lingue attraverso tecniche di fine tuning mirate<\/strong>.
            I risultati evidenziano l’importanza di persistere nello sviluppo e nel perfezionamento dei Large Language Model multilingua<\/em> per non solo migliorare le loro capacit\u00e0 generali, ma anche per ampliarne l’uso e l’applicabilit\u00e0 a livello globale. L’approccio open source, che favorisce trasparenza e collaborazione, \u00e8 fondamentale per accelerare questi sviluppi e per adattare le tecnologie avanzate alle necessit\u00e0 specifiche di diverse lingue e contesti culturali.<\/p>\n

            References<\/span><\/h2>\n
              \n
            1. Mistral 7B v0.2, modello: https:\/\/huggingface.co\/mistralai\/Mistral-7B-Instruct-v0.2<\/li>\n
            2. Mistral 7B v.02, paper: https:\/\/arxiv.org\/abs\/2310.06825<\/li>\n
            3. Gemma 7B, modello: https:\/\/huggingface.co\/google\/gemma-7b<\/li>\n
            4. Gemma 7B, paper: https:\/\/arxiv.org\/abs\/2403.08295<\/li>\n
            5. Azzurro, modello: https:\/\/huggingface.co\/MoxoffSpA\/Azzurro<\/li>\n
            6. Volare, modello: https:\/\/huggingface.co\/MoxoffSpA\/Volare<\/li>\n
            7. Command R Plus, modello: https:\/\/huggingface.co\/CohereForAI\/c4ai-command-r-plus<\/li>\n
            8. WizardLM 2, modello: https:\/\/huggingface.co\/alpindale\/WizardLM-2-8x22B<\/li>\n
            9. Open Ita LLM Leaderboard: https:\/\/huggingface.co\/spaces\/FinancialSupport\/open_ita_llm_leaderboard<\/li>\n<\/ol>","protected":false},"excerpt":{"rendered":"

              Un confronto tra due diversi fine tuning di Large Language Model per la lingua italiana Introduzione Il mondo open source sta guadagnando terreno in termini di competitivit\u00e0 rispetto al pi\u00f9 competitivo gemello closed source.Recentemente, sulla piattaforma di condivisione di modelli Hugging Face, dove sono presenti classifiche comparative tra vari Large Language Model, si sono verificati […]<\/p>\n","protected":false},"author":3,"featured_media":1754,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"content-type":"","footnotes":""},"categories":[36],"tags":[],"class_list":["post-5435","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t