Perché l’addestramento è fondamentale per un LLM?

Le straordinarie capacità dei moderni LLM sono anche una diretta conseguenza di ciò che apprendono durante il processo di addestramento (training). Di conseguenza, sia il processo di addestramento sia la qualità dei dati utilizzati per lo stesso rappresentano alcuni dei principali fattori che determinano le prestazioni di un modello.

Sebbene l’architettura sottostante — generalmente basata sull’architettura Transformer [Vaswani et al., 2017], illustrata in alcuni precedenti articoli — fornisca il framework computazionale, sono il processo di addestramento e la qualità dei dati a determinare se un modello sarà in grado di comprendere il linguaggio naturale, risolvere problemi complessi, scrivere software, tradurre testi o sostenere conversazioni simili a quelle umane [Brown et al., 2020].

In cosa consiste l’addestramento

L’addestramento è il processo attraverso il quale miliardi — o, nei modelli più moderni, centinaia di miliardi — di parametri vengono progressivamente ottimizzati per apprendere le relazioni statistiche tra parole, frasi, concetti e schemi di ragionamento a partire da enormi collezioni di testi [Goodfellow et al., 2016]. Durante questo processo, algoritmi di ottimizzazione basati sul gradiente riducono progressivamente gli errori di previsione aggiornando i pesi della rete neurale, consentendo al modello di acquisire rappresentazioni linguistiche sempre più sofisticate [Rumelhart et al., 1986].

Piuttosto che memorizzare regole esplicite o conoscenze codificate manualmente, un LLM sviluppa rappresentazioni interne distribuite del linguaggio. La conoscenza viene infatti distribuita tra milioni o miliardi di nodi (parametri) interconnessi, consentendo al modello di riuscire a generalizzare su dati e input mai osservati in precedenza anziché limitarsi a recuperare risposte predefinite da un database.

Le prestazioni di un LLM, pertanto, dipendono da molti più fattori rispetto alla sola architettura, o alla dimensione del modello. Le ricerche hanno dimostrato che le capacità emergono dall’interazione di numerosi elementi, tra cui la qualità e la diversità dei dati di addestramento, l’architettura della rete neurale, gli algoritmi di ottimizzazione impiegati durante il training, le risorse computazionali disponibili e le tecniche di allineamento applicate dopo il pre-training [Hoffmann et al., 2022].

L’addestramento dei moderni modelli richiede investimenti enormi in infrastrutture computazionali, competenze ingegneristiche, attività di selezione e preparazione dei dati (data curation) e ricerca sulla “sicurezza” (soprattutto in termini di pericolosità degli argomenti) dei sistemi di AI.

Di conseguenza, la progettazione e l’esecuzione dell’intera pipeline di addestramento sono diventate uno dei principali fattori competitivi tra le aziende leader nello sviluppo di modelli di IA.

Quello che le aziende non dicono…

Sebbene OpenAI, Google DeepMind, Anthropic e altre aziende leader nel settore dell’Intelligenza Artificiale abbiano pubblicato rapporti tecnici, system cards e articoli scientifici che descrivono i principi generali alla base dei loro modelli, molti dettagli relativi alle pipeline di addestramento utilizzate in produzione rimangono riservati.

Informazioni quali la composizione completa dei dataset di addestramento, le strategie di filtraggio dei dati, le politiche di ottimizzazione, le risorse computazionali impiegate e le procedure di post-training generalmente non vengono rese pubbliche per ragioni di competitività, sicurezza e protezione dei sistemi. Di conseguenza, le considerazioni presentate in questi articoli si basano sulla letteratura scientifica disponibile pubblicamente, sui rapporti tecnici ufficiali e sulle informazioni divulgate dalle rispettive organizzazioni.

Di cosa parleremo?

In questo e nel prossimo articolo descriveremo le tecniche di training e post-training che, sulla base delle informazioni pubblicamente disponibili, vengono impiegate nello sviluppo di modelli quali ChatGPT, Gemini e Claude. Più che riprendere i fondamenti tecnici e matematici del deep learning o dell’architettura Transformer, già illustrati in articoli precedenti (vedi box a destra con gli articoli della stessa serie), l’attenzione è rivolta ai processi ingegneristici che trasformano enormi quantità di dati testuali grezzi in sistemi conversazionali altamente sofisticati. Tali processi comprendono la raccolta dei dati su larga scala, la pulizia e il filtraggio dei dataset, la tokenizzazione, il pre-training, il Supervised Fine-Tuning (SFT), il Reinforcement Learning from Human Feedback (RLHF), l’ottimizzazione basata sulle preferenze (preference optimization), l’aggiornamento continuo dei modelli e i meccanismi di Retrieval-Augmented Generation (RAG) che consentono ai sistemi già in produzione di accedere a informazioni aggiornate e a basi di conoscenza esterne.

Apprendimento ottimizzato per molti ambiti diversi

Comprendere questi processi di addestramento, allineamento e manutenzione è diventato sempre più importante, poiché gli LLM vengono oggi impiegati in ambiti quali l’istruzione, la sanità, la ricerca scientifica, l’ingegneria del software, l’assistenza ai clienti e i servizi della pubblica amministrazione. La straordinaria fluidità delle loro risposte induce spesso a credere che apprendano continuamente da ogni interazione o che possiedano una forma di comprensione analoga a quella umana.

In realtà, le loro capacità sono il risultato di procedure di ottimizzazione accuratamente progettate ed eseguite durante le fasi di training, mentre nella maggior parte dei sistemi commerciali l’addestramento del modello è nettamente separato dai meccanismi che consentono di recuperare informazioni in tempo reale o di utilizzare strumenti esterni. Di conseguenza, mantenere un sistema conversazionale allo stato dell’arte non significa semplicemente riaddestrare periodicamente il modello, ma anche combinarlo con tecniche di continued pre-training, fine-tuning, Retrieval-Augmented Generation (RAG), integrazione con motori di ricerca, strumenti esterni e pipeline di ragionamento specializzate, che operano congiuntamente per fornire risposte accurate, pertinenti e costantemente aggiornate.

Bilanciare dati, dimensione del modello e risorse computazionali

Il principio del “Garbage In, Garbage Out” (GIGO) è particolarmente rilevante nel contesto dei moderni LLM. La qualità, la diversità e l’affidabilità dei dati utilizzati durante l’addestramento esercitano un’influenza determinante sulle capacità del modello, sulla sua accuratezza, robustezza e affidabilità. Di conseguenza, anche un modello allo stato dell’arte, basato su un’architettura di rete neurale avanzata, non potrebbe esprimere appieno il proprio potenziale qualora venisse addestrato con dati di bassa qualità, distorti (biased), incompleti o incoerenti.

Durante l’addestramento, un LLM non memorizza singoli fatti nel senso tradizionale del termine. Piuttosto, apprende regolarità statistiche, strutture linguistiche, relazioni semantiche e schemi di ragionamento a partire dagli esempi osservati. Se il corpus di addestramento contiene informazioni inesatte, errori fattuali, distorsioni sistematiche (bias) o dati contraddittori, tali caratteristiche tenderanno a riflettersi anche nelle risposte generate dal modello, spesso manifestandosi sotto forma di allucinazioni (hallucinations), ossia affermazioni plausibili ma prive di fondamento o semplicemente errate.

Per questo motivo, la qualità del corpus di addestramento è oggi considerata uno dei fattori più importanti nel determinare le prestazioni complessive di un modello [Bommasani et al., 2021], [Hoffmann et al., 2022].

L’equilibrio più della quantità

Strettamente collegata alla qualità dei dati vi è un’altra scoperta fondamentale che ha profondamente modificato il modo in cui vengono sviluppati i moderni LLM: aumentare esclusivamente la dimensione del modello non comporta necessariamente un miglioramento delle prestazioni. Le prime ricerche nel campo del deep learning assumevano infatti che un incremento continuo del numero di parametri addestrabili avrebbe inevitabilmente prodotto modelli sempre più potenti, purché fossero disponibili risorse computazionali sufficienti.

Sebbene reti neurali di dimensioni maggiori possiedano generalmente una maggiore capacità di rappresentazione, studi successivi hanno dimostrato che le prestazioni dipendono dall’equilibrio tra tre fattori strettamente interconnessi:

• il numero di parametri del modello;
• la quantità e la qualità dei dati di addestramento;
• le risorse computazionali disponibili per il training.

L’addestramento efficace di un LLM richiede pertanto un bilanciamento ottimale tra questi tre elementi, piuttosto che la massimizzazione di uno solo di essi. Un modello molto esteso addestrato su pochi dati o su dati di scarsa qualità tenderà infatti a ottenere prestazioni inferiori rispetto a un modello opportunamente dimensionato e addestrato su un corpus più ampio e accuratamente selezionato.

Allo stesso modo, un’enorme disponibilità di dati non può compensare un modello troppo piccolo o risorse computazionali insufficienti. Di conseguenza, lo sviluppo dei moderni LLM consiste nel trovare il giusto equilibrio tra dimensione del modello, qualità e quantità dei dati e capacità di calcolo disponibili, come dimostrato dalle recenti ricerche sulle leggi di scalabilità (scaling laws) e sul cosiddetto compute-optimal training [Kaplan et al., 2020], [Hoffmann et al., 2022]

Perché i modelli più grandi non sono necessariamente i migliori

La relazione tra la dimensione del modello, la quantità di dati di addestramento e le risorse computazionali è descritta dalle cosiddette leggi di scalabilità (scaling laws), ossia modelli empirici che spiegano come le prestazioni evolvano al crescere del numero di parametri, della quantità di dati e della capacità di calcolo disponibile.

Gli studi condotti inizialmente da OpenAI e successivamente perfezionati dai ricercatori di DeepMind hanno dimostrato che l’errore di previsione diminuisce secondo relazioni matematiche prevedibili, riconducibili a leggi di potenza (power laws). Tuttavia, tali miglioramenti sono soggetti a rendimenti decrescenti: all’aumentare degli investimenti in dati, parametri e potenza di calcolo, i benefici ottenuti diventano progressivamente più contenuti. Di conseguenza, raddoppiare il numero di parametri non significa raddoppiare le capacità di ragionamento o di comprensione linguistica del modello [Kaplan et al., 2020].

Un’analogia utile è quella dello studente universitario. Uno studente acquisisce un notevole incremento di conoscenze passando da una a due ore di studio al giorno; al contrario, il miglioramento ottenuto passando da dieci a undici ore è molto più limitato, poiché le basi sono già state assimilate.

L’addestramento di un LLM segue una dinamica analoga. Nelle fasi iniziali il modello apprende rapidamente la grammatica, il vocabolario e le principali relazioni semantiche. Successivamente, l’acquisizione di schemi linguistici e statistici sempre più complessi richiede quantità molto maggiori di dati e di risorse computazionali, producendo però miglioramenti relativamente modesti. Questo dimostra perché le risorse di calcolo debbano essere allocate in modo strategico, anziché essere semplicemente aumentate indiscriminatamente.

Il rischio del “sotto-addestramento”

Un importante progresso nella comprensione di questo compromesso è stato introdotto dallo studio Chinchilla [Hoffmann et al., 2022]. Mettendo in discussione l’idea, fino ad allora largamente condivisa, secondo cui modelli sempre più grandi fossero inevitabilmente migliori, gli autori hanno dimostrato che molti dei modelli linguistici allo stato dell’arte risultavano in realtà sotto-addestrati, ossia dotati di un numero di parametri superiore a quello che poteva essere efficacemente ottimizzato con i dati disponibili. A parità di budget computazionale, i ricercatori hanno evidenziato come un modello di dimensioni moderate, addestrato su una quantità significativamente maggiore di dati di alta qualità, può superare le prestazioni di un modello molto più grande addestrato su un numero inferiore di token. Questa scoperta ha profondamente modificato l’approccio allo sviluppo dei moderni LLM, spostando l’attenzione dalla semplice massimizzazione del numero di parametri verso l’ottimizzazione dell’equilibrio tra dimensione del modello, qualità del dataset ed efficienza computazionale.

La qualità dei dati per l’addestramento

L’importanza della qualità dei dati emerge chiaramente considerando la natura estremamente eterogenea dei testi disponibili su Internet. Le fonti pubblicamente accessibili comprendono documenti duplicati, pagine web incomplete, articoli contenenti informazioni distorte (bias), contenuti generati automaticamente, spam, informazioni obsolete o contraddittorie, errori di programmazione e testi linguisticamente incoerenti. Se tali materiali venissero utilizzati senza un’adeguata selezione, il modello apprenderebbe schemi statistici indesiderati che potrebbero compromettere le sue prestazioni.

Per questo motivo, lo sviluppo dei moderni LLM dedica una parte significativa del processo di addestramento alla curation e alla preparazione del dataset prima ancora che il training abbia inizio. Le principali attività comprendono l’identificazione della lingua, la valutazione della qualità dei documenti, l’eliminazione dei duplicati, il filtraggio di contenuti offensivi o indesiderati, la rimozione di testi generati automaticamente o corrotti e l’esclusione di pagine web considerate di scarso valore informativo. Queste procedure migliorano sia l’efficienza dell’addestramento sia l’affidabilità del modello finale [Bommasani et al., 2022], [Touvron et al., 2023].

Altrettanto importante è la diversità del corpus di addestramento. Un modello addestrato esclusivamente su articoli scientifici potrebbe eccellere nella scrittura tecnica, ma risultare poco naturale nelle conversazioni quotidiane. Al contrario, un modello addestrato prevalentemente sui contenuti dei social media potrebbe produrre dialoghi molto fluidi, pur mostrando una minore precisione in contesti accademici o specialistici. Per questa ragione, i moderni dataset combinano libri, enciclopedie, articoli di giornale, siti web, codice sorgente, pubblicazioni scientifiche, documentazione tecnica, risorse educative e dati conversazionali accuratamente selezionati. L’obiettivo non è semplicemente massimizzare la quantità di testo disponibile, ma esporre il modello a una grande varietà di stili linguistici, domini di conoscenza e schemi di ragionamento, favorendo una migliore capacità di generalizzazione e riducendo la sovrarappresentazione di particolari tipologie di contenuto.

Nel loro insieme, le scaling laws e il principio del Garbage In, Garbage Out (GIGO) hanno profondamente trasformato lo sviluppo dei moderni LLM. Piuttosto che inseguire reti neurali sempre più grandi, le principali aziende che operano nel settore dell’AI concentrano oggi i propri sforzi sulla costruzione di dataset di elevata qualità, sull’utilizzo efficiente delle risorse computazionali e sul raggiungimento del cosiddetto compute-optimal training, ossia del miglior equilibrio possibile tra dimensione del modello, qualità dei dati e capacità di calcolo. Sistemi come ChatGPT, Gemini, Claude e Llama dimostrano infatti che prestazioni elevate non derivano semplicemente dall’aumento della scala del modello, ma dall’integrazione efficace di dati accuratamente selezionati, tecniche di ottimizzazione avanzate e investimenti computazionali opportunamente bilanciati.

Il workflow di addestramento (training pipeline)

Sebbene le diverse organizzazioni implementino varianti proprietarie del workflow di addestramento (training pipeline), il processo complessivo si è progressivamente standardizzato nel settore dei LLM. OpenAI, Google DeepMind, Anthropic, Meta e gli altri principali laboratori di ricerca iniziano infatti raccogliendo enormi quantità di dati testuali, che vengono successivamente “puliti”, filtrati, deduplicati e trasformati in un formato idoneo all’addestramento di reti neurali su larga scala. Ogni fase della pipeline richiede la soluzione di numerose sfide tecniche legate alla qualità dei dati, all’efficienza computazionale, alla stabilità degli algoritmi di ottimizzazione e alla sicurezza del modello.

Ricerche recenti hanno dimostrato che dataset accuratamente selezionati e sottoposti a un rigoroso processo di bonifica dei dati (data curation) consentono spesso di ottenere prestazioni superiori rispetto a raccolte di dati molto più grandi ma di qualità inferiore, evidenziando come la qualità dei dati di addestramento possa essere importante quanto la loro quantità complessiva [Hoffmann et al., 2022].

Tornando all’analogia universitaria, si può confrontare l’addestramento di un LLM con il percorso formativo di uno studente universitario. In particolare, consentire a uno studente di accedere a tutti i libri mai scritti non garantirebbe necessariamente un’istruzione di qualità considerando che molti testi potrebbero contenere informazioni duplicate, errori fattuali, spiegazioni contraddittorie, testi scritti in modo approssimativo o contenuti distorti (biased). Gli insegnanti, al contrario, selezionano con attenzione i libri di testo più autorevoli, evitano informazioni obsolete, organizzano gli argomenti secondo una progressione logica e guidano lo studente durante l’intero percorso di apprendimento.

L’addestramento dei moderni LLM segue una filosofia sorprendentemente simile. Prima ancora che il modello inizi ad apprendere le regolarità del linguaggio, vengono investite enormi risorse nella selezione di fonti affidabili, nell’eliminazione dei contenuti ridondanti, nel bilanciamento dei diversi domini di conoscenza e nella costruzione di un corpus sufficientemente ampio, diversificato e rappresentativo del linguaggio umano. Questa fase preparatoria costituisce le fondamenta su cui si sviluppano tutte le successive attività di addestramento e determina in larga misura le capacità e i limiti del modello finale [Bommasani et al., 2022], [Touvron et al., 2023].

Le fasi della training pipeline

Il workflow di addestramento è organizzato nelle seguenti fasi principali (fig. 1):

• Raccolta dei dati (Data Collection)
• Pulizia e cura dei dati (Data Cleaning and Curation)
• Tokenizzazione (Tokenization)
• Preparazione del dataset (Dataset Preparation)
• Pre-training auto-supervisionato (Self-Supervised Pre-training)
• Affinamento supervisionato (Supervised Fine-Tuning , SFT)
• Addestramento orientato alle istruzioni/richieste utente (Instruction Tuning)
• Allineamento alle preferenze umane (Preference Alignment)
• Test di sicurezza e valutazione del modello (Safety Testing and Evaluation)

Cominciamo allora a vedere queste fasi con le loro caratteristiche. Completeremo la trattazione nell’XI parte di questa serie, che sarà pubblicata sul prossimo numero di MokaByte.

Raccolta dati (Data Collection)

Questa fase consiste nella raccolta di enormi quantità di dati testuali provenienti da una molteplicità di fonti. I dataset utilizzati comprendono generalmente pagine web pubblicamente accessibili, libri, enciclopedie, pubblicazioni scientifiche, documentazione tecnica, repository di codice sorgente, corpora multilingue e contenuti acquisiti tramite accordi di licenza. L’obiettivo è esporre il modello alla più ampia varietà possibile di stili di scrittura, concetti, fatti e schemi di ragionamento, riducendo al contempo i bias derivanti da dataset troppo limitati o poco rappresentativi [Brown et al., 2020], [Bommasani et al., 2022].

Il processo di raccolta dei dati comprende diverse attività, tra cui la selezione delle fonti, la negoziazione degli accordi di licenza, il web crawling, il download di database pubblici e l’acquisizione di altri contenuti autorizzati. Alcune di queste attività, in particolare quelle che comportano decisioni di natura strategica, legale o commerciale, richiedono necessariamente l’intervento di esperti e vengono svolte manualmente. Altre, come il web crawling e l’acquisizione di dataset pubblicamente disponibili, sono invece altamente automatizzate e si basano su software specializzati in grado di raccogliere informazioni su scala Internet.

Pulizia e cura dei dati (Data Cleaning and Curation)

I dati grezzi e, in particolare, quelli provenienti direttamente da Internet non possono essere utilizzati per l’addestramento dei modelli senza un’adeguata preparazione, poiché contengono documenti duplicati, spam, file corrotti, formati incoerenti, testi generati automaticamente, informazioni inesatte o distorte (biased) e numerose altre forme di contenuti di scarsa qualità. Inoltre, accanto a materiale di natura educativa, scientifica e commerciale perfettamente legittimo, Internet ospita anche contenuti prodotti da organizzazioni criminali, gruppi estremisti, truffatori, propagandisti e altri soggetti che mirano a manipolare o ingannare i lettori. Se tali contenuti dovessero venire incorporati nel corpus di addestramento senza un adeguato processo di filtraggio e cura, il modello potrebbe apprendere schemi statistici indesiderati, aumentando la probabilità di generare risposte distorte, fuorvianti o potenzialmente dannose, come dimostrato da alcuni modelli sviluppati nelle prime fasi dell’evoluzione dell’AI.

Durante questa fase vengono applicate sofisticate procedure di filtraggio e controllo della qualità, finalizzate ad eliminare dati non idonei, rimuovere i documenti duplicati, normalizzare i formati e migliorare la qualità complessiva del corpus di addestramento. Questa attività combina processi altamente automatizzati con interventi mirati da parte di esperti. Nei moderni LLM, la maggior parte della pipeline di pulizia dei dati è largamente automatizzata, mentre gli specialisti definiscono le regole di filtraggio, verificano i risultati ottenuti e revisionano manualmente soltanto campioni selezionati o dataset di particolare valore. Tra le principali attività automatizzate rientrano il rilevamento dello spam, la valutazione della qualità dei documenti (quality scoring), l’identificazione di contenuti tossici (toxicity detection), il riconoscimento della lingua, l’eliminazione dei duplicati, la rimozione di file corrotti e numerosi altri controlli finalizzati a garantire l’affidabilità del corpus di addestramento.

Ricerche recenti hanno dimostrato che un’attenta attività di cura dei dati esercita un’influenza determinante sulle prestazioni del modello e, in molti casi, può risultare altrettanto importante dell’aumento del numero dei parametri della rete neurale (Hoffmann et al., 2022).

Tokenizzazione (Tokenization)

Prima che l’addestramento possa avere inizio, ogni documento deve essere convertito in una rappresentazione numerica che la rete neurale sia in grado di elaborare. Come illustrato in precedenza, questo processo prende il nome di tokenizzazione (tokenization) e consiste nel suddividere il testo in unità elementari denominate token. A seconda del metodo di tokenizzazione (tokenizer) utilizzato, un token può corrispondere a un’intera parola, a una parte di parola, a un segno di punteggiatura o persino a un singolo carattere. Ciascun token viene quindi associato a un identificatore numerico univoco, che rappresenta l’input effettivamente elaborato dal modello durante il processo di addestramento [Goodfellow et al., 2016], [Brown et al., 2020].

Preparazione dei dati (Dataset Preparation)

Una volta completata la tokenizzazione, questi dati numerici vengono organizzati in esempi di addestramento (training examples). Questa fase è quasi interamente automatizzata, poiché i moderni corpus di addestramento contengono miliardi di documenti e migliaia di miliardi di token, una quantità di dati impossibile da gestire manualmente.

Il primo passo consiste nel suddividere ciascun documento in sequenze di token di lunghezza prefissata, comunemente denominate esempi di addestramento. Poiché una rete neurale non è in grado di elaborare contemporaneamente un intero libro o una pagina web, i documenti più lunghi vengono suddivisi in segmenti più piccoli compatibili con la finestra di contesto (context window) massima del modello. Ad esempio, un capitolo di un libro contenente migliaia di parole può essere suddiviso in decine di sequenze di token parzialmente sovrapposte, ciascuna delle quali costituisce un esempio di addestramento indipendente (Brown et al., 2020). Gli esempi di addestramento sono spesso parzialmente sovrapposti, in modo che il modello possa preservare il contesto tra segmenti di testo consecutivi. Questa sovrapposizione riduce la perdita di informazioni ai confini delle sequenze e aiuta il modello ad apprendere relazioni che si estendono oltre la lunghezza di un singolo esempio di addestramento.

Prima dell’avvio dell’addestramento, gli esempi così ottenuti vengono successivamente mescolati in modo casuale (random shuffling). Questa operazione impedisce al modello di apprendere i documenti nel loro ordine originale e garantisce che ogni batch di addestramento contenga esempi provenienti da domini, argomenti e stili di scrittura differenti. La randomizzazione aumenta la diversità statistica del dataset e favorisce una migliore capacità di generalizzazione, evitando che il modello memorizzi semplicemente la sequenza originaria dei documenti [Goodfellow et al., 2016].

Ulteriore suddivisione del dataset

Successivamente, il dataset viene suddiviso in tre insiemi ben distinti:

• Training dataset, insieme di dati di addestramento, utilizzato per ottimizzare i parametri del modello.
• Validation dataset, insieme dati di validazione, impiegato durante l’addestramento per monitorare le prestazioni, individuare fenomeni di overfitting e ottimizzare iperparametri del modello.
• Test dataset, insieme dati di test, riservato esclusivamente alla valutazione finale del modello una volta completato il processo di addestramento.

Mantenere una rigorosa separazione tra questi tre insiemi di dati è fondamentale, poiché consente di ottenere una valutazione imparziale della capacità del modello di generalizzare correttamente su dati mai osservati in precedenza.

Sebbene quasi tutte queste operazioni siano eseguite automaticamente, gli esperti svolgono un ruolo essenziale di supervisione. I data engineer definiscono le regole di preparazione del dataset, stabiliscono le strategie di campionamento, verificano la distribuzione statistica dei dati e analizzano campioni rappresentativi del corpus, assicurandosi che il dataset finale sia sufficientemente bilanciato, diversificato e coerente con gli obiettivi del modello.

Conclusioni

Abbiamo visto in questo articolo quanto sia importante l’addestramento dei modelli LLM e quali aspetti occorra tener presenti per effettuarlo nel modo migliore. L’iniziale sbilanciamento verso la quantità di dati da sottoporre al modello LLM è oggi stato superato dalla consapevolezza che conti molto di più l’equilibrio fra il numero di parametri del modello, la quantità e la qualità dei dati di addestramento, le risorse computazionali disponibili per il training.

L’addestramento si svolge su svariate fasi differenziate: abbiamo cominciato a vederle in questo articolo e ne concluderemo l’analisi nel prossimo numero.

Riferimenti

[Goodfellow et al., 2016] Ian Goodfellow, Yoshua Bengio & Aaron Courville, Deep Learning. MIT Press
https://www.deeplearningbook.org/

[Vaswani et al. 2023] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, Attention Is All You Need
https://arxiv.org/abs/1706.03762

[Brown et al., 2020] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei, Language Models are Few-Shot Learners.
https://arxiv.org/abs/2005.14165

[Rumelhart et al., 1986] David E. Rumelhart, Geoffrey E. Hinton, & Ronald J Williams, Learning representations by back-propagating errors. Nature 323, 533–536 (1986)
https://doi.org/10.1038/323533a0

[Hoffmann et al., 2022] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre, Training Compute-Optimal Large Language Models.
https://arxiv.org/abs/2203.15556

[Ouyang et al., 2022] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe, Training language models to follow instructions with human feedback.
https://arxiv.org/abs/2203.02155

[Bai et al., 2022] Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, Jared Kaplan, Constitutional AI: Harmlessness from AI Feedback.
https://arxiv.org/abs/2212.08073

[Bommasani et al., 2022] Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie Chen, Kathleen Creel, Jared Quincy Davis, Dora Demszky, Chris Donahue, Moussa Doumbouya, et alii, On the Opportunities and Risks of Foundation Models.
https://arxiv.org/abs/2108.07258

[Wu et al., 2024] Tongtong Wu, Linhao Luo, Yuan-Fang Li, Shirui Pan, Thuy-Trang Vu, Gholamreza Haffari, Continual Learning for Large Language Models: A Survey.
https://arxiv.org/abs/2402.01364

[Lewis et al., 2021] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
https://arxiv.org/abs/2005.11401

[Gao et al., 2024]  Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Meng Wang, Haofen Wang, Retrieval-Augmented Generation for Large Language Models: A Survey.
https://arxiv.org/abs/2312.10997

[Anthropic, 2026] Anthropic, Detecting and preventing distillation attacks.
https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks

[Hinton et al., 2015] Geoffrey Hinton, Oriol Vinyals, Jeff Dean, Distilling the Knowledge in a Neural Network.
https://arxiv.org/abs/1503.02531

[Jagielski et al., 2020] Matthew Jagielski, Nicholas Carlini, David Berthelot, Alex Kurakin, Nicolas Papernot, High Accuracy and High Fidelity Extraction of Neural Networks. https://arxiv.org/abs/1909.01838

[OpenAI, 2024] OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila, Igor Babuschkin, Suchir Balaji, Valerie Balcom, Paul Baltescu, Haiming Bao, Mohammad Bavarian, Jeff Belgum, Irwan Bello, Jake Berdine, Gabriel Bernadett-Shapiro, Christopher Berner, Lenny Bogdonoff, Oleg Boiko, Madelaine Boyd, Anna-Luisa Brakman, Greg Brockman et alii, GPT-4 Technical Report.
https://arxiv.org/abs/2303.08774

[Jouppi et al., 2017] Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, Rick Boyle, Pierre-luc Cantin, Clifford Chao, Chris Clark, Jeremy Coriell, Mike Daley, Matt Dau, Jeffrey Dean, Ben Gelb, et alii,
In-Datacenter Performance Analysis of a Tensor Processing Unit. ISCA
https://arxiv.org/abs/1704.04760

[Dettmers et al., 2023] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer, QLoRA: Efficient Finetuning of Quantized LLMs.
https://arxiv.org/abs/2305.14314 , May 2023

[Kaplan et al., 2020] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei, Scaling Laws for Neural Language Models.
https://arxiv.org/abs/2001.08361

[Touvron et al., 2023] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample, LLaMA: Open and Efficient Foundation Language Models.
https://arxiv.org/abs/2302.13971

[Devlin et al., 2019] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
https://arxiv.org/abs/1810.04805

[Kingma & Ba, 2017] Diederik P. Kingma, Jimmy Ba, Adam: A Method for Stochastic Optimization.
https://arxiv.org/abs/1412.6980

[Wei et al., 2023] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.
https://arxiv.org/abs/2201.11903

[Cottier et al., 2025] Ben Cottier, Robi Rahman, Loredana Fattorini, Nestor Maslej, Tamay Besiroglu, David Owen, The rising costs of training frontier AI models.
https://arxiv.org/abs/2405.21015