La tokenizzazione basata sui dati apprende regole di suddivisione da grandi corpus di testo utilizzando metodi statistici o neurali, mentre la tokenizzazione basata su regole si affida a modelli linguistici e dizionari creati manualmente. Entrambi gli approcci scompongono il testo in unità significative, ma differiscono notevolmente in termini di flessibilità, accuratezza e requisiti computazionali.
Un approccio di apprendimento automatico che individua automaticamente i confini dei token analizzando i modelli presenti in grandi insiemi di dati testuali.
Un approccio tradizionale che suddivide il testo utilizzando regole linguistiche predefinite, espressioni regolari ed elenchi di parole selezionati.
| Funzionalità | Tokenizzazione basata sui dati | Tokenizzazione basata su regole |
|---|---|---|
| Approccio | Apprende da grandi corpus di testo utilizzando metodi statistici o neurali. | Utilizza regole create manualmente, modelli regex e dizionari. |
| È richiesta formazione. | Sì, richiede una quantità considerevole di dati testuali annotati o non elaborati. | No, le regole vengono scritte manualmente dagli sviluppatori. |
| Gestione delle parole sconosciute | Scompone le parole rare in unità sub-parolali note | Spesso non funziona o richiede aggiornamenti manuali del dizionario |
| Interpretazione | Inferiore, poiché i modelli appresi sono incorporati nei pesi del modello | Elevato, ogni regola può essere letta e verificata |
| Capacità di adattamento alle nuove lingue | Facilmente addestrabile su nuovi corpora | Richiede la creazione di nuovi set di regole da zero |
| Costo computazionale | Più performante durante l'addestramento, veloce nell'inferenza | Basso rendimento complessivo, funziona con hardware minimo |
| Algoritmi comuni | BPE, WordPiece, Unigram LM, SentencePiece | Divisione delle espressioni regolari, rimozione degli affissi, ricerca nel dizionario |
| Utilizzato da | GPT, BERT, RoBERTa, T5 e la maggior parte dei moderni LLM | NLTK, pipeline di regole spaCy, sistemi NLP legacy |
tokenizzatori basati sui dati analizzano i modelli di frequenza in milioni di frasi per decidere dove termina un token e ne inizia un altro. Ad esempio, BPE parte dai singoli caratteri e unisce ripetutamente le coppie adiacenti più frequenti fino a raggiungere una dimensione di vocabolario target. I tokenizzatori basati su regole, al contrario, applicano una sequenza fissa di operazioni come la suddivisione in base agli spazi bianchi, la rimozione della punteggiatura o l'eliminazione di suffissi come "-ing" e "-ed" in base a tabelle morfologiche predefinite.
Uno dei maggiori punti di forza dei metodi basati sui dati è la capacità di gestire con eleganza le parole mai viste prima dal modello. Un termine medico raro come "pneumonoultramicroscopicsilicovolcanoconiosis" viene scomposto in sottoparole familiari che il modello già comprende. I sistemi basati su regole, in genere, si imbattono in parole di questo tipo, lasciandole come un unico token sovradimensionato oppure ignorandole completamente, a meno che qualcuno non le aggiunga manualmente a un dizionario.
tokenizer basati su regole vincono in termini di trasparenza. Uno sviluppatore può aprire il file delle regole, leggere esattamente come viene suddiviso il testo e risalire a uno schema specifico in caso di output inatteso. I tokenizer basati sui dati si comportano più come scatole nere, dove lo stesso input produce sempre lo stesso output, ma spiegare perché è stata scelta una particolare suddivisione richiede l'analisi delle statistiche di addestramento o dei dettagli interni del modello.
L'addestramento di un tokenizzatore basato sui dati richiede notevoli risorse di calcolo e di archiviazione, spesso elaborando decine di gigabyte di testo per costruire un vocabolario di qualità. Una volta addestrato, l'inferenza è rapida e il file del tokenizzatore è di dimensioni ridotte. I tokenizzatori basati su regole non necessitano di quasi nessuna risorsa per essere creati o eseguiti, il che li rende interessanti per sistemi a bassa latenza, dispositivi embedded o progetti in cui non è disponibile un'infrastruttura di addestramento.
Gli approcci basati sui dati si adattano naturalmente alle nuove lingue semplicemente riaddestrandoli su un nuovo corpus; ecco perché modelli multilingue come XLM-Roberta possono coprire decine di lingue con un unico tokenizzatore. I sistemi basati su regole richiedono competenze linguistiche specifiche per ogni nuova lingua, poiché le regole relative agli affissi, le classi di caratteri e gli elenchi di parole devono essere creati manualmente da qualcuno che conosca bene la morfologia.
Per le moderne attività di elaborazione del linguaggio naturale (NLP), i tokenizzatori basati sui dati superano costantemente quelli basati su regole nei benchmark che coinvolgono testo rumoroso, social media o codice. I tokenizzatori basati su regole mantengono comunque la loro validità in ambiti ben strutturati come documenti legali o testi formali, dove la prevedibilità della suddivisione e la leggibilità delle regole sono più importanti della gestione dei casi limite.
La tokenizzazione basata su regole è obsoleta e non viene più utilizzata nell'intelligenza artificiale moderna.
I tokenizzatori basati su regole rimangono comuni nelle pipeline NLP di produzione, soprattutto per le fasi di pre-elaborazione come la suddivisione delle frasi, la normalizzazione e il rilevamento della lingua. Molti sistemi moderni combinano metodi basati su regole e metodi basati sui dati, anziché sostituire l'uno con l'altro.
La tokenizzazione basata sui dati produce sempre risultati migliori rispetto ai metodi basati su regole.
La qualità dipende fortemente dal corpus di addestramento e dal compito. Un tokenizzatore basato sui dati, se addestrato in modo inadeguato, può avere prestazioni inferiori rispetto a uno basato su regole ben ottimizzato, soprattutto su testi specifici di un determinato dominio, dove i dati di addestramento non corrispondono alla distribuzione di destinazione.
La tokenizzazione consiste semplicemente nel suddividere il testo in base agli spazi.
tokenizzatori reali gestiscono punteggiatura, contrazioni, espressioni multi-parola, emoji e unità sub-parola. La semplice suddivisione in spazi bianchi non riesce a gestire la maggior parte della complessità che la tokenizzazione è progettata per risolvere.
Una volta addestrato, un tokenizzatore basato sui dati non necessita mai di aggiornamenti.
Il vocabolario si modifica con l'evolversi della lingua, la comparsa di nuovi termini gergali e la diffusione di espressioni specifiche di un determinato ambito. Molti team riaddestrano o estendono periodicamente i propri tokenizzatori per stare al passo con la mutevole distribuzione dei testi.
Tutti i moderni LLM utilizzano lo stesso tokenizzatore.
Le diverse famiglie di modelli utilizzano schemi di tokenizzazione differenti. I modelli GPT utilizzano BPE, BERT utilizza WordPiece e T5 utilizza SentencePiece. Queste scelte influenzano in modo misurabile la dimensione del vocabolario, il numero di token e le prestazioni a valle.
Scegli la tokenizzazione basata sui dati quando crei moderni sistemi NLP o LLM che devono gestire un vocabolario eterogeneo, più lingue o testi reali complessi. Scegli la tokenizzazione basata su regole quando hai bisogno di massima trasparenza, un carico computazionale minimo o stai lavorando in un ambito ristretto in cui le regole definite manualmente descrivono già bene il linguaggio.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
