Il recupero del contesto estrae informazioni esterne su richiesta, mentre la memoria parametrica memorizza le conoscenze incorporate nei pesi del modello durante l'addestramento. Entrambi influenzano il modo in cui i modelli linguistici di grandi dimensioni rispondono alle domande, ma differiscono notevolmente in termini di flessibilità, accuratezza e aggiornabilità. Comprendere i loro compromessi aiuta a spiegare perché i moderni sistemi di intelligenza artificiale spesso combinano entrambi gli approcci.
Un metodo in cui i modelli lineari linguistici (LLM) recuperano informazioni esterne pertinenti in fase di inferenza per basare le loro risposte su conoscenze aggiornate o specializzate.
Conoscenza codificata direttamente nei miliardi di parametri di un modello linguistico attraverso il pre-addestramento e la messa a punto.
| Funzionalità | Recupero del contesto | Memoria parametrica nei LLM |
|---|---|---|
| Posizione di archiviazione della conoscenza | Database vettoriale esterno o archivio di documenti | Codificati all'interno dei pesi del modello (parametri) |
| Metodo di aggiornamento | Aggiungere o modificare documenti nell'indice | Riaddestrare o perfezionare il modello |
| Impatto della latenza | Aggiunge un overhead di recupero (in genere da 50 a 200 ms) | Nessuna latenza aggiuntiva oltre all'inferenza del modello. |
| Rischio di allucinazioni | Minore quando il recupero è accurato | Maggiore per fatti oscuri o recenti |
| Scalabilità della conoscenza | Si adatta alle dimensioni del database, praticamente illimitato | Limitato dal numero di parametri e dai dati di addestramento |
| Costo dell'aggiornamento | Bassi (solo costi di archiviazione e indicizzazione) | Molto elevato (ore di utilizzo della GPU, preparazione dei dati) |
| Attribuzione della fonte | Può citare passaggi e documenti precisi | Non posso indicare fonti di formazione specifiche |
| Caso d'uso ideale | Dati specifici del dominio, che cambiano frequentemente | Ragionamento generale, fluidità linguistica, cultura generale |
Il recupero contestuale costruisce la conoscenza in modo dinamico indicizzando i documenti e ricercandoli al momento della query. Il modello stesso rimane invariato, ma la sua conoscenza effettiva cresce ogni volta che si espande la raccolta di documenti. La memoria parametrica funziona in modo opposto: la conoscenza viene compressa in aggiornamenti dei pesi durante l'addestramento, quindi il modello gestisce tutto internamente. Questa differenza fondamentale influenza ogni aspetto, dal costo all'accuratezza.
sistemi di recupero tendono a essere meno inclini a falsificazioni quando si tratta di domande fattuali, perché il modello può basarsi sul testo originale anziché su supposizioni derivanti da schemi ricorrenti. Tuttavia, se il sistema recupera documenti irrilevanti, il modello può comunque produrre risposte palesemente errate. La memoria parametrica è più soggetta a falsificazioni, soprattutto per argomenti di nicchia o eventi recenti, poiché il modello deve ricostruire i fatti a partire da rappresentazioni compresse.
Mantenere aggiornata la memoria parametrica è un'operazione complessa. L'aggiunta di nuove informazioni solitamente implica la messa a punto del modello, che richiede set di dati selezionati, tempo di calcolo e un'attenta valutazione. Il recupero contestuale aggira completamente questo problema, consentendo di scambiare documenti all'interno e all'esterno dell'indice. Un'organizzazione giornalistica, ad esempio, può fornire al proprio chatbot i titoli del giorno tramite il recupero contestuale senza dover modificare i pesi del modello.
La memoria parametrica richiede un ingente investimento iniziale nell'infrastruttura di addestramento, ma ripaga con un'inferenza a basso costo su larga scala. Il recupero sposta i costi verso la manutenzione di un database vettoriale e la gestione di una latenza leggermente superiore per query. Per le startup, il recupero è spesso la scelta pragmatica perché evita le ingenti spese di addestramento multimilionarie che i fornitori di modelli di base si fanno carico.
Un singolo modello di base può servire domini molto diversi tramite il recupero delle informazioni, poiché è sufficiente cambiare l'indice dei documenti. Vi serve un assistente legale oggi e uno medico domani? Cambiate il corpus di recupero. La memoria parametrica integra la specializzazione nel modello stesso, motivo per cui esistono modelli specifici per dominio come BloombergGPT, ma adattarli a nuovi domini richiede un nuovo addestramento.
Oggigiorno la maggior parte dei sistemi di produzione integra entrambi gli approcci. Il recupero delle informazioni gestisce le informazioni fattuali e proprietarie, mentre la memoria parametrica fornisce la fluidità linguistica, la capacità di ragionamento e la conoscenza generale del mondo che rendono le risposte coerenti. Framework come LangChain e LlamaIndex semplificano l'integrazione del recupero delle informazioni in qualsiasi modello di base, considerando la conoscenza parametrica come punto di partenza e il recupero come elemento di miglioramento.
RAG elimina completamente le allucinazioni nelle LLM.
Il recupero delle informazioni riduce le allucinazioni per le query fattuali, ma non le elimina del tutto. Se il sistema di recupero recupera documenti irrilevanti o se il modello ignora il contesto, le allucinazioni persistono. RAG sposta il problema dalle lacune di conoscenza alla qualità del recupero.
I modelli più grandi ricordano più informazioni con precisione.
I modelli più grandi immagazzinano, in un certo senso, più conoscenza, ma tendono anche a generare allucinazioni con maggiore sicurezza. Gli studi dimostrano che persino GPT-4 fabbrica citazioni e inventa statistiche, soprattutto su argomenti sottorappresentati nei dati di addestramento.
La memoria parametrica e il recupero sono approcci concorrenti.
Sono complementari. I moderni sistemi di intelligenza artificiale le combinano quasi sempre entrambe, utilizzando la conoscenza parametrica per il ragionamento e la fluidità linguistica, mentre si affidano al recupero di informazioni per la verifica fattuale e per i dati proprietari.
La messa a punto insegna a un modello nuovi fatti in modo affidabile.
La messa a punto è più efficace nell'insegnare stile e formato che nell'introdurre nuove conoscenze. I modelli spesso non riescono a ricordare in modo coerente i fatti appresi tramite la messa a punto, un fenomeno che i ricercatori chiamano "maledizione della recenza" o oblio catastrofico.
I database vettoriali comprendono il significato del testo.
I database vettoriali memorizzano rappresentazioni numeriche e svolgono ricerche di similarità. Non comprendono la semantica; si limitano a trovare vettori matematicamente simili. Il significato deriva dal modello di embedding che ha generato tali vettori.
Scegli il recupero contestuale quando i tuoi dati cambiano frequentemente, quando hai bisogno di citazioni delle fonti o quando lavori con conoscenze proprietarie o specializzate che non erano presenti nel set di addestramento del modello. Affidati alla memoria parametrica per il ragionamento generale, la fluidità conversazionale e gli scenari in cui la bassa latenza è più importante della perfetta accuratezza fattuale. In pratica, i sistemi più efficienti combinano entrambi gli approcci, utilizzando il recupero per dare fondamento ai fatti e la conoscenza parametrica per gestire tutto il resto.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
