Self-RAG introduce un livello di recupero autoriflessivo che consente ai modelli linguistici di criticare e adattare i propri output, mentre le pipeline RAG standard si basano su un flusso di lavoro fisso di recupero e successiva lettura. La differenza fondamentale risiede nel controllo adattivo rispetto all'esecuzione lineare e prevedibile.
Un framework potenziato dal recupero delle informazioni, in cui il modello valuta e decide autonomamente quando recuperare le informazioni.
Un approccio tradizionale di generazione aumentata tramite recupero che recupera prima i documenti e poi li fornisce a un modello linguistico.
| Funzionalità | Self-RAG | Condotte RAG standard |
|---|---|---|
| Strategia di recupero | Adattivo, il modello decide quando recuperare | Recupera sempre prima di rispondere |
| Autovalutazione | Token di riflessione integrati per il controllo qualità | Nessun meccanismo di critica interna |
| Costo computazionale | Minore quando il recupero viene saltato | Costo fisso per query |
| Accuratezza della risposta | Maggiore efficacia nei compiti di ragionamento complesso | Forte ma può includere contesto irrilevante |
| Complessità di implementazione | Pipeline di addestramento più complessa | Più semplice da implementare e gestire |
| Flessibilità | Si adatta dinamicamente a ogni query | Flusso di lavoro fisso indipendentemente dal tipo di query |
| Requisiti di formazione | Necessita di dati con etichettatura di riflessione | È sufficiente una messa a punto fine standard |
| Latenza | Variabile a seconda delle decisioni di recupero | Latenza prevedibile a due fasi |
Il RAG standard opera su una semplice pipeline a due fasi in cui un recuperatore recupera i documenti pertinenti e un generatore produce una risposta condizionata da tale contesto. Self-RAG sovrappone un processo decisionale, consentendo al modello di emettere token di riflessione che determinano se è necessario il recupero e se l'output è fondato. Questo rende Self-RAG più modulare dal punto di vista concettuale, mentre il RAG standard rimane più semplice e facile da comprendere.
Nel RAG standard, ogni query attiva una fase di recupero indipendentemente dal fatto che il modello possieda già le informazioni necessarie. Self-RAG inverte questo approccio, addestrando il modello a valutare quando le informazioni esterne sono effettivamente necessarie. Per le domande fattuali a cui il modello può rispondere utilizzando i propri pesi, Self-RAG salta completamente la fase di recupero, riducendo il rumore e velocizzando le risposte.
Self-RAG introduce quattro token di riflessione che fungono da punti di controllo durante l'intero processo di generazione. Questi token consentono al modello di segnalare le affermazioni non supportate e di riprovare quando le prove sono deboli. Il RAG standard non ha un ciclo di feedback interno di questo tipo, quindi risposte errate o fuori tema possono sfuggire al controllo a meno che non vengano aggiunti dei meccanismi di controllo esterni.
Su benchmark come PopQA, ARC-Challenge e PubHealth, Self-RAG ha dimostrato miglioramenti misurabili rispetto ai modelli RAG standard, in particolare per le domande che richiedono un ragionamento multi-hop. Il RAG standard continua a funzionare bene nelle semplici ricerche fattuali in cui il recupero individua in modo affidabile il passaggio corretto. Il divario prestazionale si amplia con l'aumentare della complessità della domanda.
Il RAG standard rimane la scelta predefinita per la maggior parte dei sistemi di produzione perché si integra perfettamente con i database vettoriali esistenti e non richiede dati di addestramento specifici. Il Self-RAG richiede un maggiore impegno ingegneristico, tra cui la generazione di dataset con etichette di riflessione e la messa a punto del modello per emettere i token corretti. Per i team con risorse di machine learning limitate, il RAG standard è l'opzione più pragmatica.
Self-RAG sostituisce completamente il componente di recupero.
Self-RAG utilizza ancora un meccanismo di recupero, ma aggiunge un livello decisionale in cima. Il modello sceglie quando avviare il recupero, anziché rimuoverlo completamente dalla pipeline.
Il sistema RAG standard è obsoleto e non più utile.
Il metodo RAG standard rimane il fondamento della maggior parte dei sistemi di IA in produzione. Il Self-RAG si basa su di esso anziché sostituirlo, e molti team ottengono ancora risultati eccellenti con l'approccio classico.
Self-RAG recupera sempre più documenti rispetto al RAG standard.
Self-RAG spesso recupera un numero inferiore di documenti perché può saltare il recupero quando non necessario. La sua natura adattiva fa sì che estragga il contesto solo quando il modello lo ritiene utile.
Per eseguire Self-RAG è necessario GPT-4.
Self-RAG può essere implementato con diversi modelli open-source. L'articolo originale utilizzava Llama 2 ottimizzato con token di riflessione, dimostrando che l'approccio funziona anche al di fuori dei sistemi proprietari.
Il modello RAG standard non è in grado di gestire ragionamenti complessi.
RAG standard gestisce bene i ragionamenti complessi se abbinato a generatori potenti e buone strategie di suddivisione in blocchi. Self-RAG migliora i casi limite, ma RAG standard non è intrinsecamente limitato alle query semplici.
Scegli Self-RAG quando la qualità delle risposte, la riduzione delle allucinazioni e l'efficienza adattiva sono più importanti della semplicità di implementazione, soprattutto per compiti di ragionamento complessi. Le pipeline RAG standard rimangono la soluzione migliore per implementazioni semplici in cui la latenza prevedibile e la facile integrazione con l'infrastruttura esistente sono le priorità principali.
L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.
Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.
L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.
Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.
L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.
