intelligenza artificialerecupero delle informazioniintelligenza artificiale generativaapprendimento automaticoPNLtecnologia di ricerca

Sistemi di recupero delle informazioni vs. sistemi di intelligenza artificiale generativa

I sistemi di recupero delle informazioni individuano e classificano i contenuti esistenti nei database in risposta alle query, mentre i sistemi di intelligenza artificiale generativa creano nuovi testi, immagini o altri contenuti multimediali a partire da modelli appresi. Entrambi si basano su grandi insiemi di dati e sull'apprendimento automatico, ma servono a scopi fondamentalmente diversi nelle moderne applicazioni di intelligenza artificiale.

In evidenza

I sistemi di recupero informazioni (IR) recuperano e classificano i contenuti esistenti, mentre l'intelligenza artificiale generativa crea risultati completamente nuovi a partire da modelli appresi.
La generazione aumentata tramite recupero (RAG) sta combinando sempre più entrambi gli approcci per migliorare l'accuratezza fattuale.
Gli output dell'IR sono verificabili tramite documenti originali, mentre gli output generativi possono produrre informazioni false.
L'intelligenza artificiale generativa richiede molte più risorse computazionali rispetto alla maggior parte dei sistemi di recupero delle informazioni (IR) in fase di inferenza.

Cos'è Sistemi di recupero delle informazioni?

Sistemi basati sulla ricerca che individuano e classificano le informazioni esistenti all'interno di raccolte indicizzate in risposta alle query degli utenti.

sistemi IR classici si basano su algoritmi di indicizzazione, tokenizzazione e classificazione come TF-IDF e BM25 per associare le query ai documenti.
I moderni modelli neurali di recupero delle informazioni, come Dense Passage Retrieval (DPR) e ColBERT, utilizzano embedding basati su transformer per catturare il significato semantico al di là della semplice corrispondenza di parole chiave.
I sistemi IR alimentano motori di ricerca come Google, Bing ed Elasticsearch, gestendo miliardi di query al giorno su tutto il web.
Le metriche di valutazione per l'IR includono precisione, richiamo, rango reciproco medio (MRR) e guadagno cumulativo scontato normalizzato (NDCG).
La ricerca nel campo delle relazioni con gli utenti risale agli anni '50, con i lavori fondamentali di Gerard Salton e del sistema SMART presso la Cornell University.

Cos'è Sistemi di intelligenza artificiale generativa?

Modelli di intelligenza artificiale che producono contenuti inediti come testo, immagini, audio o codice, apprendendo schemi da dati di addestramento.

Modelli linguistici di grandi dimensioni come GPT-4, Claude e Llama sono costruiti sull'architettura transformer introdotta da Vaswani et al. nel 2017.
L'intelligenza artificiale generativa utilizza tecniche quali la decodifica autoregressiva, i modelli di diffusione e l'apprendimento per rinforzo basato sul feedback umano (RLHF).
Nel 2024 il mercato globale dell'intelligenza artificiale generativa valeva oltre 40 miliardi di dollari e si prevede che crescerà rapidamente nel corso del decennio.
L'addestramento di modelli generativi di grandi dimensioni può costare milioni di dollari e richiedere l'utilizzo di migliaia di GPU per settimane o mesi.
I sistemi di intelligenza artificiale generativa possono generare allucinazioni, producendo risultati sicuri ma errati, il che rappresenta ancora una delle principali sfide per la ricerca.

Tabella di confronto

Funzionalità	Sistemi di recupero delle informazioni	Sistemi di intelligenza artificiale generativa
Funzione primaria	Trova e classifica le informazioni esistenti	Crea nuovi contenuti a partire da modelli appresi
Tecnologia di base	Indicizzazione, algoritmi di ranking, embedding neurali	Reti neurali Transformer, modelli di diffusione
Tipo di output	Elenco ordinato di documenti o brani	Testo, immagini, audio o codice generati
Gestione dei dati	Recupera da database indicizzati	Sintetizza a partire dalle distribuzioni dei dati di addestramento
Approccio basato sull'accuratezza	Basato su documenti originali, verificabile	Generazione probabilistica, può avere allucinazioni
Latenza	In genere veloce, da millisecondi a secondi	Più lento per output lunghi, da secondi a minuti
Principali metriche di valutazione	Precisione, richiamo, NDCG, MRR	BLU, ROSSO, perplessità, valutazione umana
Origine storica	Anni '50, sistema SMART e il lavoro di Salton	Dal 2017 in poi, l'era dell'architettura dei trasformatori
Esempi comuni	Ricerca Google, Elasticsearch, Bing	ChatGPT, DALL-E, Midjourney, GitHub Copilot

Confronto dettagliato

Scopo e risultato

sistemi di recupero delle informazioni (IR) servono a individuare contenuti esistenti e pertinenti. Quando si digita una query su Google, un sistema IR effettua una ricerca nel suo enorme indice e restituisce risultati classificati che indirizzano l'utente verso pagine web, documenti o brani. I sistemi di intelligenza artificiale generativa (GIA) funzionano in direzione opposta: producono contenuti completamente nuovi anziché indirizzare l'utente verso materiale esistente. Chiedete a ChatGPT di scrivere una poesia e genererà un testo originale, token per token, basandosi su modelli appresi durante l'addestramento. La distinzione è importante perché gli output dei sistemi IR sono verificabili (è possibile controllare la fonte), mentre gli output dei sistemi GTA sono sintetizzati e possono contenere errori.

Tecnologia di base

sistemi di Information Retrieval (IR) tradizionali si basano su indici invertiti, analisi della frequenza dei termini e funzioni di ranking come BM25. I moderni sistemi di IR neurali hanno adottato encoder basati su transformer per creare rappresentazioni vettoriali dense dei documenti, consentendo una ricerca semantica che va oltre la semplice corrispondenza di parole chiave. L'intelligenza artificiale generativa, al contrario, si basa quasi interamente su grandi modelli transformer addestrati con apprendimento auto-supervisionato su enormi corpus di testo. Sebbene entrambi i campi utilizzino oggi le reti neurali, l'IR si concentra sull'apprendimento delle rappresentazioni per la corrispondenza, mentre l'IA generativa si concentra sulla predizione di sequenze e sulla creazione di contenuti.

Accuratezza e affidabilità

sistemi di Information Retrieval (IR) sono generalmente considerati più affidabili per le query fattuali perché restituiscono fonti reali che è possibile verificare. Se un risultato di ricerca rimanda a un articolo di Wikipedia, è possibile leggerlo direttamente. I sistemi di intelligenza artificiale generativa, nonostante la loro fluidità, sono noti per la loro tendenza a generare informazioni false, presentandole con sicurezza come se fossero vere. Questo accade perché i modelli linguistici prevedono testi plausibili anziché recuperare fatti verificati. La Retrieval-Augmented Generation (RAG) si è affermata come un approccio ibrido che combina entrambi: un modello generativo attinge a un sistema IR per basare le proprie risposte su documenti reali.

Casi d'uso e applicazioni

sistemi di recupero informazioni (IR) dominano gli scenari in cui trovare informazioni specifiche è fondamentale: ricerca sul web, ricerca di documenti aziendali, acquisizione di prove legali e ricerca di prodotti nell'e-commerce. L'intelligenza artificiale generativa eccelle in attività creative e di supporto: stesura di email, scrittura di codice, generazione di testi di marketing, creazione di immagini e interfacce conversazionali. Molte applicazioni moderne combinano entrambe le tecnologie, utilizzando il recupero per trovare il contesto rilevante e la generazione per sintetizzare le risposte, che è alla base di sistemi come Microsoft Copilot e AI Overviews di Google.

Requisiti computazionali

sistemi di Information Retrieval (IR) possono essere relativamente leggeri in fase di interrogazione, soprattutto con indici preconfigurati, sebbene la creazione e la manutenzione di indici di grandi dimensioni richiedano un'infrastruttura considerevole. I modelli di intelligenza artificiale generativa, in particolare i modelli linguistici di grandi dimensioni, richiedono enormi risorse computazionali sia durante l'addestramento che durante l'inferenza. L'esecuzione di un modello con 70 miliardi di parametri in produzione richiede hardware specializzato come GPU o TPU, e servire milioni di utenti può essere costoso. Questa differenza nei requisiti di risorse spesso determina quale approccio sia più pratico per una data applicazione.

Pro e Contro

Sistemi di recupero delle informazioni

Vantaggi

+ Fonti verificabili
+ Risposta rapida alla query
+ Minore rischio di allucinazioni
+ Tecnologia matura

Consentiti

− Limitato ai contenuti esistenti
− Interazioni meno naturali
− Limitazioni nella corrispondenza delle parole chiave
− Richiede la manutenzione dell'indice

Sistemi di intelligenza artificiale generativa

Vantaggi

+ Generazione di contenuti creativi
+ naturale predisposizione alla conversazione
+ Applicazioni versatili
+ Gestisce compiti aperti

Consentiti

− Problemi di allucinazioni
− costi computazionali elevati
− Risultati difficili da verificare
− Distorsioni nei dati di addestramento

Idee sbagliate comuni

Mito

I sistemi di intelligenza artificiale generativa effettuano ricerche su Internet in tempo reale per rispondere alle domande.

Realtà

La maggior parte dei modelli di intelligenza artificiale generativa non effettua ricerche su Internet durante la fase di generazione. Producono risposte basate su schemi appresi durante l'addestramento, il che significa che le loro conoscenze hanno una data limite. Solo quando vengono integrati con strumenti di recupero o plugin per la navigazione web, accedono a informazioni aggiornate.

Mito

I sistemi di recupero delle informazioni corrispondono solo alle parole chiave esatte.

Realtà

moderni sistemi di Information Retrieval utilizzano embedding semantici e modelli di ranking neurali in grado di comprendere significato, sinonimi e contesto. Una ricerca per "come riparare un rubinetto che perde" può restituire risultati relativi a riparazioni idrauliche anche se tali parole esatte non compaiono nel documento.

Mito

L'intelligenza artificiale generativa sostituirà completamente i motori di ricerca tradizionali.

Realtà

I motori di ricerca e l'intelligenza artificiale generativa rispondono a esigenze diverse. Molte aziende li stanno integrando entrambi tramite funzionalità di ricerca basate sull'IA, ma i sistemi puramente generativi faticano con compiti che richiedono informazioni precise e verificabili. È più probabile che gli approcci ibridi prevalgano rispetto a una sostituzione completa.

Mito

I sistemi a infrarossi sono obsoleti rispetto all'intelligenza artificiale moderna.

Realtà

Il recupero delle informazioni rimane un'area di ricerca attiva e cruciale. I metodi di recupero delle informazioni basati su reti neurali, il recupero denso e i modelli di ranking appresi rappresentano la ricerca all'avanguardia nel campo dell'intelligenza artificiale. Il settore si è evoluto in modo significativo con il deep learning e continua a progredire di pari passo con l'intelligenza artificiale generativa.

Mito

modelli di intelligenza artificiale generativa più grandi producono sempre risultati più accurati.

Realtà

Le dimensioni del modello non garantiscono l'accuratezza fattuale. Anche i modelli linguistici molto grandi possono presentare delle anomalie, e l'aumento di scala può talvolta amplificare determinati bias. Tecniche come RLHF, l'aumento del recupero delle informazioni e un'attenta sollecitazione sono importanti quanto il semplice numero di parametri.

Domande frequenti

Qual è la principale differenza tra il recupero delle informazioni e l'intelligenza artificiale generativa?

Il recupero delle informazioni individua e classifica i contenuti esistenti nei database o sul web, restituendo fonti verificabili. L'intelligenza artificiale generativa crea nuovi contenuti a partire da modelli appresi, senza recuperare documenti specifici. Il recupero delle informazioni ti indirizza verso le informazioni; l'intelligenza artificiale generativa le sintetizza.

I sistemi di intelligenza artificiale generativa possono allucinare la realtà?

Sì, l'allucinazione è un problema ben documentato nell'IA generativa. I modelli possono produrre affermazioni sicure e fluide che sono fattualmente errate perché prevedono testi plausibili anziché recuperare informazioni verificate. Ecco perché la generazione potenziata dal recupero di informazioni è diventata così importante.

Che cos'è la generazione aumentata tramite recupero (RAG)?

RAG combina entrambe le tecnologie, utilizzando un modello generativo che recupera innanzitutto i documenti pertinenti tramite un sistema di recupero informazioni (IR) e successivamente genera risposte basate sul contenuto recuperato. Questo approccio riduce le allucinazioni e migliora l'accuratezza fattuale, ed è utilizzato da sistemi come ChatGPT con assistenti di intelligenza artificiale per la navigazione e per le aziende.

Quale sistema è migliore per le domande fattuali?

I sistemi di recupero delle informazioni sono generalmente più adatti per domande fattuali perché restituiscono fonti verificabili. Tuttavia, i sistemi RAG, che combinano recupero e generazione, possono fornire sia informazioni fattuali che risposte in linguaggio naturale, offrendo una soluzione intermedia per molti casi d'uso.

In che modo i motori di ricerca utilizzano l'intelligenza artificiale oggi?

I moderni motori di ricerca come Google e Bing utilizzano modelli di ranking neurali, la comprensione del linguaggio basata su BERT e, sempre più spesso, l'intelligenza artificiale generativa per funzionalità come le panoramiche basate sull'IA e la ricerca conversazionale. Combinano le tecniche tradizionali di Information Retrieval con l'IA moderna per fornire risultati più pertinenti.

I sistemi di recupero delle informazioni sono ancora rilevanti nell'era di ChatGPT?

Assolutamente. I sistemi di Information Retrieval (IR) rimangono fondamentali per i motori di ricerca, la gestione della conoscenza aziendale, la ricerca legale e come infrastruttura di recupero per i sistemi RAG (Retrieval, Aspect, and Guide). La richiesta di informazioni accurate e basate su fonti attendibili è in costante aumento, rendendo l'IR più rilevante che mai.

Quali sono i costi computazionali di ciascun approccio?

sistemi di Information Retrieval (IR) in genere presentano costi di inferenza inferiori poiché effettuano ricerche in indici preesistenti, sebbene l'indicizzazione di grandi collezioni richieda un investimento iniziale. I modelli di intelligenza artificiale generativa, soprattutto quelli di grandi dimensioni per il linguaggio naturale, richiedono GPU costose e una notevole quantità di memoria, il che rende i costi di inferenza per query sostanzialmente più elevati.

Quale tecnologia è nata prima nella storia?

Il recupero di informazioni ha una storia molto più lunga, che risale agli anni '50 con sistemi come il progetto SMART di Gerard Salton alla Cornell University. L'intelligenza artificiale generativa nella sua forma moderna basata sui transformer è emersa dopo il 2017, sebbene forme precedenti di modelli generativi esistessero in applicazioni più specifiche.

Questi sistemi possono funzionare insieme?

Sì, e sempre più spesso lo fanno. Le architetture RAG utilizzano il recupero delle informazioni (IR) per trovare il contesto rilevante e l'intelligenza artificiale generativa per sintetizzare le risposte. Questa combinazione è ormai uno standard nelle applicazioni di IA aziendali, nei bot di assistenza clienti e nelle funzionalità di ricerca basate sull'IA in tutto il settore.

Quali competenze sono necessarie per costruire ciascun tipo di sistema?

La creazione di sistemi di recupero informazioni (IR) richiede la conoscenza di algoritmi di indicizzazione e classificazione, teoria dell'informazione e, sempre più spesso, metodi di recupero neurale. La creazione di sistemi di intelligenza artificiale generativa richiede competenze di deep learning, conoscenza dell'architettura Transformer ed esperienza nell'addestramento e nella messa a punto di modelli su larga scala.

Verdetto

Scegli i sistemi di recupero delle informazioni quando accuratezza, verificabilità e reperimento di contenuti specifici già esistenti sono di primaria importanza, come nella ricerca legale, nella ricerca aziendale o nelle attività di ricerca di dati fattuali. Scegli i sistemi di intelligenza artificiale generativa quando hai bisogno di output creativi, interfacce conversazionali o sintesi di contenuti, accettando il compromesso di potenziali allucinazioni. Per molte applicazioni reali, la soluzione migliore combina entrambi gli approcci attraverso la generazione potenziata dal recupero delle informazioni.

Confronti correlati

Accuratezza predittiva vs. resilienza del modello

L'accuratezza predittiva misura quanto bene le previsioni di un modello corrispondano ai risultati del mondo reale, mentre la resilienza del modello valuta la capacità di un sistema di mantenere le prestazioni di fronte ad attacchi avversari, derive dei dati o cambiamenti ambientali. Entrambe le metriche influenzano il modo in cui valutiamo l'affidabilità dell'IA, ma spesso spingono la progettazione del modello in direzioni diverse.

Adattamento al dominio vs. formazione nel dominio

Questo confronto analizza le scelte strategiche nell'apprendimento automatico tra l'adattamento del dominio, che trasferisce la conoscenza da un ambiente sorgente etichettato a un ambiente di destinazione diverso, e l'addestramento nel dominio, che costruisce modelli interamente su dati raccolti dall'esatto ambiente di implementazione di destinazione.

Adattamento linguistico nell'IA vs. sistemi di IA indipendenti dal linguaggio

L'adattamento linguistico nell'IA si concentra sull'insegnamento ai modelli di gestire lingue specifiche attraverso la messa a punto e il trasferimento dell'apprendimento, mentre i sistemi di IA agnostici rispetto alla lingua mirano a elaborare qualsiasi lingua senza un addestramento specifico. Entrambi gli approcci affrontano le sfide del multilinguismo, ma differiscono fondamentalmente in termini di architettura, dati di addestramento e implementazione nel mondo reale.

Addestramento alla visione artificiale vs. percezione delle immagini naturali

Questo confronto mette a confronto il modo in cui le reti neurali artificiali vengono addestrate a interpretare i dati visivi con il modo in cui il sistema visivo biologico umano percepisce il mondo naturale. Mentre la visione artificiale si basa su milioni di input statici, annotati a livello di pixel, per estrarre matrici matematiche, la percezione umana naturale sfrutta flussi sensoriali dinamici e continui, contestualizzati dalla biologia evolutiva e da strutture di feedback cognitivo immediato.

Addestramento degli agenti in ambienti reali rispetto all'addestramento con set di dati offline.

L'addestramento degli agenti in ambienti reali prevede l'apprendimento tramite interazione in tempo reale con ambienti simulati o fisici, mentre l'addestramento offline si basa su dati raccolti in precedenza, senza ulteriore accesso all'ambiente. Entrambi gli approcci addestrano modelli di apprendimento automatico, ma differiscono fondamentalmente nel modo in cui gli agenti acquisiscono esperienza e migliorano le proprie prestazioni.