Il RAG per le aziende: costruire assistenti di conoscenza che funzionano davvero

Un modello linguistico sa molto in generale e niente sulla tua azienda in particolare. RAG colma quel divario al momento della query.

Quando un utente pone una domanda, un sistema RAG recupera prima i frammenti più pertinenti dai tuoi contenuti indicizzati, poi li passa al modello insieme alla domanda con l'istruzione di rispondere a partire dal materiale fornito e di citarlo. Il modello non sta più indovinando a partire dai dati di addestramento; sta leggendo i tuoi documenti e li sta riassumendo. È questo che rende la risposta attuale, specifica e verificabile.

Le due metà contano allo stesso modo, e la maggior parte dei guasti sono guasti di recupero, non guasti del modello. Se il passo di recupero porta a galla i passaggi sbagliati, anche il modello migliore produce una risposta sicura, sbagliata e ben scritta. Un assistente di conoscenza vale solo quanto ciò che recupera, ed è per questo che le parti poco affascinanti (come si segmentano i documenti, come vengono incorporati, come si valuta il recupero) decidono se la cosa funziona.

Scegli RAG quando le risposte devono essere ancorate a un corpus grande, mutevole, o entrambi, e quando citare la fonte conta. Scegli il fine-tuning quando devi cambiare il modo in cui il modello si comporta, il suo tono, formato o una competenza ristretta, non i fatti che conosce; il fine-tuning insegna lo stile e gli schemi, non un corpo di conoscenza in movimento. Scegli un semplice prompt quando la conoscenza è abbastanza piccola da incollarla nel contesto, nel qual caso il recupero è un sovraccarico di cui non hai bisogno.

Non si escludono a vicenda, e i sistemi più solidi li combinano: un modello sottoposto a fine-tuning o ben istruito per il comportamento, RAG per i fatti. L'errore che vediamo più spesso è fare il fine-tuning di un modello sui documenti di un'azienda nella speranza che li memorizzi. Non funziona in modo affidabile: il modello mescola insieme i fatti, non può citare, e diventa obsoleto nel momento in cui un documento cambia. Se il requisito sono risposte accurate da documenti attuali, è RAG, ogni volta.

Sbagliare questa scelta è costoso in entrambe le direzioni. Abbiamo visto progetti di fine-tuning che avrebbero dovuto essere una build RAG di due settimane, e pipeline RAG elaborate per una base di conoscenza che stava in un singolo prompt. Diamo un nome alla ragione della scelta prima di costruire, perché l'architettura è difficile da tornare indietro dopo.

Tre cose separano un assistente di conoscenza che puoi mettere davanti a personale o clienti da una demo. La prima è il controllo degli accessi a livello di recupero: l'assistente deve recuperare solo dai documenti che l'utente corrente è autorizzato a vedere, applicato quando la query viene eseguita, non filtrato a posteriori. Un assistente che può portare a galla un documento che un utente non avrebbe mai dovuto vedere è una violazione di dati con un'interfaccia amichevole.

La seconda è l'ancoraggio e la citazione: ogni risposta rimanda ai passaggi da cui proviene, così che un utente possa verificarla e un revisore possa controllarla. Gli assistenti che rispondono senza citazioni abituano la gente a fidarsi ciecamente, che è esattamente il contrario di ciò che serve per qualsiasi cosa portante. La terza è la misurazione: un set di valutazione graduato che assegna un punteggio all'accuratezza e all'ancoraggio delle risposte a ogni cambiamento, così che le regressioni di qualità vengano colte in sviluppo e non da un cliente in produzione.

Anche la conoscenza cambia, quindi il recupero va mantenuto: re-indicizzazione man mano che i documenti si aggiornano, e monitoraggio della qualità del recupero per il lento degrado che erode la fiducia trimestre dopo trimestre. La build è la parte facile; la postura operativa è ciò che lo tiene accurato un anno dopo.

Un anno dopo, l'assistente è ancora accurato, cita ancora le sue fonti, e non ha fatto trapelare in silenzio un documento né è scivolato in sicure assurdità.

Il test onesto di un assistente di conoscenza non è la demo di lancio; è se la gente lo usa ancora dopo averlo colto in errore. La fiducia si perde la prima volta che un assistente inventa una policy o porta a galla qualcosa che non avrebbe dovuto, ed è quasi impossibile riconquistarla. È per questo che ancoraggio, citazione e controllo degli accessi non sono rifiniture: sono il prodotto.

Gli assistenti che restano affidabili sono quelli che sono stati misurati fin dall'inizio e mantenuti dopo il lancio. La qualità del recupero è sorvegliata, il set di valutazione cresce man mano che si scoprono nuovi modi di guasto, e l'indice tiene il passo con i documenti. Niente di tutto ciò è affascinante, e tutto ciò è ciò che separa un sistema che cresce di valore da uno che viene abbandonato in silenzio in due trimestri.

Fatto bene, un assistente di conoscenza trasforma la conoscenza sparsa e poco usata di un'azienda in qualcosa che ogni dipendente può interrogare in linguaggio semplice, con risposte che può verificare. È un vantaggio durevole, e ti appartiene: la pipeline, le valutazioni e il codice.