Qu'est-ce que le RAG et pourquoi connecter un modèle à une base de connaissances ?

Le RAG (retrieval-augmented generation, génération augmentée par la recherche) consiste à faire chercher au modèle les passages utiles dans vos propres documents avant qu'il rédige sa réponse à partir de ces passages. Au lieu de s'appuyer uniquement sur ce qu'il a mémorisé pendant l'entraînement, il reçoit dans la requête une matière précise et à jour.

Un montage classique comporte trois étapes :

• les documents sont découpés en fragments et indexés, le plus souvent sous forme de vecteurs (embeddings) ;
• pour chaque question, un moteur de recherche interne récupère les quelques fragments les plus pertinents ;
• le modèle répond à partir de ces fragments et peut les citer.

Pourquoi relier un modèle à une base de connaissances ? Ses données d'entraînement s'arrêtent à une date donnée et ne contiennent ni vos fichiers internes, ni vos tarifs, ni vos manuels. Avec le RAG, on met à jour la base, pas le modèle, et chaque réponse peut renvoyer à sa source, ce qui facilite le repérage des erreurs. La méthode a été décrite en 2020 par Patrick Lewis et ses collègues (Facebook AI Research, UCL, NYU). Le RAG réduit le risque de réponses inventées sans le supprimer : si la recherche remonte le mauvais passage, la réponse sera fausse elle aussi.