Le RAG permet de générer des réponses en s'appuyant sur vos documents plutôt que sur des souvenirs flous issus de la phase d'entraînement. L'architecture de base ne comporte que quatre étapes, mais chacune d'entre elles présente ses propres points faibles.
Les quatre étapes et les pièges associés
1. Couper le texte. La coupure en fonction d’un nombre fixe de caractères est l’erreur la plus courante : elle brise les phrases, sépare les tableaux de leurs titres et coupe les extraits de code en deux. Il est préférable de procéder à la coupure en fonction de limites sémantiques : titres, paragraphes, listes. Et veillez à toujours conserver le contexte global, au moins le titre du document et la séquence des titres.
2. Modèles d'embedding vectoriels. Les performances des modèles d'embedding multilingues pour le vietnamien varient considérablement. Il est donc préférable de réaliser vos propres tests sur vos propres données plutôt que de vous fier aux classements généraux.
3. Recherche. C'est l'étape décisive. Se contenter d'utiliser des vecteurs ne suffit pas pour les noms propres, les codes d'erreur et les références produit. Combiner la recherche par mots-clés avec la recherche vectorielle, puis fusionner les résultats, donne presque toujours de meilleurs classements que l'utilisation des vecteurs seuls.
4. Générer la réponse. Le fait d'inclure trop de passages nuit à la qualité de la réponse. Il vaut mieux sélectionner 20 passages, puis utiliser un modèle de classement pour choisir les 4 meilleurs.
La fenêtre contextuelle longue permet-elle de supprimer le RAG ?
Non, pour trois raisons d'ordre pratique. Intégrer tout un ensemble de documents dans chaque question engendre un coût par requête. Le temps de réponse augmente avec la quantité de contexte. Et la qualité de l'attention portée aux informations situées au milieu d'un long bloc de texte reste inférieure à celle obtenue lorsque ces informations sont présentées de manière sélective.
Un contexte plus long facilite le fonctionnement de RAG — vous pouvez y inclure davantage de passages — mais ne le remplace pas.
Que mesure-t-on ?
La plupart des équipes n'évaluent que la réponse finale. Il faut distinguer deux étapes : celle de la recherche, qui consiste à trouver le passage contenant la réponse, et celle de la génération, qui consiste à utiliser correctement ce passage. Presque à chaque fois, le premier indicateur est le moins bon.
Thảo luận