Évaluer un pipeline RAG sans se mentir

Le problème du RAG, c'est qu'il donne toujours une réponse. Elle est fluide, bien construite, plausible , et parfois entièrement fausse. Sans mesure, une équipe peut passer des semaines à ajuster des prompts en se fiant à son intuition.

Séparer les deux échecs

Un pipeline RAG peut se tromper à deux endroits distincts, et les confondre fait perdre un temps considérable :

1. Le retrieval n'a pas trouvé le bon document.
2. La génération avait le bon document mais a mal répondu.

Ce sont deux bugs différents, avec deux corrections différentes. Il faut donc les mesurer séparément.

Pour le retrieval, les métriques classiques suffisent : recall@k sur un jeu de questions dont on connaît le document source.

Pour la génération, on évalue en fournissant le contexte parfait. Si le modèle échoue alors qu'il a la bonne information sous les yeux, le problème vient du prompt ou du modèle, pas de l'index.

Un jeu de test figé

La règle la plus importante : le jeu de questions ne change pas entre deux mesures. Dès qu'on ajoute des cas au fil de l'eau, les scores ne sont plus comparables et toute notion de régression disparaît.

En pratique, un jeu figé de 80 à 150 questions couvrant les cas réels suffit largement pour détecter les régressions.

LLM-juge : utile, mais à calibrer

Faire noter les réponses par un modèle est efficace, à trois conditions :

• des critères explicites et séparés (exactitude factuelle, complétude, ancrage dans le contexte) plutôt qu'une note globale ;
• une échelle courte, de 1 à 3 : les modèles distinguent mal 7 de 8 ;
• un échantillon annoté à la main pour vérifier que le juge est d'accord avec vous.

Sans ce dernier point, on mesure surtout les biais du juge.

Le rapport qui compte

À chaque exécution, on enregistre la version du modèle, du prompt et de la configuration de retrieval. Le rapport n'affiche pas seulement les scores : il affiche la différence avec la dernière version validée, et la liste des questions qui sont passées de bonnes à mauvaises.

C'est cette liste, et pas la moyenne, qui fait avancer le travail.