Citations RAG : le passage soutient-il vraiment l’affirmation ?

Le chatbot répond que tous les clients disposent de sept jours pour retourner une commande. Un lien bleu ouvre bien la procédure, mais celle-ci concerne uniquement le canal professionnel. Le lecteur voit une source authentique et risque d’appliquer une règle trop large. L’erreur ne vient pas du lien cassé : elle se situe entre ce que le passage dit et ce que la réponse lui fait prouver.

En pratique, une citation doit être examinée avec l’affirmation précise qu’elle accompagne. Référence résolue, passage réellement fourni, périmètre conservé et soutien du sens sont des contrôles différents. La conception d’un RAG métier sur mesure doit permettre de retrouver ces relations, au lieu de traiter le nombre de sources comme un indicateur de fiabilité.

Dix-sept affirmations manuscrites sont rapprochées de quatre passages fictifs : une réponse peut citer le bon document tout en supprimant sa restriction ou en lui attribuant une règle opposée. Les relations sont annotées à la main ; le programme vérifie les références et calcule les fractions, sans modèle, juge sémantique ou moteur de recherche. L’expertise IA sur mesure de Dawap permet de construire cette grille avec les responsables documentaires avant de qualifier les citations produites par le système réel.

Pour qui la citation doit permettre une vérification

Qualifier une réponse qui peut changer le travail du lecteur

Un assistant de procédure peut influer sur une prise en charge, un dossier incomplet ou une décision de frais. Son utilisateur doit pouvoir vérifier la condition utile sans ouvrir dix documents voisins. La citation rapproche la formulation de sa preuve. Elle reste nécessaire même lorsque le modèle a obtenu par hasard une réponse correcte depuis ses connaissances, car le processus attendu dépend de la règle interne choisie.

La recette distingue une aide à la consultation d’une décision automatiquement appliquée. Une réponse bien sourcée ne donne pas, à elle seule, le droit de modifier un dossier dans l’ERP. Les autorisations d’action et la validation humaine restent séparées. Pour la consultation, le risque est déjà concret : une règle généralisée peut provoquer une nouvelle reprise manuelle, une promesse impossible ou un travail de vérification plus long que la recherche initiale.

Évaluer ce que le passage permet réellement d’affirmer

Le travail ALCE, publié à EMNLP 2023, distingue qualité des citations, exactitude et fluidité. Ces dimensions doivent rester séparées dans une recette métier : une réponse agréable à lire peut porter des références insuffisantes. Nous n’exécutons pas ce benchmark et n’en reprenons aucun résultat comme performance du laboratoire ou d’un client.

Un score de similarité du retriever ne juge pas non plus le soutien de l’affirmation. Il peut classer un passage proche de la question sans établir la règle invoquée. La précision lexicale d’un intitulé ou la présence d’un embedding utile à la recherche ne remplace pas l’examen de la condition. Le diagnostic doit suivre la preuve jusqu’à la phrase affichée, pas seulement jusqu’à l’entrée dans le contexte.

Décomposer la réponse en affirmations vérifiables

Choisir une unité qui peut recevoir un verdict indépendant

La phrase « le professionnel dispose de sept jours et les frais restent à sa charge sauf erreur reconnue » contient deux règles. Le délai et la répartition des frais peuvent être soutenus par des passages distincts. La recette les sépare pour éviter qu’une première moitié correcte masque l’autre. Elle conserve le canal, le point de départ du délai et l’exception, car les supprimer changerait ce qui est réellement évalué.

L’affirmation est ici rédigée à la main, pas produite par un extracteur. En production, une extraction automatique peut oublier une restriction, réunir deux propositions ou produire une version plus prudente que la réponse originale. La revue doit examiner aussi cette étape. Une mesure favorable sur des affirmations tronquées peut sous-estimer précisément les généralisations que le métier cherche à détecter.

Distinguer affirmation, recommandation et calcul

Une recommandation de contacter le support n’est pas nécessairement une règle documentaire ; son statut doit être explicite. Un délai affirmé est contrôlable contre une procédure. Un total calculé exige données d’entrée, unités et calcul. Ces objets ne doivent pas recevoir arbitrairement le même contrôle. La citation d’un document qui explique le calcul ne démontre pas que les bonnes valeurs ont été utilisées dans le dossier.

Le contrat d’évaluation décrit ce qui entre dans le dénominateur et ce qui demande une autre recette. Les formulations d’incertitude restent inspectables : « probablement gratuit » peut encore orienter une décision de frais sans preuve suffisante. Le mot prudent ne retire pas automatiquement la proposition du bilan. Le propriétaire métier décide quelles affirmations ont une conséquence et quels motifs de non-réponse sont acceptables.

Résoudre la référence avant d’examiner son sens

Retrouver le passage effectivement remis au générateur

Le laboratoire connaît S1, S2, S3 et S4, mais seuls S1 à S3 figurent dans son contexte déclaré. C40-10 cite S4, qui contient bien un délai d’enlèvement. La référence existe dans le corpus fictif sans appartenir aux passages fournis. Le contrôleur renvoie not_in_context. La recette évalue l’appui dans ce contexte ; elle ne valide pas après coup une source que le générateur aurait pu consulter ailleurs.

C40-11 cite S9, absent du registre, et reçoit source_missing. Ces écarts demandent de retrouver comment les identifiants sont créés, transmis et rendus. Le service devrait construire les liens depuis des références autorisées plutôt qu’accepter une URL arbitraire produite par le modèle. L’interface peut afficher un libellé simple, tout en conservant l’identifiant précis du passage pour la traçabilité.

Comparer le snapshot à la preuve évaluée

C40-12 associe S1 à une révision 2 alors que la preuve attendue est en révision 3. C40-17 conserve la bonne révision mais remplace sept par quatorze dans le corps cité. Le programme refuse respectivement revision_mismatch et content_mismatch avant de compter l’annotation de soutien. Un identifiant correct ne suffit pas lorsque le contenu conservé pour l’évaluation a changé.

Ce contrôle exact n’est pas une signature cryptographique ni une politique de version applicable à tous les documents. Il garantit seulement l’égalité des snapshots dans le registre réduit. La production doit conserver les octets ou la représentation normalisée réellement examinés, avec extraction et version identifiables. Une normalisation qui retire une négation ne peut pas être considérée comme une simple correction de format.

Conserver conditions, exceptions et négations

Ne pas agrandir le périmètre de la règle

Cas concret : S1 porte le canal professionnel, sept jours calendaires après livraison et une preuve à joindre. C40-01 conserve la condition de canal et le point de départ ; l’annotation le soutient. C40-02 remplace le professionnel par tous les clients. Le passage n’établit pas cette extension ; insufficient désigne une preuve insuffisante, sans affirmer quelle règle s’applique effectivement à chaque autre canal.

L’absence de soutien n’équivaut donc pas toujours à une contradiction. Le corpus peut manquer une annexe qui soutient une partie de la réponse. Cette possibilité ne permet pas de présenter la règle comme établie. Le diagnostic distingue manque de preuve, désaccord explicite et question hors périmètre pour choisir entre complément documentaire, correction de formulation et passation à un propriétaire compétent.

Garder l’exception qui décide le dossier

S2 place les frais à la charge du professionnel, sauf erreur d’expédition reconnue. C40-04 garde l’exception et reçoit supports. C40-05 affirme que le vendeur paie tous les retours, en contradiction avec cette règle. Dans un cas réel, une réponse qui efface la condition de reconnaissance pourrait aussi fabriquer une gratuité dès qu’une erreur est seulement alléguée. La qualification doit retrouver ce qui a été établi dans le dossier.

La vérification ne se limite pas à chercher les mêmes nombres ou mots. C40-16 paraphrase les sept jours calendaires comme une semaine calendaire suivant la livraison ; cette équivalence est acceptée dans l’annotation manuscrite. Inversement, reprendre plusieurs termes de S1 avec quatorze jours ne conserve pas sa règle. Un contrôle lexical peut aider à repérer une différence, mais ne décide pas automatiquement si le passage justifie l’affirmation.

Attribuer les preuves d’une réponse composée

Associer chaque règle aux passages qui la soutiennent

Exemple concret : C40-13 et C40-14 représentent les deux règles d’une même réponse composée. Chaque affirmation cite S1 et S2. La première reçoit un soutien de S1 et une relation sans rapport avec S2 ; la seconde reçoit l’inverse. Les deux affirmations sont soutenues, mais la moitié des quatre relations n’ajoute pas de preuve pour l’affirmation à laquelle elle est attachée.

Cette distinction évite de confondre couverture de la réponse et utilité de chaque citation. Deux passages peuvent aussi être nécessaires ensemble pour une inférence, sans que chacun suffise seul. La recette doit alors annoter un ensemble de preuves et la règle de composition. Notre banc n’évalue pas cette inférence conjointe : chaque affirmation soutenue possède un passage suffisant selon son annotation explicite.

Éviter que répétitions et sources voisines gonflent le bilan

C40-08 cite S1, S3 puis S1 de nouveau. Le programme déduplique le triplet identifiant, révision et contenu ; la seconde occurrence de S1 ne compte pas comme une nouvelle preuve. S3 reste une relation inutile au délai de retour. Une liste plus longue peut augmenter le travail de vérification sans accroître le soutien. L’utilisateur doit trouver le passage décisif plutôt qu’explorer chaque lien pour savoir lequel justifie la règle.

Paradoxalement, retirer une citation inutile peut améliorer la lisibilité et le ratio d’utilité sans retirer une affirmation soutenue. Cette amélioration ne démontre pas une progression du modèle : elle change l’attribution des preuves. Le bilan garde séparément affirmations, relations, doublons et sorties nécessitant une revue. Une optimisation qui retire les affirmations difficiles pour améliorer la moyenne doit aussi rendre visible la couverture perdue.

Annoter soutien et désaccord sans fabriquer une vérité

Décrire les catégories avant de lancer un juge automatique

Les relations manuscrites utilisent supports, insufficient, contradicts, irrelevant et review. Le soutien exige la même proposition avec les conditions utiles ; insuffisant signale une portée non établie ; contradictoire signale un désaccord explicite ; sans rapport qualifie une pièce qui ne traite pas la règle. Review conserve une décision non arbitrée. Le programme ne découvre pas ces catégories par lecture sémantique.

Le tutoriel officiel RAGChecker décrit l’extraction d’affirmations et leur vérification avec des LLM, puis compare réponses, références attendues et contexte. Cette séparation fournit des diagnostics distincts. Notre registre manuscrit n’exécute pas RAGChecker et ses fractions ne portent pas les mêmes contrats que toutes les métriques du framework.

Laisser un désaccord traçable et calibrer l’évaluateur

C40-15 affirme que le dossier peut être complété après l’enlèvement. Sa relation à S1 reste en review dans le jeu construit. Cette absence d’arbitrage ne devient ni soutien ni contradiction dans le calcul. Elle oblige à retrouver la règle manquante et le propriétaire qui peut la qualifier. Une recette terrain doit conserver commentaires, réviseur et version d’annotation plutôt qu’effacer le cas de son résultat.

Un juge automatique peut accélérer le tri, mais il doit être comparé à des annotations indépendantes, notamment sur négations, canaux, unités et preuves multiples. Un désaccord avec le juge peut venir de la grille, du passage ou du juge lui-même. La calibration décrit ces familles et les erreurs coûteuses. Un score de confiance sans relation aux arbitrages métier n’est pas une autorisation d’afficher une règle non soutenue.

Dix-sept affirmations et leurs passages fictifs

Lire les résultats avec les contrôles qui les produisent

Les quatre passages concernent délai et preuve S1, frais S2, accès au portail S3 et enlèvement S4. Ils ne sont pas des conditions commerciales Dawap ni une réglementation du retour. Les dix-sept affirmations sont choisies pour des frontières différentes, sans échantillonnage de réponses d’un produit. Leur verdict final est supported si une relation valide porte supports, review si une revue reste sans soutien, unsupported sinon.

Conserver la portée étroite de cette exécution

Le programme valide l’ordre des gardes et compte les annotations déjà fournies. Il n’a pas identifié automatiquement une contradiction ou reconnu une paraphrase. Il ne mesure donc ni hallucination d’un modèle, ni précision d’un juge, ni qualité de recherche réelle. Les défauts de snapshot sont exécutés ; les jugements de sens restent des décisions explicites du jeu fictif.

La recette d’un chatbot doit collecter question, contexte exact, réponse affichée et relations de citation, puis revoir les affirmations extraites. Les cas difficiles peuvent être ajoutés comme tests de régression, avec un jeu terrain séparé pour estimer la fréquence. Utiliser uniquement les cas pédagogiques construits ici transformerait un contrôle de frontière en estimation de qualité sans base d’échantillonnage.

Calculer trois fractions avec leurs dénominateurs

Distinguer soutien, utilité et référence valide

Sept affirmations sur dix-sept ont au moins une relation valide de soutien. Sept relations sur dix-neuf sont utiles au sens de l’annotation supports. Quinze relations sur dix-neuf passent les contrôles de référence, contexte, révision et contenu, même lorsque leur sens contredit l’affirmation. Les dix-neuf relations sont dédupliquées ; un doublon est ignoré. La revue non arbitrée reste dans les dénominateurs, sans compter comme soutien.

{"claimSupport":{"numerator":7,"denominator":17,"fraction":"7/17"},"citationUsefulness":{"numerator":7,"denominator":19,"fraction":"7/19"},"structuralValidity":{"numerator":15,"denominator":19,"fraction":"15/19"}}

C40-07 est une affirmation correcte selon S1, mais ne le cite pas. Son défaut concerne la preuve jointe, pas une fausseté sémantique. À l’inverse, C40-03 possède une référence valide qui contredit son délai. Fusionner ces cas dans une seule note ferait perdre la correction utile : ajouter l’attribution attendue dans le premier, retirer ou corriger la règle dans le second.

Fixer une décision d’ouverture selon les conséquences

Ces fractions décrivent uniquement les éléments construits. Elles ne sont pas des taux acceptables pour lancer un service. Le métier établit les conditions d’ouverture : familles où une réponse non soutenue impose une revue, règles dont une contradiction bloque l’usage et modalités de consultation sans décision. Un seuil ne doit pas être choisi seulement parce qu’un score agrégé paraît élevé.

Le bilan terrain ajoute couverture des questions, abstentions utiles, temps de vérification et erreurs par famille. Une version qui cite parfaitement mais répond à moins de demandes peut déplacer le travail vers le support. Le coût complet inclut cette passation, les arbitrages d’annotation et la maintenance documentaire. Le ROI ne peut pas être déduit d’une amélioration de fraction isolée sans observer le résultat métier.

Corriger recherche, contexte ou formulation

Retrouver l’étage qui perd la preuve

Si la pièce attendue manque du corpus, modifier le prompt n’ajoutera pas une règle interne valide. Si elle existe mais manque des passages sélectionnés, la recherche, les filtres, la taille des chunks ou le reranking doivent être examinés. Si le passage fourni contient la condition et que la réponse la retire, le diagnostic se situe dans l’extraction des affirmations, leur formulation ou le contrôle de sortie.

Le contexte utile doit conserver la phrase et ses restrictions voisines. Une coupe qui garde « frais à la charge du client » mais retire l’exception peut soutenir une généralisation trompeuse au regard du document entier. La recette conserve le passage fourni et le repère documentaire plus large afin de distinguer une preuve tronquée d’une réponse qui ignore une condition pourtant visible.

Corriger l’affichage sans fabriquer une nouvelle source

Une attribution trop globale à la fin d’un paragraphe peut faire croire que toutes les phrases viennent du même passage. L’interface rapproche chaque règle de sa référence et propose une ouverture sur le fragment utile. Elle ne transforme pas une source générale en preuve spécifique par un meilleur libellé. Les identifiants doivent rester cohérents entre sortie du générateur, vérification et consultation.

Après correction, rejouez les cas touchés et les questions voisines : un passage plus long peut conserver une exception tout en ajouter une autre hors périmètre. Un filtre plus strict peut retirer du bruit mais perdre une pièce nécessaire. Le rollback doit conserver corpus et snapshots d’évaluation pour comparer les versions, sans réintroduire un document retiré ou des permissions révoquées.

Erreurs fréquentes dans une évaluation de citations

Prendre une présence de liens pour une couverture de preuves

Un contrôle qui exige seulement une citation par paragraphe peut passer une réponse contenant plusieurs règles dont une seule est soutenue. Une autre erreur consiste à chercher un nom de document sans retrouver le passage exact. Le signal faible est une réponse qui affiche davantage de références après correction, tandis que le temps de vérification du lecteur augmente et que les mêmes exceptions sont encore omises.

Le filtre d’accès reste une condition préalable. Une preuve pertinente mais interdite à ce lecteur ne doit pas être révélée pour améliorer la note de soutien. L’autorisation documentaire doit être revalidée jusqu’au rendu de citation et lors d’une lecture issue du cache. Les scores de preuve ne compensent pas une fuite de périmètre, ni l’usage d’une ancienne source retirée.

Optimiser la moyenne en écartant les affirmations difficiles

Retirer les questions sans preuve ou exclure les revues du dénominateur peut produire un meilleur ratio sans progrès utile. Une modification de segmentation peut aussi découper une longue proposition en petits faits faciles et laisser l’exception hors mesure. Le rapport doit conserver protocole, nombre de questions, affirmations et exclusions pour que les versions soient réellement comparables.

Un second signal apparaît lorsqu’un juge accepte systématiquement une réponse à cause des mêmes mots présents dans le passage. La recette ajoute paraphrases correctes, négations, unités déplacées et références inutiles, avec arbitrage indépendant. Des annotateurs peuvent eux-mêmes diverger ; leur désaccord doit être instruit. La supervision porte sur ces écarts et sur les décisions métier, pas uniquement sur une courbe moyenne de soutien.

Plan d’action pour une recette de preuves utile

L’implémentation sépare contrat de référence, grille de sens et décision d’usage. Le propriétaire documentaire arbitre la règle ; l’équipe applicative conserve contexte et snapshots ; le métier définit les conséquences d’un manque de soutien. L’instrumentation relie ces responsabilités à chaque réponse. Le repli ferme les affirmations non établies ou prépare leur revue sans les transformer en faits acquis.

1. Définir les affirmations qui comptent. Choisissez questions et conséquences métier, puis décomposez les propositions sans perdre leurs conditions. Conservez unités, canal, destinataire et exception. Identifiez calculs et recommandations qui exigent une preuve différente, avec les sorties attendues quand une règle ne peut pas être établie.
2. Conserver la preuve réellement fournie. Enregistrez passage, source, révision, extraction et contexte sélectionné. Construisez les liens depuis le registre autorisé. Testez identifiant absent, pièce hors contexte, snapshot modifié et lecture révoquée ; ces gardes doivent fonctionner avant de compter une relation de soutien sémantique.
3. Annoter les relations et les arbitrages. Précisez soutien suffisant, manque, contradiction, absence de rapport et revue. Associez chaque affirmation à ses passages utiles ou à un ensemble nécessaire. Conservez les désaccords et la version de grille. Comparez ensuite un évaluateur automatique à ces décisions sans lui attribuer une vérité indépendante parfaite.
4. Calculer sans effacer les cas ouverts. Publiez les dénominateurs, doublons, affirmations sans citation et revues. Séparez validité structurelle, utilité de relation et soutien de réponse. Fixez les seuils avec le métier, les erreurs graves et le coût de vérification ; aucune valeur générique ne remplace cet arbitrage d’ouverture.
5. Rejouer après une correction ciblée. Reliez chaque défaut à corpus, chunk, recherche, formulation ou rendu. Conservez les cas régressifs, les versions et un jeu terrain indépendant. Vérifiez aussi les abstentions et la couverture, afin qu’une meilleure attribution de preuve ne masque pas une diminution du travail effectivement résolu.

Le critère de passage est une recette où le lecteur peut retrouver pourquoi une règle est proposée, refusée ou envoyée en revue. Un changement de modèle ou de corpus réexamine ces relations et leurs cas critiques. Les métriques aident à localiser le défaut ; la décision d’exploitation garde le propriétaire et les conséquences du processus concerné.

Le contrat de sortie peut conserver claimId, passageId, snapshot et verdict, avec un journal de décision séparé de la réponse. Le responsable documentaire arbitre les revues ; l’instrumentation suit leur nombre et leur délai de résolution. Un repli retire la proposition non soutenue et conserve le motif dans le dossier accessible, plutôt que de produire une nouvelle règle plausible pour fermer automatiquement le cas.

Relier preuves, corpus et recette de recherche

Préparer des documents dont les règles peuvent être attribuées

La recette d’un RAG entre corpus, accès et preuve fixe l’autorité documentaire avant la génération. Le traitement des versions et contradictions documentaires évite qu’une citation soutienne une procédure remplacée. Leur applicabilité doit être établie avant de juger si la formulation conserve le passage.

Le découpage documentaire pour un RAG examine les conditions qui doivent rester avec la règle. La sélection d’un fragment correct ne doit pas transformer une exception située dans la phrase suivante en absence du contexte. L’annotation conserve ce repère pour diagnostiquer une coupe trop courte.

Séparer preuve utile et permission de la présenter

Le contrôle des droits sur passages et citations RAG vérifie la portée accessible jusqu’à la réponse servie. Le retrait documentaire et le suivi de ses copies empêchent qu’une ancienne preuve continue à circuler. La recette de soutien ne peut pas rétablir une source dont l’usage a été fermé.

Une revue de preuve doit donc porter sur le snapshot qui a effectivement soutenu la réponse, dans son contexte d’accès. Si la consultation actuelle est fermée, l’interface explique la nécessité de réexaminer la règle selon la politique approuvée, sans révéler le passage retiré. L’audit peut conserver une preuve réservée aux personnes habilitées ; ce droit distinct ne rend pas le document de nouveau présentable à tous les lecteurs.

Conclusion : rendre chaque affirmation contrôlable

Une citation devient utile lorsqu’elle permet de vérifier la proposition et ses conditions. Le lien qui fonctionne, la pièce fournie et le sens soutenu sont des frontières distinctes. Une règle correcte sans attribution manque de preuve jointe ; une règle fausse avec une source authentique demeure trompeuse. Le diagnostic doit garder cette différence pour choisir la correction appropriée.

Le registre fictif compte sept affirmations soutenues sur dix-sept, sept relations utiles sur dix-neuf et quinze références structurellement valides sur dix-neuf. Les jugements de sens sont manuscrits, une revue reste ouverte et un doublon est écarté. Ces fractions décrivent les cas construits, sans performance de modèle ni seuil de lancement. La production doit éprouver l’extraction, le juge et les questions réelles.

La conception d’un RAG métier sur mesure associe cette recette au corpus autorisé et à la présentation des passages. Le lecteur retrouve la règle invoquée et la condition qui décide son dossier. Les écarts restent rattachés à une responsabilité documentaire ou applicative, avec une passation lorsque la preuve n’est pas encore établie.

Pour qualifier les citations de votre RAG, notre expertise IA sur mesure peut partir d’une réponse qui généralise une procédure et examiner séparément chacune de ses affirmations. Les propriétaires documentaires arbitrent les passages suffisants et les cas ouverts ; l’évaluateur automatique est ensuite comparé à cette grille. La recette doit conserver les affirmations sans citation et les exceptions manquantes, afin qu’une meilleure moyenne ne masque pas une perte de couverture.