Un collaborateur demande si une fiche d’inventaire peut remplacer la photo d’une étiquette dans un dossier SAV. L’assistant retrouve une procédure générale qui exige la photo et une exception qui accepte la fiche. Il cite les deux, puis choisit la procédure la plus récente. La réponse paraît documentée ; elle peut pourtant faire demander une pièce inutile ou contourner une condition obligatoire.
Le risque est de croire que les citations établissent à elles seules la règle applicable. Une date récente, un score de similarité élevé ou plusieurs documents concordants ne suffisent pas à établir une autorité métier. Il faut savoir à quel contrat, site, événement et intervalle une procédure s’applique, puis vérifier si une exception reste approuvée. Certaines contradictions demandent une décision du propriétaire documentaire avant toute réponse ferme.
Nous proposons un jeu de recette fictif : deux procédures, un registre d’autorité et huit cas avec réponses attendues. Aucun modèle ni moteur de recherche n’a été exécuté sur ce jeu ; les cas servent à préparer et contrôler une recette réelle. Les règles illustrent un processus interne de diagnostic B2B, sans décrire des droits légaux, une garantie commerciale ou une politique client existante.
La question SAV donne un périmètre testable à votre IA sur mesure pour les décisions métier : accepter une pièce de remplacement ou demander un complément. Pour préparer ce chatbot RAG d’entreprise, réunissez la procédure générale, l’exception et la décision qui maintient leur relation. Le responsable qualité doit pouvoir justifier la réponse attendue, puis montrer ce qui change lorsque le contrat n’est pas confirmé ou qu’une condition manque.
Pour qui tester les contradictions d’un RAG
Commencer par une décision qui change le travail
Responsables de procédures, équipes support, DSI et chefs de produit doivent commencer par une décision concrète : demander une pièce, qualifier un dossier ou orienter une revue. Une question générale sur « la politique SAV » masque souvent les conditions qui font varier la bonne réponse. La recette devient exploitable lorsque chaque réponse attendue indique le travail que l’opérateur peut poursuivre.
Dans notre exemple, le lecteur veut savoir quelle pièce joindre à une revue technique interne. L’assistant reste en lecture et propose une réponse ; il n’ouvre pas la revue et n’approuve aucune prise en charge. La recette distingue donc la qualité de l’explication d’une permission de modifier le dossier. Ajouter une action demanderait un contrat distinct avec le logiciel métier.
Observer le coût d’une mauvaise règle citée
Le coût caché d’une mauvaise règle apparaît dans la file de diagnostic : nouvelle demande de pièce, délai d’ouverture de la revue et contrôle d’une fiche finalement inutilisable. Le responsable évalue ces conséquences avant de choisir les cas éliminatoires. Le nombre de citations ne mesure ni la conformité du dossier ni le travail évité ; il indique seulement que des références ont été affichées.
La documentation Microsoft sur le RAG décrit l’appui sur les contenus de l’organisation et les difficultés de préparation, pertinence et accès. Le registre d’autorité proposé ici est un choix de conception applicative. Il ne constitue pas une hiérarchie métier automatiquement fournie par le moteur de recherche.
Deux procédures fictives et leur registre
Fixer les extraits et les dates avant de tester
La procédure générale G-4, approuvée le 25 août 2026, est publiée le 1er septembre et entre en vigueur le 1er octobre. Son paragraphe 2 indique : « Pour les revues techniques internes, joindre une photographie lisible de l’étiquette d’identification. Une fiche d’inventaire seule ne remplace pas cette photographie. » Le registre précise qu’elle remplace G-3 à compter de sa date d’effet.
L’exception E-2, approuvée le 28 mai 2026, est publiée le 1er juin et entre en vigueur le 15 juin. Son paragraphe 2 indique : « Pour une machine déjà installée et couverte par le contrat C-7, une fiche d’inventaire peut remplacer la photographie si elle comporte le numéro de série, le site, la date du relevé et l’attestation du technicien identifié. » Hors de cette portée, E-2 ne propose aucune substitution.
Rendre explicite la relation entre les procédures
Le registre fictif R-8, validé le 20 septembre par le responsable qualité, maintient E-2 comme exception de G-4 pour les machines et contrats concernés. Cette relation approuvée est une troisième pièce de preuve. Elle évite de demander au modèle d’inventer une règle telle que « toute exception ancienne l’emporte ». La décision dépend des deux extraits et de cette relation, tous conservés avec leurs versions.
Le cas de référence porte sur une question du 5 octobre, un contrat C-7 confirmé et une machine installée. La fiche contient les quatre éléments demandés par E-2. La réponse attendue accepte la substitution pour cette revue interne et cite E-2 ainsi que la relation dans R-8. Une variante retire cette relation approuvée : les mêmes phrases deviennent un conflit ouvert qu’il faut faire arbitrer.
Qualifier la portée avant de choisir une règle
Relier la question à un contexte établi
L’application conserve la finalité de la demande, le contrat vérifié, l’état d’installation et la date de référence. Le mot « chez nous » dans une conversation ne fixe pas un site. Une supposition du modèle sur le contrat ne constitue pas un contexte confirmé. Si le système métier peut fournir ces faits, l’intégration indique leur provenance et leur fraîcheur ; sinon l’assistant demande le complément nécessaire.
La question « une fiche suffit-elle ? » reste insuffisante. Le système doit distinguer une fiche complète de toute feuille portant un numéro, et une machine installée d’un matériel encore en préparation. Il ne remplace pas une condition absente par la situation la plus fréquente du support. Dans le cas C-7, l’attestation du technicien est une condition de substitution, pas une décoration de la réponse.
Détecter une différence de portée avant un conflit de fond
Deux phrases incompatibles peuvent être cohérentes lorsqu’elles s’appliquent à des situations différentes. G-4 fixe le cas général ; E-2 décrit une exception limitée. Une comparaison qui ignore cette portée conclut trop vite à une contradiction. À l’inverse, la présence du mot « exception » dans un titre ne prouve pas que cette exception s’applique encore à la procédure courante.
Le registre doit rendre consultables les relations utiles : remplace, complète ou déroge pour une portée précise. Ces relations sont validées par le métier et versionnées. Un champ libre « priorité élevée » ajouté par un rédacteur n’a pas la même valeur qu’une relation approuvée. Lorsque deux autorités revendiquent la même portée sans arbitrage, l’assistant conserve ce désaccord dans sa sortie de contrôle.
Séparer date du fichier et date d’effet
Choisir la date qui répond à la question
Un PDF peut être modifié après une correction de mise en page sans que la règle change. L’ingestion peut aussi dater le fichier du jour de son import. Ces horodatages ne déterminent pas la période d’application. La recette fixe séparément approbation, publication, début d’effet, retrait et version. Elle indique quelle date du dossier doit être comparée à l’intervalle de la règle.
Notre question du 5 octobre porte sur une revue préparée ce jour-là. Si la vraie procédure se rattache plutôt à la date de signature du contrat ou de réception d’une demande, le métier doit le préciser. L’assistant ne choisit pas seul cet événement. Une réponse sur un dossier ancien peut exiger une version historique, même lorsque l’opérateur consulte le système aujourd’hui.
Préserver le cas où la version applicable manque
Pour une revue générale du 25 septembre, G-4 n’est pas encore en vigueur. Le jeu ne contient pas la procédure G-3. Il faut donc rechercher cette version autorisée ou annoncer que la règle applicable n’est pas vérifiable avec les pièces disponibles. Reprendre G-4 parce qu’il est la seule procédure générale retrouvée créerait une anticipation injustifiée.
La recette inclut la frontière du 1er octobre, avec une convention temporelle écrite par le propriétaire du processus. Si l’événement possède une heure, fuseau et limites sont définis avant le test. Pour nos procédures fictives datées au jour, aucun raisonnement sur une heure d’import ne doit changer l’applicabilité. Le statut du fichier reste une information d’exploitation séparée.
Vérifier les pièces réellement récupérées
Contrôler présence et intégrité des passages nécessaires
La trace de recherche doit montrer les identifiants et versions réellement transmis à la génération. Retrouver G-4 sans E-2 ni R-8 ne permet pas de résoudre le cas C-7. Une évaluation de la réponse seule ne dira pas si le modèle a ignoré une exception présente ou si la recherche ne l’a jamais fournie. Ces deux défauts demandent des corrections différentes.
Le découpage doit préserver contrat, installation et exigences de la fiche avec la règle de substitution. Si un fragment conserve « une fiche peut remplacer la photographie » mais perd « technicien identifié », la génération reçoit une permission plus large que la source. La recette compare le passage extrait à l’extrait de référence et vérifie les renvois nécessaires au registre.
Garder pertinence et autorité dans des contrôles distincts
La recherche hybride d’Azure AI Search combine recherches textuelle et vectorielle puis fusionne leurs classements. Cette pertinence aide à retrouver un passage ; le rang obtenu n’établit pas la règle applicable au dossier. Une procédure générale bien rédigée peut apparaître devant une exception valide rédigée avec un vocabulaire différent.
Les filtres sur champs documentaires peuvent restreindre les candidats. Les dates, portées et statuts doivent cependant être fiables et correctement appliqués dans votre chaîne. Un filtre qui exclut les versions historiques rendra certaines questions impossibles. Le plan de recherche prévoit alors la consultation autorisée de l’historique, sans mélanger les versions dans une réponse courante.
Résoudre une exception ou laisser le conflit ouvert
Construire un motif de décision contrôlable
Le contrat de décision reçoit en entrée le contexte confirmé, les versions des pièces et les relations autorisées du registre. Le service vérifie intervalles, portées et suffisance, puis produit en sortie un statut : réponse étayée, contexte à compléter, pièces insuffisantes ou conflit non résolu. La journalisation conserve ce statut et les références admises dans un espace de contrôle protégé ; le contrôleur peut ainsi distinguer un défaut de recherche d’un refus métier.
Dans ce scénario de référence, le motif comporte contrat C-7 confirmé, machine installée, fiche complète, E-2 active et maintien approuvé dans R-8 face à G-4. Retirer l’un de ces faits ne conduit pas automatiquement au même résultat. Une fiche sans attestation échoue sur une condition ; une relation R-8 absente laisse une question d’autorité ; un contrat inconnu laisse une question de contexte.
Faire arbitrer une incompatibilité réellement ouverte
Dans la variante où R-8 ne maintient plus explicitement l’exception, G-4 et E-2 restent approuvés et leurs phrases s’opposent pour le cas C-7. Le modèle ne doit pas déclarer que la version récente abroge l’autre, ni chercher un vote parmi des copies. La sortie de contrôle transmet les références consultables et la question précise au responsable qualité : E-2 déroge-t-elle encore à G-4 ?
L’arbitrage produit une preuve métier : relation validée, périmètre et date d’effet, ou retrait explicite. L’équipe corrige ensuite le registre, la projection de recherche et les cas de recette. Un ajout au prompt qui dit « préférer E-2 » pourrait masquer le désaccord sans mettre à jour les documents. Il compliquerait aussi la prochaine évolution de procédure et son audit.
Rédiger une réponse dont les citations prouvent la décision
Conserver les conditions dans la phrase utile
Pour le cas de référence, une réponse attendue serait : « Pour cette machine installée sous contrat C-7, la fiche peut remplacer la photo dans la revue technique interne si elle contient le numéro de série, le site, la date du relevé et l’attestation du technicien identifié. E-2, paragraphe 2, prévoit cette substitution ; R-8 confirme le maintien de cette exception à G-4. » Les liens renvoient aux versions réellement consultées.
La formulation ne promet ni réparation, ni indemnisation, ni validation du dossier par le responsable. Elle indique uniquement quelle pièce convient à cette étape interne. Une phrase « la photo n’est plus nécessaire » serait trop large, même accompagnée de bonnes citations. L’interface peut présenter les conditions sous une liste courte lorsque leur lecture serait difficile dans une seule phrase.
Faire correspondre chaque affirmation à sa preuve
La citation d’E-2 soutient la substitution et ses conditions. La citation de R-8 soutient son maintien face à G-4. Le contrat confirmé vient du contexte métier et possède sa propre provenance. Mélanger ces preuves ferait dire à une procédure ce qu’elle ne contient pas. Le contrôleur examine chaque affirmation qui change la décision, plutôt que la présence globale d’un lien en fin de réponse.
Le clic doit ouvrir la bonne version et le bon passage, avec un contrôle d’accès actuel. Une référence vers un PDF toujours nommé « procédure.pdf » peut afficher demain une autre version. Si l’application ne peut rendre l’historique consulté, elle l’indique au contrôleur et conserve une preuve adaptée à sa politique de rétention. Cette conservation ne doit pas recréer un accès supprimé pour l’utilisateur.
Huit cas de recette avec réponses attendues
Changer un facteur puis vérifier la conséquence
Chaque ligne repart du cas de référence, daté du 5 octobre, avec une machine installée et une fiche complète. La colonne de variation précise ce qui change ; les autres paramètres restent identiques, sauf lorsque la ligne définit explicitement une revue générale antérieure. Les identifiants servent au dossier de recette interne. Ce tableau contient des résultats attendus, sans mesures de réussite d’un modèle.
| Cas et variation | Réponse ou sortie attendue | Échec à détecter |
|---|---|---|
| T-01 — référence sous contrat C-7 | Substitution permise pour la revue interne ; rappeler les quatre éléments de la fiche et citer E-2 §2 ainsi que R-8. | Choisir G-4 uniquement parce qu’il est plus récent ; élargir la réponse à tout dossier SAV. |
| T-02 — contrat non confirmé | Demander le contrat applicable ou le vérifier par une source autorisée ; conserver le dossier en contexte à compléter. | Déduire C-7 du vocabulaire de la question ; présenter une règle générale comme certaine pour ce dossier. |
| T-03 — contrat standard hors C-7 | Appliquer G-4 pour la revue du 5 octobre ; demander la photo prévue par son §2. E-2 ne couvre pas ce contrat. | Accepter la fiche au seul motif qu’une exception existe dans le corpus. |
| T-04 — revue générale au 25 septembre | Rechercher G-3, absente du jeu, ou annoncer une preuve insuffisante. G-4 n’est pas encore applicable à cette revue générale. | Appliquer une procédure publiée mais pas encore en vigueur ; fabriquer le contenu de G-3. |
| T-05 — E-2 non récupérée | Compléter la recherche à partir du registre autorisé ; sans l’extrait d’E-2, ne pas confirmer les conditions de substitution. | Copier les conditions depuis une ancienne conversation ; conclure sur G-4 seul malgré la relation approuvée retrouvée. |
| T-06 — attestation absente de la fiche | Signaler la condition manquante d’E-2 ; la fiche seule ne satisfait pas l’exception en l’état. Faire compléter la pièce selon le processus. | Accepter n’importe quelle fiche ; omettre la condition du technicien identifié dans la réponse. |
| T-07 — maintien non approuvé dans R-8 | Conflit non résolu entre les règles consultables ; demander au responsable qualité si E-2 déroge encore à G-4. | Inventer une abrogation, voter entre documents ou transformer une préférence du prompt en autorité métier. |
| T-08 — consultation limitée | La projection autorisée ne permet pas de confirmer la règle du dossier ; répondre sans dévoiler référence, condition ou existence de pièces protégées. | Révéler E-2 par une citation, un résumé, un titre caché ou la raison détaillée du refus. |
Exécuter séparément récupération et réponse
La recette réelle fournit d’abord au générateur les pièces de référence autorisées pour vérifier la formulation et l’arbitrage. Elle teste ensuite la chaîne complète avec ingestion et recherche pour observer les pièces effectivement fournies. Cette séparation de diagnostic explique un défaut ; elle ne dispense pas du test complet, qui peut perdre une condition ou servir un registre périmé.
Pour chaque exécution, enregistrer version du corpus, registre, extraction, configuration de recherche, prompt et modèle effectivement utilisés, puis passages, réponse, décision du correcteur et motif d’écart. Répéter les cas utiles après une modification. Un résultat isolé correct n’établit pas une fiabilité stable, et une moyenne ne doit pas cacher T-07 ou T-08 si ces cas sont éliminatoires pour le métier.
Tester les droits et les retraits documentaires
Éviter de confondre corpus accessible et corpus suffisant
Dans le scénario T-08, le serveur fournit seulement la projection autorisée des documents et du registre. Il applique une politique de couverture qui interdit une réponse ferme lorsque la règle du dossier ne peut être confirmée dans cette projection. Ce signal de contrôle ne doit pas révéler quelle pièce manque, pourquoi elle est protégée ou combien d’exceptions existent. Cette politique doit elle-même faire l’objet d’une revue d’accès.
Un modèle qui ne voit que G-4 ne peut deviner de façon fiable une exception inaccessible. La protection dépend de l’application : projection du registre, contrôle de couverture et sortie autorisée. La réponse attendue reste générique, par exemple « Je ne peux pas confirmer la règle applicable à ce dossier avec les sources consultables. » La recette vérifie aussi que l’interface ne laisse pas deviner la référence protégée dans un lien ou une erreur.
Retirer une pièce sans conserver sa permission dans la conversation
Après un retrait d’E-2, le système doit distinguer retrait documentaire et perte de droit d’un utilisateur. Le premier peut changer la règle ; la seconde change ce qui est consultable. Une réponse ancienne ne devient pas une source autorisée pour une nouvelle question. L’application revalide le contexte pertinent et empêche les caches ou résumés de conversation de réinjecter une condition retirée.
Le test de retrait inclut recherche, génération, ouverture des citations et reprise d’une conversation antérieure. Les traces détaillées restent accessibles aux seuls contrôleurs autorisés, avec la rétention adaptée. Une correction de droit ne se limite pas à cacher le bouton PDF après génération : elle doit fermer les chemins qui exposeraient encore le passage ou son influence dans une nouvelle réponse.
Erreurs fréquentes dans l’arbitrage documentaire
Utiliser un classement comme une hiérarchie métier
Les copies d’une même procédure peuvent dominer les premiers résultats et donner l’impression d’un consensus. Une majorité de fragments n’est pas une majorité d’autorités indépendantes. Le système rattache chaque extrait à son document et à sa version ; la recette déduplique les preuves avant d’évaluer la couverture. Répéter G-4 ne retire ni la portée ni les conditions d’E-2.
Une erreur similaire consiste à classer tous les documents par date d’import, puis à prendre le premier. Dans notre jeu, cela peut favoriser une copie ancienne réimportée hier. Le correctif concerne la provenance et les métadonnées d’application, avant le réglage du modèle. Ajouter « fais attention aux dates » ne répare pas une date d’effet absente ou une relation d’autorité inventée.
Confondre prudence et refus systématique
Un assistant qui refuse T-01 alors que les pièces, conditions et droits sont établis crée aussi du travail inutile. L’abstention doit être qualifiée : quel élément empêche de répondre et quelle reprise autorisée peut le fournir ? Pour T-02, il faut confirmer le contrat. Pour T-05, il faut compléter la recherche. Pour T-07, il faut une décision documentaire ; relancer la même recherche n’y répond pas.
La sortie de contrôle garde ces distinctions même lorsque l’écran public doit présenter un message générique. Un contrôleur autorisé peut diagnostiquer la cause sans exposer un document au demandeur. Le service n’utilise pas cette séparation pour revendiquer une certitude invisible : une réponse affirmative reste liée à une preuve consultable et suffisante selon le contrat du cas.
Plan d’action et indicateurs de validation
Livrer le jeu et la reprise avant d’élargir le corpus
Le responsable documentaire et l’équipe technique commencent par une question récurrente et deux procédures qui créent une hésitation réelle. Ils fixent les extraits, versions, dates, relations et droits, puis écrivent ensemble la réponse de référence. Si le métier ne peut justifier cette réponse, le projet ouvre une réserve documentaire avant de rechercher une amélioration de génération.
- Identifier la décision interne et le contexte qui en change la règle.
- Figer les pièces de référence et faire approuver leurs relations d’autorité.
- Écrire les réponses attendues et les refus, avec les preuves autorisées.
- Exécuter les cas sur les pièces de référence puis sur la chaîne complète.
- Corriger extraction, récupération, registre ou formulation selon l’écart observé.
- Rejouer la recette et documenter le repli vers le responsable du processus.
Le runbook attribue la reprise : recherche pour une source manquante, responsable qualité pour un conflit documentaire. Le monitoring suit les références impossibles à ouvrir et le délai de traitement des réserves. Le contrat fixe un repli lorsque le registre n’est pas disponible : suspendre la réponse ferme et garder le dossier dans la file de revue humaine. Réduire le contexte ne permet pas de supprimer silencieusement l’exception la moins bien classée.
Mesurer les erreurs qui changent la décision
La validation compte les cas dont la règle applicable, les conditions et les citations sont correctes ensemble. Elle isole les abstentions attendues, les refus inutiles, les réponses trop larges et les divulgations. Le temps de contrôle humain inclut l’ouverture des preuves et la correction éventuelle ; une réponse obtenue rapidement peut demander davantage de vérification qu’une recherche documentaire classique.
Les dénominateurs et critères sont écrits avant l’essai. Huit cas synthétiques ne permettent pas d’estimer une performance sur tous les contrats de l’entreprise. Ils servent à exposer des défauts de conception et à bâtir une première recette. L’équipe ajoute ensuite des cas représentatifs autorisés, conserve les cas difficiles et fixe ses critères de poursuite selon les conséquences métier observées.
Guides complémentaires pour le corpus et le POC
Préparer les pièces et une évaluation défendable
La préparation du corpus RAG, des accès et des preuves de réponse relie extraction, versions et retrait pour rendre les pièces consultables. Le protocole d’évaluation d’un POC IA métier relie ensuite les cas de recette à une comparaison, au travail de correction et à une décision d’investissement.
Ces étapes se répondent : un refus dû à une pièce introuvable n’est pas évalué comme un désaccord documentaire, et une réponse exacte sur un jeu figé ne prouve pas que les procédures courantes resteront accessibles. La preuve de recette associe les versions au verdict, puis l’exploitation vérifie que la même projection est réellement servie aux utilisateurs autorisés.
Garder l’assistant dans le parcours de travail
Les usages de l’IA générative dans une application métier aident à choisir l’écran et la tâche utiles. L’intégration Azure OpenAI, identités et gouvernance réseau traite les frontières techniques d’un environnement Azure ; l’arbitrage de nos procédures reste porté par leur responsable documentaire.
Si la réponse doit ensuite préparer ou modifier un dossier, cette opération demande sa propre validation. Une conclusion documentaire reste une aide à la décision. Le responsable du processus confirme ce que l’application peut faire avec cette conclusion et quelles pièces doivent accompagner la revue, sans transformer une citation en approbation du travail.
Vérifier ce que chaque citation fait effectivement prouver
Une règle applicable peut encore être mal attribuée dans la réponse. La procédure peut soutenir le délai sans soutenir la gratuité ; le registre peut justifier le maintien d’une exception sans prouver le contrat du dossier. Chaque affirmation conserve donc sa propre relation aux passages qui établissent son sens et ses conditions.
Le contrôle des citations RAG qui ne soutiennent pas l’affirmation distingue références valides, relations utiles et réponse réellement étayée. Dix-sept affirmations fictives gardent les généralisations, contradictions et revues séparées ; aucun juge sémantique ou résultat de modèle n’est présenté comme exécuté.
Conclusion : vérifier la règle avant la formulation
Un RAG utile ne tranche pas une contradiction par la seule récence ou la similarité. Il relie les pièces à une portée, une date d’effet et une autorité approuvée. Lorsque ces éléments suffisent, la réponse conserve les conditions qui changent la décision. Lorsqu’ils manquent, la sortie explique la reprise permise et garde l’incertitude visible.
Notre jeu fictif fournit deux procédures, un registre et huit cas attendus. Sa valeur tient aux écarts qu’une recette peut révéler : contexte supposé, exception perdue, condition supprimée, version anticipée, relation inventée ou contenu protégé dévoilé. Il constitue un point de départ à exécuter et enrichir, sans résultat de modèle ni performance d’entreprise revendiqués.
Avant d’élargir la recette de votre RAG d’entreprise, faites rejouer les huit demandes avec leurs versions documentaires. Le correcteur doit retrouver le contrat confirmé, les conditions de la fiche et la décision qui maintient l’exception. Il classe séparément une pièce non récupérée, un contexte incomplet et un conflit que seul le responsable qualité peut arbitrer.
Dawap accompagne votre responsable qualité dans le cadrage de cette IA sur mesure pour l’assistance SAV. Nous partons d’une question litigieuse, de ses procédures et de l’arbitrage attendu pour préparer une réponse de référence et ses variantes de refus. Le pilote doit permettre au gestionnaire de comprendre quelle pièce demander ou quelle décision documentaire obtenir avant de reprendre le dossier.
