Jeu de test IA : couvrir les cas rares, les erreurs graves et les non-réponses

Le POC répond correctement aux demandes faciles présentées en réunion. Puis une demande avec deux besoins est mal orientée, une référence illisible est complétée par intuition et un homonyme révèle une confusion de compte. Ces incidents peuvent rester presque invisibles dans une moyenne dominée par les dossiers courants. Le jeu de test doit rendre les défauts observables avant que le taux global ne les masque.

En pratique, une recette utile relie dossier, sources admises, attente, gravité et décision. Elle conserve les cas où le système doit demander une précision, signaler une limite ou ne pas produire de réponse métier. Elle sépare représentativité et mise à l’épreuve des frontières : enrichir le jeu avec des cas difficiles ne mesure pas leur fréquence de production.

Nous construisons douze dossiers synthétiques et deux ensembles de réponses A et B, écrits à la main. Leurs jugements sont également manuels ; les calculs et la séparation des identifiants de groupe ont été vérifiés. Aucun modèle, appel d’outil ou système client n’est évalué. L’exemple sert à comprendre les dénominateurs, une pondération fictive et une erreur éliminatoire, sans classer des fournisseurs.

L’audit IA et le cadrage de la feuille de route doivent prévoir ce livrable avant le choix de configuration. Une IA sur mesure adaptée au métier s’évalue sur les dossiers qu’elle devra traiter et sur les limites qu’elle devra conserver, avec les personnes responsables de ces décisions.

Pour qui construire une recette reliée à une décision

Définir le périmètre qui pourrait être ouvert

Le jeu concerne une capacité bornée : proposer une orientation support et une réponse de qualification à partir de sources autorisées. Il ne couvre pas tous les agents possibles de l’entreprise. Le responsable décide quels canaux, langues, pièces et droits entrent dans ce périmètre. Une capacité d’écriture ajoutée ensuite demande d’autres traces et d’autres critères, même si les réponses de qualification paraissent inchangées.

Le protocole d’évaluation d’un POC IA métier fixe hypothèse, référence et décision d’ouverture. Le jeu annoté matérialise une partie de ce protocole. Un score sur une sélection agréable à démontrer ne suffit pas : la recette doit contenir les conditions dans lesquelles une réponse serait corrigée, refusée ou renvoyée au traitement manuel.

Attribuer la règle avant de juger le résultat

Le métier possède l’attente opérationnelle, la sécurité qualifie les frontières de droits et l’application rend les effets observables. L’annotation devient un accord sur ce qui compte comme utile ou interdit. Si ces personnes ne s’accordent pas sur le traitement d’un dossier ambigu, le test doit conserver le désaccord. Un évaluateur ne peut pas inventer après coup une règle qui avantage la configuration préférée.

Le Core du NIST AI RMF 1.0 relie mesure des risques, jeux de test documentés et limites de généralisation. Ce cadre volontaire ne prescrit pas une taille universelle de corpus et ne certifie pas notre recette. Pour l’équipe, le livrable attendu est un registre de décisions et de preuves adapté au périmètre réellement envisagé.

Définir le dossier et la preuve avant de sélectionner

Conserver ce que le système pouvait effectivement connaître

Une unité comprend la demande, les pièces disponibles à ce moment, la mission, l’utilisateur autorisé et la sortie attendue. La bonne réponse connue a posteriori ne remplace pas ce contexte. Si une facture est apparue après la demande, une configuration ne doit pas être pénalisée pour ne pas l’avoir citée auparavant. Le jeu garde versions, dates utiles et provenance afin de distinguer absence d’information et interprétation incorrecte.

La préparation des sources lors de l’audit IA examine disponibilité et droits. Une recette qui nettoie toutes les pièces peut tester un service différent de celui que les équipes utiliseront. L’amélioration des données peut être souhaitable ; il faut alors inscrire cette dépendance dans le périmètre et tester aussi le parcours lorsque la préparation attendue n’est pas encore obtenue.

Associer l’observation à la frontière concernée

L’entrée d’un cas est le dossier figé ; sa sortie comprend réponse, décision de routage et traces d’outil pertinentes. La responsabilité du contrôleur d’essai est de capturer ce qui s’est passé sans le remplacer par le récit de l’agent. Une réponse disant « aucun export » peut accompagner une action déjà transmise. La propriété de non-action exige une trace d’effet, distincte du jugement sur la formulation.

Dans nos douze dossiers, les propositions sont textuelles et schématiques. Elles suffisent à illustrer les annotations et calculs, pas à démontrer le fonctionnement d’un contrôle d’accès ou d’un export. Le registre doit l’indiquer clairement. Lorsqu’il devient une recette de produit, chaque cas reçoit les pièces et observations nécessaires à son critère, avec un environnement autorisé et des données de test non sensibles.

Organiser les familles sans confondre rareté et gravité

Choisir une strate principale et des annotations complémentaires

Notre registre utilise quatre strates exclusives pour son calcul : courant, rare, critique et abstention attendue. Les cas critiques sont affectés d’abord, puis les abstentions dédiées, puis les cas rares et courants. Cette convention appartient à l’exemple. Dans un corpus réel, fréquence, gravité et type de sortie peuvent rester des axes séparés ; leur définition doit empêcher les doubles comptes involontaires dans les statistiques publiées.

Une fuite peut survenir dans un dossier courant. Le classement principal ne rend donc jamais une erreur grave acceptable : le drapeau éliminatoire est applicable à toutes les strates. « Rare » désigne ici une famille choisie pour éprouver une difficulté ; aucune fréquence de marché n’a été mesurée. « Critique » décrit une conséquence jugée éliminatoire pour le périmètre, avec sa règle décidée avant l’essai.

Enrichir les limites sans perdre le suivi des volumes

Exemple concret : le jeu contient quatre cas courants, quatre cas rares, deux cas critiques et deux abstentions attendues. Il surreprésente volontairement certaines difficultés. Sa réussite brute décrit ces douze dossiers, pas le taux probable sur un flux de support. Le registre conserve les effectifs par strate pour qu’un lecteur puisse comprendre exactement ce que la moyenne additionne.

La sélection de cas rares vient des incidents, exceptions et hypothèses du métier. Ajoutez négation, besoins multiples, sources contradictoires et pièce illisible lorsqu’ils existent dans le parcours. Gardez les dossiers qui ne rentrent pas dans la classification initiale : ils peuvent révéler une capacité manquante. Un corpus sans cas non classable peut donner une impression de maîtrise créée par sa propre méthode de sélection.

Douze dossiers fictifs annotés et leurs attentes

Lire les verdicts comme des jugements manuscrits

A et B sont deux séries de propositions inventées pour cette démonstration. Le signe conforme signifie que la formulation répond à l’attente schématique retenue, pas qu’un agent a effectivement respecté ses outils ou droits. Les identités et données sont fictives. La sentinelle de G-01 sert uniquement à matérialiser la divulgation dans une proposition manuscrite ; aucun compte privé réel n’a été consulté.

Garder la raison d’échec avec la proposition

Pour R-03, A affirme que la procédure la plus récente s’applique. Cette règle n’existe pas dans le dossier : la portée reste non résolue. B signale le conflit et demande la vérification. Le traitement des documents RAG contradictoires approfondit les preuves d’applicabilité. L’annotation ne récompense pas une simple formule prudente ; elle exige que le problème de portée soit réellement conservé.

Pour C-01, B demande une référence déjà disponible. Ce comportement ne divulgue rien, mais il fait perdre de l’utilité. Pour N-01, la même logique de précision peut devenir nécessaire puisque les coûts manquent. Une abstention se juge avec son contexte. Le jeu doit donc contenir des cas où répondre est possible et des cas où produire une valeur serait inventer, avec une attente distincte pour chacun.

Écrire des critères qui acceptent plusieurs formulations

Décrire les propriétés obligatoires et interdites

Une attente libre contient informations requises, affirmations interdites et prochaine action acceptable. Elle n’est pas seulement une phrase à reproduire. La documentation officielle Claude sur les évaluations présente des critères mesurables et plusieurs méthodes de jugement. Leur sélection dépend de la propriété ; la similarité d’une réponse à une référence ne démontre pas une absence de divulgation.

{
  "caseId": "R-03",
  "sourceGroup": "REC-07",
  "expected": {
    "required": ["signaler_le_conflit", "verifier_applicabilite"],
    "forbidden": ["choisir_seulement_par_recence"],
    "allowedNextStep": "arbitrage_humain"
  },
  "criticalFailure": false,
  "judgmentOrigin": "annotation_manuelle_synthetique"
}

Ce contrat est propre au dossier fictif ; il ne décrit pas un format fournisseur. Les variantes « vérifier la portée » et « demander l’arbitrage de la procédure applicable » peuvent satisfaire l’attente. En revanche, une longue réponse fluide qui choisit arbitrairement une version échoue. La grille conserve le motif précis pour que les corrections visent la décision, pas simplement le style.

Calibrer les réviseurs sur les désaccords réels

Deux personnes peuvent accepter des formulations différentes ou ne pas apprécier la même gravité. La calibration identifie ces écarts avec des dossiers réservés. Le responsable arbitre la règle et documente sa raison. Les cas sans accord ne deviennent pas automatiquement faux : ils peuvent rester indéterminés, être retirés du périmètre avec justification ou montrer que le processus métier doit d’abord être clarifié.

Notre registre contient un seul jugement manuscrit par série, sans essai inter-évaluateurs. Il ne revendique donc aucun niveau d’accord humain. Une recette opérationnelle conserve annotateurs, version de grille et arbitrages. Un évaluateur automatique peut aider à traiter le volume ; il doit être confronté à des jugements humains sur les types de défaut qu’il est censé reconnaître, y compris ses propres erreurs.

Séparer les groupes de développement et de recette

Éviter de répartir les variantes d’un dossier entre ensembles

Deux messages reformulés à partir de la même facture ne constituent pas nécessairement deux observations indépendantes. Si l’équipe règle le prompt sur la première variante et teste sur la seconde, le système peut retrouver une réponse déjà connue. Le groupe doit représenter les liens pertinents : dossier, thread, pièces sources ou incident initial. Un tri aléatoire par ligne ne suffit pas à rompre ces dépendances.

Le cours Google sur la division des datasets distingue entraînement, validation et test. Pour un service IA, nous adaptons le principe à développement des prompts et recherche, calibration des jugements et recette finale. Cette adaptation ne signifie pas que notre équipe entraîne le modèle ni que les ensembles ont exactement le même rôle que dans un apprentissage supervisé.

Vérifier les identifiants tout en reconnaissant leurs limites

Le registre réserve deux groupes de développement et deux de calibration, distincts des douze groupes de recette REC-01 à REC-12. Le contrôle exécuté vérifie que leurs intersections sont vides et que chaque dossier de recette possède un groupe déclaré. Il ne crée pas les pièces de développement ni de calibration, et ne détecte aucune parenté sémantique inconnue. La preuve porte sur les identifiants du registre réduit.

La vérification réelle inclut ensuite les pièces dérivées, résumés, tickets liés et exemples présents dans les instructions. Une recette tenue à l’écart du réglage des prompts peut néanmoins fuir par un document indexé ou une démonstration partagée. Notez qui a consulté quoi. Après examen détaillé des échecs, une nouvelle configuration réclame un nouveau test tenu à l’écart, ou une annonce explicite de régression sur des cas désormais connus.

Calculer la réussite sans retirer les cas difficiles

Conserver les douze cas dans le calcul annoncé

Les annotations donnent A conforme sur neuf dossiers et B sur dix. La réussite brute vaut 9/12 = 75 % pour A et 10/12 ≈ 83,33 % pour B. Conservez ces effectifs et les deux dossiers d’abstention dans le dénominateur avant de comparer les résultats. Ici, la réussite signifie satisfaire l’attente du cas, qui peut être une limite correctement signalée. Elle ne signifie pas produire une réponse métier chiffrée à chaque demande.

Le routage de demandes avec abstention distingue couverture et qualité des sorties acceptées. Un système qui refuse tout peut éviter certaines affirmations fausses en perdant le service. Notre cas C-01 conserve ce défaut d’utilité, tandis que N-01 valorise l’absence de chiffre inventé. Les deux jugements appartiennent au même contrat de qualification.

Publier les effectifs avec les ratios par famille

Les ratios critiques portent ici sur deux cas. Deux réussites observées ne permettent pas de conclure à l’absence de défaut futur. Une famille vide doit être indiquée non évaluée, avec sa conséquence sur la décision. La moyenne ne doit pas lui attribuer arbitrairement un taux parfait ou nul. Le lecteur doit voir le nombre d’observations derrière chaque pourcentage avant d’interpréter sa précision.

Le contrôleur arithmétique prend les annotations comme entrée, compte les dossiers et produit les ratios en sortie. Sa responsabilité est de vérifier les calculs et dénominateurs déclarés. Il ne relit pas sémantiquement les réponses, n’appelle aucun modèle et ne décide pas si la grille métier est correcte. Cette séparation empêche de présenter un calcul automatisé juste comme une validation automatique de l’expertise humaine.

Pondération fictive : la moyenne peut inverser le classement

Calculer une illustration sans prétendre mesurer le flux

Cas concret : nous attribuons fictivement 90 % de poids au courant, 8 % au rare, 1 % au critique et 1 % à l’abstention. Ce sont des valeurs choisies pour l’illustration, pas des fréquences observées. A obtient 0,90 × 1 + 0,08 × 0,75 + 0,01 × 0,50 + 0,01 × 0,50 = 0,97, soit 97 %. B obtient 0,90 × 0,75 + 0,08 × 0,75 + 0,01 × 1 + 0,01 × 1 = 0,755, soit 75,5 %. Associer ce résultat aux poids déclarés permet de comprendre la comparaison ; il ne permet pas de décider seul de l’ouverture.

La préférence apparente s’inverse par rapport à la réussite brute. Ce calcul explique la dépendance au dénominateur et aux poids, sans donner une estimation de qualité en production. Nos dossiers sont choisis et minuscules ; aucune hypothèse d’échantillonnage n’est établie. Une pondération par fréquences réelles exige une population définie, une méthode de sélection compatible et une incertitude documentée.

Séparer fréquence d’occurrence et décision sur le risque

Un poids de fréquence n’est pas une autorisation de dommage. Une fuite interdite peut rester éliminatoire même si sa famille est peu fréquente. Inversement, surpondérer un dommage grave dans une moyenne ne garantit pas qu’il sera refusé : un autre gain peut encore le compenser. La porte critique doit donc exister indépendamment du taux, avec son seuil et les conséquences de chaque défaut observé.

Évitez d’ajuster les poids après avoir vu quel résultat ils favorisent. Si les volumes ou le périmètre changent, produisez une nouvelle lecture datée et gardez l’ancienne. Le choix doit être expliqué par le flux ou la décision visée. Le coût, la latence et la charge de reprise peuvent être des dimensions supplémentaires ; les réunir dans un score unique demande des arbitrages explicites plutôt qu’une normalisation invisible.

Garder une porte éliminatoire pour les défauts graves

Bloquer A sans déclarer B prêt à produire

G-01 porte une divulgation fictive dans A : cette série est à refuser selon notre seuil éliminatoire, malgré son 97 % pondéré. B n’a aucun défaut éliminatoire annoté sur ces douze propositions, mais échoue sur C-01 et R-04. Il n’est donc pas déclaré apte à produire. Le verdict distingue un motif de refus établi, un critère critique franchi sur ce petit jeu et les autres propriétés encore à démontrer.

La recette d’injection indirecte par document teste séparément des appels manuscrits et leur dispatch local. Elle illustre pourquoi la formulation de G-02 ne suffit pas à prouver une non-action. Pour ouvrir un outil, le corpus doit être relié aux contrôles applicatifs, permissions actuelles et effets réellement observés dans l’environnement de recette.

Conserver les abstentions utiles et les inachèvements techniques

N-01 doit dire que les données ne permettent pas le calcul. N-02 doit signaler que la recherche n’a pas abouti. Ces limites ont des causes différentes et appellent des reprises différentes. Un système peut bien formuler l’inachèvement tout en étant trop souvent indisponible. Le jeu note la qualité du repli ; la supervision doit aussi compter les incidents techniques et leur impact sur la tâche.

Un essai réel qui n’obtient aucune sortie ne peut pas recevoir le même jugement qu’un message d’inachèvement clair. Il garde un état technique et ses données de délai. Les cas terminés, non terminés et abstentions sémantiques restent visibles. La règle du test précise leur place dans chaque indicateur afin que la couverture ne monte pas artificiellement en supprimant ceux qui ont dépassé le budget.

Versionner le corpus et les réserves de généralisation

Lier le résultat à ce qui a été réellement évalué

La version du jeu conserve sélection, dossiers, sources, attentes, annotateurs et calculs. L’exécution conserve modèle, instructions, recherche, outils et règles applicatives. Un changement de corpus RAG peut modifier les réponses sans changer le modèle. Un changement de contrôle serveur peut modifier les effets sans changer la formulation. Le résultat doit rester rattaché à l’ensemble effectivement évalué, avec ses éléments non testés.

Les incidents nouveaux enrichissent une batterie de régression et peuvent justifier une nouvelle famille. Ils ne transforment pas rétrospectivement l’ancien jeu en échantillon représentatif. Le responsable conserve la raison d’ajout, le périmètre touché et les versions qui présentent le défaut. La correction est testée sur le cas connu puis sur des cas distincts adaptés à la généralisation recherchée.

Rendre les limites lisibles dans le dossier d’ouverture

Les résultats distinguent constat, interprétation et hypothèse. « Aucun défaut critique annoté sur deux cas » est un constat limité. « Le contrôle paraît couvrir cette frontière » demande une preuve d’intégration. « La même qualité tiendra sur toutes les langues » reste une hypothèse si une seule langue a été testée. Le dossier doit éviter de convertir ces niveaux en une affirmation globale de fiabilité.

La mesure de valeur d’une brique IA dans le logiciel ajoute temps de traitement, correction et résultat métier. Une recette peut révéler des défauts sans mesurer tous ces gains. La décision de lancement doit conserver les dimensions manquantes, la reprise possible et la prochaine observation prévue, avec une responsabilité attribuée.

Erreurs fréquentes des jeux d’évaluation IA

Transformer la sélection en preuve de performance

Choisir uniquement des dossiers complets retire les cas où les équipes ont besoin d’aide pour comprendre une limite. Multiplier les paraphrases du même incident augmente l’effectif sans apporter la même diversité que de nouveaux dossiers. Paradoxalement, un jeu plus volumineux peut alors donner une confiance plus forte tout en éprouvant presque la même situation répétée. La taille doit être lue avec la méthode de sélection.

Une autre erreur est de confondre données synthétiques propres et corpus client prêt à l’emploi. Les synthèses permettent de tester une idée ou un invariant sans exposer d’informations sensibles. Elles ne reproduisent pas spontanément formats, ambiguïtés, langues et pratiques réelles. Le passage vers un corpus autorisé représentatif demande sa propre préparation, avec minimisation, droits et validation des pièces par les personnes compétentes.

Corriger la note plutôt que le service

Une grille assouplie après chaque échec peut faire progresser le taux sans résoudre le problème. Des poids modifiés après résultat peuvent produire la même illusion. Toute révision de règle doit avoir un motif métier documenté et être appliquée aux comparaisons concernées. Conservez les résultats avant et après ; une règle clarifiée peut être légitime, mais elle change la question posée au test.

Enfin, un jugement de style ne remplace pas une preuve d’effet. L’agent peut se montrer prudent dans sa réponse et imprudent dans un appel. Il peut aussi refuser poliment tous les dossiers où les sources suffisent. Le registre prévoit les deux défauts : action hors mission et service inutile. Les cas de lancement exigent ensuite les traces et essais appropriés à chaque frontière réellement ouverte.

Plan d’action : produire un registre de recette exploitable

Construire les dossiers avec les responsables du parcours

Définissez la capacité, puis recueillez ses demandes courantes, exceptions, limites de droits et cas sans réponse disponible. Pour chaque dossier, fixez le contexte accessible, les propriétés attendues, les défauts et la reprise. Une entrée doit pouvoir être rejouée sans reconstruire oralement une règle manquante. Une source incertaine ou un désaccord reste inscrit avec sa conséquence sur le périmètre.

1. Documenter les familles et la méthode de sélection.
2. Associer attente, preuve, gravité et prochaine étape à chaque dossier.
3. Rapprocher les variantes dépendantes avant de séparer les ensembles.
4. Conserver une recette figée et ses portes éliminatoires avant comparaison.
5. Soumettre effectifs, calculs et réserves aux responsables de la décision.

Le budget d’annotation couvre aussi la calibration et les cas difficiles. Le responsable métier arbitre les attentes ; l’équipe d’intégration observe les effets ; le propriétaire du jeu contrôle version et accès. Une mauvaise annotation peut coûter davantage qu’une petite erreur de calcul : elle entraîne l’équipe vers un comportement incorrect tout en lui donnant un indicateur apparemment stable.

Relier le registre au protocole et aux données disponibles

Le protocole du POC IA conserve la décision, les comparaisons et les critères de lancement. L’audit de préparation des sources précise les données et droits réellement disponibles. Le jeu ne doit pas promettre d’évaluer une capacité dont les pièces ou traces ne sont pas encore accessibles.

Après une première recette, gardez les cas connus pour la régression et ajoutez un ensemble distinct lorsque la question exige une comparaison tenue à l’écart du réglage. La validation finale rapproche utilité, risques, effets et capacité de reprise. Elle ne s’appuie pas sur le seul meilleur pourcentage. Les réserves doivent pouvoir modifier le périmètre ouvert, pas seulement apparaître en petit sous le score.

Conclusion : une moyenne n’explique pas les limites du système

Un jeu d’évaluation est un accord documenté sur les dossiers, preuves et décisions. Il doit montrer les cas courants, les difficultés, les abstentions attendues et les défauts éliminatoires. Ses ratios n’ont de sens qu’avec les effectifs et la méthode de sélection ; une fréquence fictive ou un enrichissement volontaire ne devient pas une mesure de production.

Nos douze dossiers et réponses manuscrites démontrent un calcul : A et B changent d’ordre selon la pondération, tandis que le défaut critique de A reste bloquant. Aucun modèle n’est évalué et B n’est pas déclaré prêt à produire. Les contrôles d’effets, la représentativité et les essais humains restent des preuves à établir sur le service réellement envisagé.

Dans l’audit IA et son protocole d’évaluation, la décision sur G-01 doit rester visible à côté du score pondéré. Une fréquence supposée faible ne rend pas acceptable une action interdite. Si l’équipe exclut une capacité pour contourner ce défaut, elle modifie le périmètre testé et doit refaire les cas concernés ; elle ne peut pas conserver le verdict précédent comme preuve de ce nouveau périmètre.

Pour évaluer une IA sur mesure sur vos demandes métier, Dawap accompagne les responsables du parcours dans la construction d’un premier ensemble de dossiers courants, d’exceptions et de refus attendus. Chaque cas critique reçoit un attendu explicite et une conséquence sur la décision d’ouverture. Les effectifs et les pondérations restent accessibles afin que le meilleur score ne masque ni une famille absente ni un défaut qui interdit le lancement.