Découper un corpus RAG : comparer les unités sur le même jeu de questions

Le chatbot retrouve la phrase qui décrit un retour, mais sa condition est restée dans le fragment voisin. La réponse semble précise, cite le bon document et applique pourtant la mauvaise règle. Ce symptôme invite à examiner les frontières du corpus avant d’augmenter le nombre de résultats ou de changer le prompt. Une règle, son champ d’application et son exception ne portent pas toujours dans la même phrase.

En pratique, comparer un découpage demande un jeu de questions stable et des passages attendus indépendants des fragments. Sans ce repère, la variante qui fabrique davantage de petits morceaux peut sembler mieux couvrir le corpus simplement parce que le dénominateur a changé. La décision doit distinguer présence de la preuve, récupération effective, contexte finalement transmis et réponse réellement produite.

Nous construisons ici deux procédures fictives, trois partitions manuscrites et six questions. Un contrôle local vérifie leurs unités et la place des faits nécessaires ; aucun embedding, index de recherche, reranker ou modèle n’est exécuté. Les calculs structurels ne sont donc ni un benchmark RAG ni une mesure de précision. Ils préparent une grille dont les résultats de recherche restent à renseigner après essai.

La conception d’un chatbot RAG d’entreprise avec preuves documentaires relie ces unités aux sources et aux droits. Dans une solution IA sur mesure pour les équipes métier, le découpage doit permettre de retrouver une règle applicable et d’expliquer ses limites, avec un coût de consultation acceptable.

Pour qui comparer les frontières du corpus

Partir des réponses qui perdent une condition

Le problème concerne une base de procédures, un support interne ou une application qui répond à partir de documents versionnés. Le lecteur doit pouvoir identifier ce que la réponse a réellement utilisé. Une citation vers une page entière peut masquer qu’une note, une portée ou un renvoi n’a pas été transmis au modèle. Le contrôle regarde alors l’extrait reçu, plutôt que la seule pertinence du titre retrouvé.

Le contrat RAG documentaire avec accès et preuves fixe la chaîne complète. Cette comparaison approfondit une décision d’ingestion à l’intérieur de ce contrat. Elle ne résout pas une procédure contradictoire, un document absent ou un droit manquant. Ces défauts restent visibles ; agrandir tous les fragments peut seulement les rendre plus difficiles à diagnostiquer.

Choisir un périmètre où la comparaison reste interprétable

Commencez par une famille cohérente de documents et de questions. Un formulaire court, une annexe tabulaire et une conversation longue peuvent demander des frontières différentes. Les réunir dans une moyenne unique risque de favoriser les cas les plus nombreux au détriment d’une exception importante. La sélection conserve les caractéristiques du corpus, les questions difficiles et les conditions qui changent réellement une décision.

Un petit document peut rester entier si le parcours et ses contraintes le permettent. Le découpage n’est pas une obligation indépendante de l’usage. La documentation Microsoft sur le découpage pour la recherche vectorielle présente plusieurs approches et facteurs à examiner. Ses paramètres d’exemple servent de points d’essai dans leur contexte, sans devenir une taille universelle pour votre corpus.

Annoter les preuves avant de choisir les fragments

Nommer les faits qui rendent une réponse complète

Pour chaque question, le métier identifie règle, condition, portée et exception nécessaires. Le repère peut être une plage de caractères, une cellule ou un passage numéroté dans une extraction contrôlée. Il ne dépend pas du nom du chunk produit. Ainsi, la même preuve peut être présente dans une grande section ou répartie dans plusieurs petits fragments sans changer l’attente de la question.

Les annotations peuvent admettre plusieurs ensembles de preuves équivalents. Une procédure et un référentiel approuvé peuvent exprimer le même fait avec des mots différents. Cette équivalence demande une décision documentaire, pas un rapprochement lexical automatique. Notre corpus pédagogique possède un seul ensemble attendu par question renseignée ; la simplicité de ce choix ne signifie pas qu’un corpus réel doit conserver une seule formulation possible.

Séparer les questions sans preuve des défauts de recherche

Une question peut demander un engagement que la source ne donne pas. Sa réponse attendue est alors une limite ou un transfert, avec une explication adaptée. Il serait trompeur de lui attribuer un passage positif pour améliorer la couverture du jeu. L’annotation conserve l’absence de preuve, sans supposer qu’un fragment semblable au sujet permettra de fabriquer l’engagement manquant.

Le registre d’évaluation avec cas rares et abstentions aide à maintenir ces familles. La recette distingue une preuve inexistante, une preuve inaccessible, une preuve perdue à l’extraction et une preuve disponible mais non récupérée. Les corrections appartiennent à des responsables différents ; leur mélange produit souvent des changements de prompt sans effet sur la cause documentaire.

Corpus original : deux procédures internes fictives

Conserver les unités sources et leur ordre

R19 version 3 décrit un retour interne ; L19 version 2 décrit préparation et suivi. Chaque document contient six propositions, dans l’ordre du tableau. Tous deux portent le périmètre fictif tenant-A. Les délais et conditions sont inventés pour cet exercice interne : ils ne présentent aucune règle légale de retour, garantie commerciale réelle ou pratique client Dawap.

Maintenir l’identité de la preuve au-delà de l’extraction

L’entrée du découpage est cette extraction figée ; sa sortie associe chaque fragment à des repères sources. Sa responsabilité est de conserver les propositions retenues avec leur provenance. Le contrôle vérifie que rien n’a disparu ou été dupliqué entre les partitions. Il ne certifie pas une extraction OCR, puisque les douze phrases sont déjà disponibles et ont été écrites pour l’exercice.

Sur un vrai PDF, l’équipe examine aussi tableaux, titres, notes et pages. Une proposition ne représente pas toujours une phrase autonome : une cellule dépend parfois de sa colonne ou de son unité. Les repères doivent permettre de reconstruire ce sens. Découper proprement une extraction qui a déjà inversé des valeurs ne rend pas ces valeurs justes ; la recette d’extraction précède la comparaison des frontières.

Trois partitions du même contenu

Définir chaque variante sans modifier les règles

F rassemble deux propositions consécutives par fragment. S rassemble deux blocs thématiques de trois propositions par document. C conserve chaque document complet. Les trois partitions sont manuscrites, sans chevauchement ni texte ajouté. S désigne un groupement éditorial choisi pour ce corpus ; aucun algorithme de segmentation sémantique n’est testé, et F ne représente pas une bibliothèque de découpage en tokens.

Traiter les enrichissements comme une autre expérience

Un titre ou contexte explicatif peut accompagner une unité pour la situer. L’approche Contextual Retrieval présentée par Anthropic explore cet enrichissement avant indexation. Elle motive un essai distinct. Ajouter une synthèse générée, changer les frontières et remplacer le modèle de représentation dans la même comparaison empêcherait d’attribuer un résultat à une seule modification.

Notre variante S n’ajoute pas R1 aux deux blocs R19. Ce choix est volontairement visible : la seconde unité porte une exception mais pas sa portée explicite. Une variante enrichie pourrait reprendre une portée vérifiée avec provenance. Elle devrait être nommée séparément, avec les unités ajoutées comptées dans le contexte. Un résumé erroné ne devient pas une preuve parce qu’il précède un passage authentique.

Six questions et leurs passages attendus

Maintenir la même attente pour chaque partition

Q1 examine les conditions du retour ordinaire ; Q2 demande l’exception pour défaut après le délai ; Q3 cherche le canal. Q4 compare avant et après l’heure limite ; Q5 examine un suivi ancien. Q6 demande une date garantie que le corpus ne donne pas. Les cinq premières possèdent des repères positifs ; Q6 reste une absence annotée séparément.

Conserver le périmètre demandé dans l’annotation

R1 fait partie de Q2 parce que la question demande la démarche dans ce contrat. Les phrases sur le défaut et les pièces justificatives ne suffisent pas à établir seules les pièces concernées. Cette exigence d’annotation explique pourquoi le bloc S des incidents reste incomplet. Le résultat changerait si l’on retirait la portée de l’attente ; ce changement serait une autre décision de recette.

Les reformulations, acronymes ou questions composées viennent ensuite enrichir le jeu. Elles ne doivent pas être ajoutées seulement à la variante qui semble perdre. Conservez les cas avant comparaison et séparez le jeu utilisé pour régler les paramètres de celui qui les évalue finalement. Un découpage construit sur les réponses attendues peut réussir ce petit corpus tout en échouant sur des documents encore inconnus.

Ce que le contrôle structurel mesure réellement

Compter une co-présence, pas une récupération

Le contrôle exécuté vérifie douze repères conservés une fois dans chaque partition, sans mélange entre documents. Il recherche ensuite si un fragment contient tous les repères attendus d’une question. F satisfait cette condition pour une question sur cinq, S pour quatre, C pour cinq. Ces nombres décrivent la co-présence dans le corpus ; aucun moteur n’a cherché ou classé ces unités.

Cas concret : Q1 exige R1, R2 et R3. F coupe R3 dans la paire suivante ; S garde les trois ensemble ; C les conserve avec le reste du document. La décision de recette est de conserver cette différence observable sans annoncer que S répond mieux. Deux fragments F correctement récupérés et assemblés pourraient fournir tous les faits ; la présence dans une unité unique n’est pas une condition obligatoire de tout RAG.

Garder le dénominateur lié aux questions

Le dénominateur reste cinq questions avec preuves positives. Q6 ne gagne aucun point parce qu’un document général est disponible ; son abstention doit être évaluée au stade de réponse. Le nombre total de fragments varie de six à deux et ne remplace jamais ce dénominateur. Une mesure de rappel par chunks construite après chaque partition comparerait des objets dont la granularité a changé.

Pour une mesure de recherche, préférez une annotation stable des faits ou passages et indiquez ce que signifie couverture complète. Un seul fait retrouvé peut être insuffisant lorsque la réponse a besoin d’une exception. La grille peut mesurer faits individuels et questions complètement couvertes, sans les confondre. Les cas décisifs restent consultables pour comprendre quelle condition manque derrière un score moyen.

Arbitrer présence des conditions et budget de contexte

Compter ce qu’il faut réellement assembler

Le contrôle calcule aussi l’union minimale de fragments entiers contenant les faits attendus. Un budget pédagogique autorise trois propositions sources, sans troncature. Il ne compte ni tokens fournisseur, ni longueur réelle des phrases, ni messages système. Ce choix artificiel rend visible le coût des frontières ; il ne permet aucune conclusion sur une fenêtre de modèle ou un tarif d’API.

Paradoxalement, C réunit toutes les preuves positives dans un seul fragment par question mais n’en fait entrer aucune sous ce petit budget. Ses unités contiennent six propositions alors que la limite fictive en admet trois. Ce résultat invite à examiner ensemble complétude et volume ; il ne démontre pas qu’un document entier serait moins pertinent ou moins bien compris par un modèle.

Expliquer l’échec avant de modifier un paramètre

Exemple concret : Q2 exige R1, R4 et R5. F mobilise ses trois paires R19 ; S mobilise ses deux blocs ; C mobilise le document entier. Chaque union contient six propositions. La décision est de réexaminer la relation portée–exception, pas de déclarer tous les découpages mauvais. Ajouter une portée vérifiée, autoriser plus de contexte ou sélectionner des sous-passages ouvre des variantes différentes à tester.

{
  "questionId": "Q2",
  "expectedEvidence": ["R1", "R4", "R5"],
  "minimumWholeChunkUnionUnits": {"F":6,"S":6,"C":6},
  "pedagogicalBudgetUnits": 3,
  "retrievalRun": null,
  "generatedAnswer": null,
  "decision": "Reexaminer la relation entre portee et exception"
}

La recherche réelle possède ses propres budgets : candidats, fragments transmis, tokens, durée et coût. Un top-k identique peut envoyer beaucoup plus de contenu avec de grands fragments. Comparez aussi un budget de contexte équivalent mesuré avec le tokenizer du parcours, en conservant les politiques de déduplication et troncature. La disparition d’une condition à cette dernière étape doit rester observable.

Comparer ensuite la récupération à périmètre constant

Geler les autres composants de la chaîne

Le protocole conserve corpus, extraction, droits, questions, version de représentation et réglages de recherche. Les variantes sont indexées séparément avec une identité de lot. Le classement peut ensuite être comparé sur les mêmes demandes. Si une variante utilise une recherche hybride et une autre un moteur vectoriel seul, le résultat mesure plusieurs changements ; il ne permet plus d’attribuer l’écart aux frontières.

L’intégration d’un index vectoriel avec namespaces et ingestion traite les mécanismes d’indexation. Ici, la recette garde l’identité des preuves indépendante de cet outil. Le protocole peut comparer différents services plus tard, mais chaque dimension reçoit son essai. Un nom de namespace bien choisi ne prouve ni isolation appliquée ni pertinence du passage récupéré.

Conserver candidats et contexte finalement remis

L’entrée de recherche est la question avec son contexte serveur ; sa sortie contient des unités autorisées et leur provenance. La responsabilité de classement ne se confond pas avec celle du constructeur de contexte. Ce dernier peut fusionner des voisins, dédupliquer, enrichir ou tronquer. Il faut conserver ce qu’il transmet effectivement pour comprendre pourquoi une preuve retrouvée n’a pas atteint la génération.

La grille par question retient preuves attendues, candidats retrouvés, preuves présentes dans le contexte, unité de coût et temps observé. Les résultats sont laissés non mesurés dans cet exercice. Le contrôle structurel ne fournit pas un faux score de similarité pour remplir ces cases. Les erreurs de filtrage ou d’ingestion interrompent la comparaison de pertinence plutôt que devenir des mauvaises réponses attribuées au chunking.

Vérifier réponse, citations et abstention séparément

Contrôler chaque affirmation avec sa preuve

Une fois le contexte réellement récupéré, la recette examine les affirmations de la réponse. Pour Q1, la formulation doit garder pièces concernées, délai et état demandé. Une citation R2 correcte ne suffit pas si la réponse omet R3. Le jugement distingue fait exact, condition omise, conclusion extrapolée et citation inadéquate ; une bonne recherche ne garantit pas une bonne formulation.

Le corpus ne donne aucune date de livraison garantie. Pour Q6, le comportement attendu reconnaît cette limite au lieu de convertir préparation du jour en promesse de livraison. Cette distinction est annotée à la main ; aucun modèle n’a encore produit la réponse dans la démonstration. L’essai intégré doit observer cette formulation et son absence d’engagement, y compris lorsque des résultats voisins paraissent convaincants.

Garder les contradictions hors d’un vote de similarité

Une version périmée peut contenir un passage plus proche des mots de la question que la version applicable. La réponse doit pourtant respecter le statut documentaire. La recette des documents RAG contradictoires conserve portée, effet et exception approuvée. Le découpage ne décide pas de l’autorité d’un document en fonction de sa position dans les résultats.

Les critères critiques peuvent bloquer une variante malgré une couverture moyenne favorable. Une exposition hors droits ou une règle contraire à la source applicable demande sa correction propre. Conservez aussi les reprises humaines et les réponses inutiles : une abstention permanente ferme des risques tout en rendant le service inopérant. La décision examine utilité et défauts graves avec leurs dénominateurs explicités.

Relier les unités aux droits et aux versions

Ne jamais fusionner des périmètres incompatibles

Les fragments du corpus pédagogique ne traversent pas les documents et possèdent le même périmètre. Ce contrôle réduit ne prouve aucun filtrage multitenant. En production, l’assemblage de voisins doit recontrôler leur consultation : un passage permis ne donne pas automatiquement accès à une annexe ou au document parent. La provenance transporte l’identité de la source ; les droits actuels restent décidés par le service.

Un enrichissement de contexte peut lui-même exposer une information issue d’une autre portée. Le résumé ajouté à un fragment exige donc les mêmes contrôles que les extraits. Les titres et métadonnées peuvent aussi être sensibles. La recette compare les variantes dans des contextes d’accès définis, avec des tests négatifs propres ; leur sécurité ne se déduit pas de la conservation des douze repères publics de notre exercice.

Identifier la partition servie et ses dépendances

Le registre de lot conserve version documentaire, extraction, partition et représentation. Une nouvelle frontière modifie les unités et leurs citations ; les liens affichés doivent encore retrouver le passage d’autorité. Le remplacement de l’index compare unités attendues, reçues et servies. Un succès de job ne suffit pas si certaines pièces restent dans l’ancien lot ou si une recherche interroge encore une projection retirée.

Le dossier de lancement et reprise d’un service IA relie cette décision au run. Le rollback d’une partition ne doit pas réintroduire des documents supprimés ou des droits révoqués. Une fenêtre de transition peut conserver les références nécessaires aux citations historiques, selon la politique documentaire, tout en empêchant leur utilisation comme procédure courante.

Erreurs fréquentes dans un essai de chunking

Choisir le gagnant avec un dénominateur mobile

Le premier piège est de compter les chunks pertinents sans expliquer leur granularité. Une section contenant plusieurs conditions peut correspondre à de nombreux petits fragments d’une autre variante. Le second est de comparer seulement un top-k constant en ignorant le volume envoyé. Ces mesures restent descriptibles, mais leur interprétation exige d’expliciter ce qui change entre variantes et ce que le parcours a réellement consommé.

Autre défaut : régler la taille jusqu’à réunir les passages du jeu final, puis présenter ce jeu comme indépendant. Gardez un ensemble réservé et des familles de documents non utilisées dans le réglage. Un succès sur deux procédures très courtes ne valide ni les tableaux, ni les scans, ni les longues annexes. La comparaison doit exposer ses limites et les prochaines preuves attendues.

Transformer une frontière en explication universelle

Un mauvais résultat peut provenir d’un droit refusé, d’une extraction cassée ou d’un code mal récupéré. Augmenter la taille sans examiner la trace peut masquer ce défaut et augmenter le bruit. La recette suit les preuves à chaque frontière, puis attribue la correction au composant concerné. Le découpage est une hypothèse à tester, pas une cause unique de toute réponse documentaire incorrecte.

Enfin, les résultats d’un fournisseur sur son corpus ne donnent pas le gain de votre projet. Notre contrôle ne reprend aucun pourcentage d’amélioration externe. Les hypothèses d’enrichissement, chevauchement ou recherche hybride reçoivent leurs essais, avec coût et temps réellement observés. Le métier choisit selon les erreurs et les capacités d’exploitation ; une valeur moyenne favorable ne clôt pas une réserve d’accès ou d’autorité.

Plan d’action : transformer la comparaison en décision

Construire une expérience que l’équipe peut relire

Sélectionnez une famille documentaire et des questions qui exigent conditions, exceptions et renvois. Le propriétaire annote les passages, vérifie leur extraction et fixe les comportements attendus sans preuve. Les frontières candidates sont ensuite décrites sans modifier ces attentes. L’équipe peut expliquer pourquoi une variante conserve ou sépare un fait avant de lancer une indexation plus coûteuse.

1. Documenter les repères sources et les ensembles de preuves attendus.
2. Conserver corpus, droits, questions et composants constants entre variantes.
3. Contrôler pertes, doublons et assemblages aux frontières.
4. Mesurer récupération, contexte final, réponses et coût séparément.
5. Associer chaque défaut décisif à sa correction et à une nouvelle recette.

Les mesures préalables peuvent éliminer une partition qui perd des données, mais elles ne désignent pas seules la meilleure recherche. Le protocole conserve les résultats non mesurés et les raisons d’un prochain essai. Pour un budget réel, comptez les tokens du parcours complet et les unités ajoutées par l’assemblage. L’enveloppe pédagogique de trois propositions ne remplace jamais cette observation.

Relier les frontières au contrat documentaire complet

Le contrat documentaire du RAG, de l’accès aux preuves garde la chaîne de confiance. La recette des conflits documentaires traite les règles incompatibles. Une partition recevable doit s’intégrer à ces décisions, avec des citations retrouvables et des reprises lorsque le contexte n’autorise pas de réponse.

Décidez aussi qui maintient les annotations lors d’une nouvelle version. Une règle modifiée peut rendre des attentes anciennes fausses sans changement de modèle. Les retours utilisateurs alimentent un jeu de développement, puis une recette distincte vérifie l’évolution. La fréquence de réévaluation dépend de la vitesse de changement du corpus et du risque des réponses, sans calendrier universel imposé à toutes les bases.

Conclusion : choisir les frontières avec leurs preuves

Un fragment utile doit conserver assez de contexte pour soutenir la décision attendue, ou permettre d’assembler les autres passages nécessaires. Les repères de preuve restent indépendants des frontières choisies. La comparaison garde le même corpus et les mêmes questions, puis distingue présence, récupération, contexte final et réponse : chacune de ces étapes peut perdre une condition différente.

Sur notre corpus fictif, les trois partitions conservent toutes les propositions. Les co-présences et unions calculées expliquent leurs différences structurelles, sans modèle ni index exécuté. Le budget pédagogique montre un arbitrage, pas une limite de tokens. La portée de Q2 et l’absence de garantie pour Q6 restent des décisions de recette à vérifier dans le parcours intégré.

Un RAG métier avec sources, droits et citations vérifiables choisit ses frontières sur ces observations. La taille, le chevauchement et l’enrichissement sont des paramètres d’essai dont l’intérêt dépend des documents, des questions et du coût réellement accepté.

Dawap accompagne la comparaison des découpages d’une IA documentaire sur mesure à partir d’une question dont la règle et l’exception sont éloignées dans vos documents. Le propriétaire métier précise les propositions nécessaires à la réponse ; les essais gardent les mêmes sources, questions et limites de consultation. La comparaison montre alors où une condition disparaît, quelle citation devient incomplète et quelles questions doivent rester sans réponse avant de modifier le découpage du corpus.