POC concluant, usage faible : éprouver l’IA dans la tâche réelle

Le POC répond correctement pendant la démonstration. Deux semaines plus tard, les équipes ouvrent rarement l’assistance ou reviennent à leur méthode habituelle. Le sponsor voit un problème d’adoption ; les utilisateurs décrivent une vérification trop longue, une suggestion arrivée après leur décision ou une tâche qu’ils terminent plus simplement sans aide. Un résultat technique favorable ne permet pas de choisir entre ces explications.

En pratique, l’essai doit suivre une occasion de travail jusqu’à sa clôture, avec disponibilité de l’aide, usage effectif et effort humain. Le clic d’ouverture et l’acceptation d’une proposition ne prouvent pas que le dossier est terminé. L’audit et le POC IA orientés vers une décision utile doivent préciser cette preuve avant d’attribuer une faible utilisation à un manque de formation ou de confiance.

Le registre fictif de vingt occasions et neuf essais montre pourquoi l’ouverture de l’assistant ne suffit pas : certaines occasions sont inéligibles, certains essais ne produisent aucun résultat acceptable et des tâches se terminent par un repli manuel. Les durées et décisions sont manuscrites ; aucun participant ou modèle ne produit ces chiffres. L’accompagnement IA sur mesure de Dawap peut reprendre ces étapes pour observer un essai réel, avec un dénominateur stable et le travail de correction inclus.

Pour qui séparer démonstration et usage dans le métier

Définir la décision qui manque après le POC

Le responsable métier veut savoir si l’aide mérite une place durable dans le processus. Le sponsor veut décider de financer la suite, et le produit doit choisir quelles interactions améliorer. Ces décisions ne demandent pas seulement si le modèle peut préparer une réponse correcte. Elles demandent si la capacité intervient à un moment utile et si le travail supplémentaire nécessaire reste acceptable pour la personne qui doit terminer la tâche.

La démarche User Needs + Defining Success de Google PAIR recommande notamment de comprendre le workflow et de vérifier que l’IA apporte une valeur spécifique. Ce point aide à cadrer l’observation. Il ne fournit pas un taux d’adoption universel ni une méthode qui certifierait automatiquement notre registre ou un POC client.

Distinguer un parcours mal intégré d’une tâche mal choisie

Une proposition utile mais inaccessible peut demander une correction du produit. Une suggestion facile à ouvrir mais inutile pour une tâche déjà très courte peut demander de revoir le cas d’usage. Une réponse nécessitant des pièces que l’utilisateur n’a pas peut demander une correction de source. Regrouper ces cas sous « résistance au changement » évite l’investigation précisément au moment où elle devient nécessaire.

Le protocole doit conserver la possibilité de conclure que la tâche ne justifie pas cette aide. Ajouter des rappels ou imposer des usages peut faire monter les clics sans améliorer le travail. Avant de chercher une meilleure adoption, il faut définir quelle difficulté l’assistance est censée réduire et ce qui constituerait une preuve contraire. Une décision d’arrêt ou de réduction de périmètre peut être le résultat utile de l’essai.

Identifier les occasions où l’aide peut être utilisée

Compter les tâches éligibles avant les clics

Le dénominateur commence par les tâches auxquelles la capacité pourrait réellement s’appliquer. Une personne peut se connecter tous les jours sans rencontrer le type de dossier prévu par le POC. Compter tous ses jours de connexion comme occasions d’usage ferait apparaître un renoncement qui n’existe pas. Les critères d’éligibilité doivent être écrits avant l’essai, puis appliqués aussi aux tâches où l’aide n’est jamais ouverte.

Dans notre registre, vingt occasions sont observées fictivement, mais deux restent hors périmètre : type de tâche non couvert et source nécessaire exclue. Dix-huit occasions sont donc éligibles. Cette exclusion est fixée avant les calculs, sans retirer ensuite les cas difficiles. Une production doit conserver motif et preuve de cette classification pour qu’une sélection favorable ne réduise artificiellement le dénominateur au fil du test.

Séparer absence d’occasion et absence de disponibilité

Deux occasions éligibles ne disposent pas de l’aide au moment de la tâche, à cause d’une dépendance ou d’une capacité indisponible. Elles restent dans les dix-huit ; elles ne peuvent pas servir à mesurer une préférence contre une assistance qui n’a pas été proposée. Le registre distingue disponibilité et éligibilité afin de localiser cette perte avant d’examiner l’interaction utilisateur.

Le compteur doit utiliser le moment où l’aide peut influencer la tâche, pas une disponibilité mesurée quelques heures plus tard. Une capacité revenue après la clôture n’a pas été disponible pour cette occasion. Journalisez la fenêtre utile et la version proposée sans enregistrer tout le contenu métier dans les métriques. L’exploitation peut alors distinguer panne, périmètre exclu et choix de ne pas utiliser l’assistance.

Mesurer chaque transition avec son dénominateur

Rendre le passage d’une étape à l’autre vérifiable

Sur les seize occasions disponibles, douze ouvrent l’aide et neuf l’utilisent réellement. Une ouverture accidentelle n’est pas un essai, et une proposition seulement affichée n’est pas nécessairement consultée ou exploitée. Il faut définir les événements selon le produit : demande lancée, suggestion examinée, insertion choisie ou autre geste utile. Le nom de l’événement ne doit pas transformer une action d’interface en succès métier.

Ces ratios répondent à des questions différentes. Le taux 9/12 décrit le passage de l’ouverture à l’usage ; 5/18 décrit les clôtures assistées parmi toutes les occasions éligibles. Les multiplier ou choisir le plus flatteur sans préciser la population fabrique une lecture ambiguë. Le tableau de bord doit présenter les nombres bruts et la définition de chaque étape, afin que le métier puisse vérifier ce qui a été compté.

Reconnaître le travail terminé sans aide

Deux autres tâches sont terminées par le parcours manuel après une ouverture sans utilisation. Elles contribuent au service rendu, mais ne sont pas des clôtures assistées. Le total des clôtures du registre vaut donc sept, dont cinq assistées. L’assistance ne doit pas s’attribuer la résolution simplement parce que son panneau a été ouvert plus tôt sur le même dossier.

La distinction est utile pour comprendre le repli : une personne peut renoncer à l’aide et terminer efficacement, ou renoncer parce que la tâche devient trop difficile. Un événement « retour au manuel » ne suffit pas à choisir entre les deux. Le suivi doit conserver résultat et effort du parcours repris, avec une frontière claire entre mesure d’usage de la capacité et mesure de performance du processus complet.

Comparer des tâches et conditions réellement comparables

Éviter de comparer les volontaires aux cas restants

Les utilisateurs peuvent choisir l’aide pour les dossiers les plus difficiles, ou au contraire seulement lorsqu’ils savent déjà contrôler la réponse. Une comparaison entre tous les dossiers assistés et tous les dossiers manuels mélangerait alors difficulté et effet de l’assistance. Le protocole doit décrire familles, pièces disponibles et expérience des personnes, puis prévoir une répartition adaptée à la question à tester.

Un essai réel peut envisager une attribution aléatoire ou une répartition contrôlée sur des tâches de difficulté comparable. L’organisation doit aussi tenir compte des contraintes du métier et du risque des opérations. Notre registre n’exécute aucune répartition ni étude causale. Ses neuf références manuelles sont inventées pour montrer le calcul ; elles ne démontrent pas ce qui serait arrivé aux utilisateurs sans l’aide.

Garder apprentissage, ordre et qualité dans le protocole

Faire traiter deux fois exactement le même dossier peut avantager le second parcours grâce à la connaissance déjà acquise. Des tâches proches mais distinctes, un ordre équilibré et une période de prise en main peuvent limiter certains biais, sans les faire disparaître automatiquement. Les conditions retenues doivent être consignées. L’apprentissage de l’outil et celui du métier ne doivent pas être confondus dans l’explication d’un temps plus court.

La qualité doit être jugée avec une grille commune aux deux parcours, idéalement sans indiquer au juge quelle méthode a produit la sortie lorsque cela est possible. Le protocole fixe ce qu’est une tâche correctement terminée et traite désaccords, données manquantes et inachevés. Une mesure de rapidité n’éclaire la décision que si elle conserve ces différences de résultat et les conditions dans lesquelles la personne a travaillé.

Compter l’effort après l’arrivée de la proposition

Observer recherche de preuve, correction et transfert

La latence du modèle finit lorsque la réponse arrive ; le travail de l’utilisateur peut alors commencer. Il faut retrouver la source, lire une exception, contrôler un montant ou préparer une validation. Si l’interface ne montre pas ces éléments, une réponse rapide peut créer davantage de travail que le parcours classique. La mesure doit séparer génération, temps actif de vérification et attente d’une personne ou d’une dépendance.

Cas concret : A33-06 contient une proposition acceptable mais attend une validation finale ; A33-09 indique un renoncement lié à une vérification trop lourde. Ce sont deux motifs fictifs différents. Le premier ne montre pas une mauvaise suggestion, le second ne prouve pas à lui seul une mauvaise volonté utilisateur. Une observation réelle doit établir ce qui manque, qui doit intervenir et si la charge supplémentaire était connue lors du cadrage.

Pour une aide documentaire, une citation vérifiable doit ouvrir la pièce dans les droits de la personne. Des permissions insuffisantes peuvent laisser une proposition visible sans permettre sa vérification. La supervision doit repérer cette rupture au lieu de compter le refus comme un simple manque de confiance. Le protocole distingue source absente, référence erronée et accès interdit, puis attribue leur correction sans élargir les droits pour accélérer le test.

Définir l’aide que la personne peut contrôler

Les guidelines de Microsoft Research sur l’interaction humain–IA abordent notamment capacité annoncée, timing et contrôle de l’utilisateur. Elles aident à examiner une suggestion qui arrive au mauvais moment ou dont les limites restent opaques. Elles ne donnent pas un score qui remplacerait l’observation de notre tâche ou la preuve de clôture.

Le produit peut montrer ce qui a été préparé, les sources effectivement utilisées et ce qui reste à vérifier. Il doit permettre une correction ou un refus sans effacer la saisie. L’étude d’adoption doit constater si ces moyens sont utilisés et suffisants, plutôt que supposer qu’une simple présence de boutons crée la confiance. Une personne peut avoir une bonne raison de conserver le parcours classique lorsqu’elle ne peut pas maîtriser la proposition.

Observer pourquoi une aide disponible reste inutilisée

Associer une observation au bon moment du parcours

Le registre décrit quatre occasions disponibles sans ouverture : aide non remarquée, bénéfice attendu insuffisant, prise en main insuffisante et préférence pour la méthode habituelle. Ces motifs sont écrits à la main ; aucune enquête n’a été menée. Dans l’essai réel, une absence de clic ne permet pas d’inférer directement l’un d’eux. Il faut combiner événements, observation de la tâche et question adaptée à la personne.

Trois ouvertures sans utilisation ont d’autres causes : méthode manuelle préférée, suggestion trop tardive et ouverture accidentelle. La correction doit viser la transition observée. Un rappel visuel peut aider une capacité non remarquée ; il ne résout pas une proposition qui arrive après la décision. Une formation peut clarifier les limites ; elle ne supprime pas une vérification dont le coût reste supérieur au bénéfice attendu.

Conserver les personnes qui ne deviennent pas utilisatrices régulières

Un entretien avec les seuls utilisateurs enthousiastes peut produire des explications utiles mais partielles. La population d’essai doit inclure ceux qui essaient, abandonnent, n’ouvrent pas ou n’ont pas d’occasion éligible. Le protocole doit distinguer ces catégories sans les convertir en jugement individuel. Le but est d’évaluer le service et ses conditions d’usage, pas de classer les personnes selon leur obéissance à une consigne de test.

La répétition d’usage peut être suivie sur des occasions comparables, en tenant compte de leur fréquence. Un usage quotidien n’a aucun sens si la tâche concernée survient mensuellement. Le suivi doit aussi reconnaître l’effet de nouveauté et l’évolution de la charge. Une première semaine de curiosité ne garantit pas une adoption durable ; une fréquence faible peut rester cohérente avec un cas d’usage rare mais utile.

Lire vingt occasions et neuf essais fictifs

Conserver les essais qui ne finissent pas la tâche

Les neuf usages possèdent chacun une durée active d’essai et une référence manuelle fictive. Les durées de l’essai comprennent le travail lié à l’aide, y compris sa vérification, mais pas l’attente calendaire ni un repli manuel ultérieur. Les neuf références sont choisies comme correctement closes. Cette construction sert à rendre le piège du dénominateur visible ; elle n’est pas une comparaison expérimentale entre deux groupes réels.

Les cinq premières lignes terminent la tâche avec une proposition acceptable. La sixième est acceptable sans être terminée ; les trois suivantes restent inachevées pour d’autres raisons. Le registre ne les supprime pas du temps d’essai. Cette conservation permet de voir l’effort déjà dépensé et les dossiers encore ouverts. Une mesure réelle devra suivre leur devenir jusqu’à une fenêtre de clôture fixée à l’avance.

Garder une définition exécutable des événements

Le calcul vérifie que clôture assistée implique proposition acceptable, puis usage, ouverture, disponibilité et éligibilité. Ces relations sont un choix de notre registre. D’autres produits peuvent accepter une proposition corrigée selon une grille différente ; leur définition doit être explicitée. Les événements ne doivent pas être réinterprétés après le test pour transformer une insertion ou un transfert en succès final.

{
  "eligible": 18,
  "available": 16,
  "opened": 12,
  "used": 9,
  "acceptable": 6,
  "assisted_closed": 5,
  "fallback_closed": 2
}

Le contrat d’instrumentation précise l’entrée : occasion, tâche, version et disponibilité au moment utile. Sa sortie associe événements observés, effort actif et résultat jugé. La responsabilité de la qualité appartient au référent métier ; le produit définit les gestes, et l’équipe technique garantit les traces. Le repli manuel conserve son propre résultat pour éviter qu’une clôture classique soit comptée comme un bénéfice de l’assistance.

Éviter le faux gain des seuls essais rapides

Calculer l’effort en conservant les tâches inachevées

Exemple concret : les neuf essais totalisent cent minutes actives, avec une médiane de onze minutes. Les références manuelles totalisent cent vingt-neuf minutes, médiane quatorze. Cette comparaison de durées par tentative paraît favorable à l’aide. Elle ignore cependant que l’essai ne produit que cinq clôtures, contre neuf références closes. Les deux ensembles ne rendent donc pas le même service dans notre construction fictive.

Le ratio vingt minutes répartit aussi l’effort des essais sans clôture sur les cinq résultats obtenus. Il ne décrit pas la durée moyenne des cinq tâches terminées et ne compte pas le travail qui restera nécessaire. La valeur 43/3 garde le calcul exact de la référence. Ces nombres montrent pourquoi le service rendu doit rester dans le dénominateur ; ils n’autorisent aucune conclusion sur la productivité de véritables utilisateurs.

Ne pas faire disparaître les coûts hors essai

Les trois ouvertures sans utilisation ajoutent six minutes actives fictives. Leur effort n’entre pas dans le total cent, qui couvre uniquement les neuf usages. Les deux tâches manuellement closes demandent aussi un travail dont la durée n’est pas renseignée ici. Le registre est donc insuffisant pour calculer le coût complet du processus. Il rend ces manques visibles au lieu de présenter un gain final avec des données absentes.

Paradoxalement, une aide peut réduire le temps apparent d’essai tout en augmentant l’effort par résultat réellement terminé. Ce signal demande une investigation sur qualité, vérification et inachevés, pas une annonce commerciale de minutes économisées. L’essai terrain doit mesurer le parcours complet selon sa fenêtre d’observation, avec attentes et reprises séparées des minutes actives. La frontière du calcul doit être rappelée dans toute décision de financement.

Décider la poursuite sans confondre clic et valeur

Choisir les conditions avant de voir les résultats

Le sponsor et le métier doivent fixer les résultats attendus : qualité minimale, absence de défaut bloquant, capacité de vérification et charge de reprise acceptable. Les seuils dépendent du risque et de la tâche. Une intention « augmenter l’usage » ne suffit pas, car elle peut être satisfaite par une interaction obligatoire qui n’aide personne. Les conditions doivent permettre poursuite, réduction du périmètre ou arrêt.

Notre registre ne fournit pas de seuil statistique ou une décision d’ouverture. Les chiffres sont choisis et le nombre de cas est trop limité pour représenter une population réelle. Un essai comparatif demande une méthode adaptée, une analyse de son incertitude et des contrôles de qualité. La préparation du protocole doit inclure les compétences nécessaires ; une liste d’indicateurs ne transforme pas une observation descriptive en preuve causale.

Associer une correction à la transition qui échoue

Une disponibilité insuffisante demande de travailler le service technique avant de juger les préférences. Une ouverture faible peut demander visibilité ou cas d’usage mieux placé. Une utilisation suivie de renoncement peut demander sources, délai ou charge de contrôle. Une proposition acceptable sans clôture peut révéler un transfert ou une validation non pris en charge. Chaque correction doit annoncer la transition visée et ses effets possibles ailleurs.

Le contrat de poursuite indique entrée de l’essai suivant, version modifiée, sorties comparées et responsable du verdict. L’instrumentation conserve les mêmes définitions pour rendre le changement interprétable. Le repli reste disponible et mesuré ; le périmètre ne s’élargit pas pour compenser un résultat défavorable. La décision peut alors être discutée sur le travail réellement observé, au lieu de déplacer le succès vers l’indicateur qui a augmenté.

Erreurs fréquentes dans une mesure d’adoption

Retirer les renoncements et changer la population

Conserver uniquement les suggestions acceptées masque le travail dépensé dans les autres essais. Comparer les utilisateurs réguliers aux personnes qui n’ont pas eu de tâche éligible crée une différence artificielle. Les populations doivent rester identifiables : toutes les occasions, les éligibles, les disponibles et les usages. Les exclusions doivent être justifiées avant la lecture des résultats, avec une trace de toute modification du protocole.

Une autre erreur consiste à mesurer seulement le premier jour de démonstration, avec l’équipe qui a construit le POC à proximité. Cette aide humaine peut réduire les frictions que les utilisateurs rencontreront ensuite seuls. Le protocole doit préciser formation, présence du support et période de familiarisation. Sans ces conditions, une baisse ultérieure d’usage peut être attribuée au modèle alors qu’elle vient du changement d’environnement.

Interpréter la fréquence comme une preuve de confiance

Un usage élevé peut provenir d’une consigne, d’une curiosité initiale ou d’une absence d’alternative. Un usage faible peut refléter une tâche rare, une bonne méthode classique ou une interruption technique. Aucun de ces comportements ne démontre seul la confiance ou la défiance. Une question et une observation contextualisées sont nécessaires pour attribuer un motif, sans convertir un événement de produit en jugement psychologique.

Enfin, l’absence de plainte ne prouve pas une aide satisfaisante. Les personnes peuvent abandonner le panneau et continuer sans signaler ce qui les a freinées. Le produit doit proposer un retour simple et préserver la possibilité de refus. L’analyse doit examiner les tâches non terminées et les utilisateurs qui sortent du parcours, avec des pratiques d’observation adaptées aux équipes et aux données concernées.

Plan d’action pour un essai terrain interprétable

Définissez une famille de tâches où le métier reconnaît le début, le résultat acceptable et la fin. Décrivez le parcours classique avant d’ajouter l’assistance, puis choisissez ce qui sera observé après la génération. Le protocole doit rendre les occasions sans usage visibles, afin que le registre ne commence pas seulement lorsque la personne ouvre le panneau. La qualité et l’effort doivent rester comparables entre les méthodes.

1. Écrire la question de décision. Précisez le problème à réduire et la population concernée. Fixez critères d’éligibilité, résultat correct et fenêtre de clôture avant l’essai. Identifiez ce qui conduirait à réduire ou arrêter le cas d’usage, pour que la démonstration du modèle ne devienne pas une obligation de déploiement.
2. Préparer une comparaison interprétable. Choisissez tâches, difficulté et conditions d’accompagnement. Examinez sélection, apprentissage et ordre des parcours ; prévoyez la méthode d’attribution adaptée à l’étude. Faites juger les résultats avec la même grille et conservez les désaccords, sans considérer une acceptation d’interface comme la preuve finale de qualité.
3. Instrumenter les transitions utiles. Comptez occasion, disponibilité au bon moment, ouverture, usage, proposition acceptable et tâche terminée. Reliez événements et version sans copier inutilement les documents. Séparez minutes actives, attente calendaire et effort de repli ; vérifiez les traces avec une personne qui connaît la tâche réelle.
4. Observer le renoncement et la reprise. Incluez les personnes qui ne cliquent pas ou abandonnent, avec des questions courtes liées au moment observé. Conservez source manquante, suggestion tardive et charge de vérification comme motifs distincts. Vérifiez ce qui est ensuite terminé manuellement, et l’effort nécessaire pour reprendre les dossiers restés ouverts.
5. Décider et préparer l’essai suivant. Relisez qualité, effort, disponibilité et portée utile avec le métier. Attribuez les corrections à leurs transitions, nommez une version et gardez les définitions constantes. Documentez incertitude et limites de la preuve ; ouvrez seulement le périmètre que les résultats permettent de soutenir.

L’investissement dans l’observation doit rester proportionné à la décision. Une étude préparatoire peut localiser une friction sans prétendre chiffrer un gain causal. Une ouverture large demande des preuves et une analyse plus solides. Il faut annoncer ce niveau avant de présenter les résultats, car un tableau de taux précis peut donner une impression de certitude supérieure à celle permise par la population et la méthode.

Le suivi après correction doit conserver les tâches et personnes difficiles. Une amélioration de la visibilité peut augmenter les usages tout en ajoutant des vérifications coûteuses ; une meilleure source peut améliorer la qualité sans augmenter les clics. La décision gagne à distinguer ces effets. Le produit ne cherche pas seulement à rendre l’assistance fréquente, mais à rendre sa contribution au travail compréhensible et utile.

Guides pour protocole, sources, cas rares et retours

Relier la tâche au périmètre et à la preuve

Le protocole d’évaluation d’un POC IA fixe population, critères et décision de poursuite. La préparation des sources avant un usage IA examine ce qui peut empêcher la vérification. Ces conditions doivent être connues avant d’attribuer un renoncement à l’interaction ou aux préférences de la personne.

Le jeu d’évaluation qui conserve les cas rares protège l’essai contre une sélection de dossiers faciles. L’observation d’adoption garde aussi ces cas dans son périmètre, selon les critères définis. Une aide qui semble utile sur les demandes simples peut déplacer l’essentiel du travail sur les exceptions ; la décision doit pouvoir retrouver cette composition.

Qualifier le retour avant d’en faire une amélioration commune

La qualification du retour utilisateur après correction distingue préférence de style, preuve factuelle et exception. Un commentaire d’adoption doit lui aussi conserver son contexte et son origine. Il peut orienter une investigation sans devenir immédiatement une vérité générale sur le modèle ou une consigne de modification appliquée à toutes les tâches.

Le coût du dossier correctement traité prolonge les mesures d’effort lorsque le service complet est renseigné. Notre registre laisse volontairement certaines durées absentes ; le calcul économique ne doit pas les remplacer par zéro. L’essai réel doit retrouver reprises et clôtures avant de transformer une différence de minutes d’essai en budget ou en économie attendue.

Conclusion : démontrer une aide dans le parcours complet

Une démonstration favorable montre une capacité dans ses conditions de test. Elle ne mesure pas automatiquement disponibilité au bon moment, vérification, renoncement et tâche terminée. L’étude d’adoption doit suivre ces transitions avec leurs populations, sans s’attribuer les clôtures du parcours manuel ni supprimer les essais qui n’ont pas produit de résultat utile.

Le registre fictif rend cette différence visible : neuf usages, six propositions acceptables et cinq clôtures assistées. Les cent minutes actives paraissent favorables face aux cent vingt-neuf de référence, mais leur dénominateur de clôture change la lecture. Ces calculs vérifient une méthode de comptage ; ils ne démontrent aucune performance d’un modèle ni aucun effet sur de véritables équipes.

L’audit IA et le cadrage d’un POC doivent préparer une preuve à la hauteur de la décision. Observer le travail, qualifier la qualité et garder les inachevés permet d’identifier une correction utile ou un cas d’usage à réduire. La faible fréquence d’ouverture devient alors une question à investiguer, au lieu d’un défaut automatiquement attribué aux utilisateurs.

Pour décider si un POC mérite d’être étendu, notre accompagnement IA sur mesure peut suivre les occasions de travail jusqu’à leur clôture, y compris celles où l’assistant est abandonné. Le protocole doit comparer tâches éligibles, qualité acceptée, corrections et temps total avec une référence explicite. Une utilisation imposée ne renseigne pas à elle seule sur l’aide obtenue ; les refus et replis doivent aussi orienter la correction du parcours.