Le référentiel vient de fusionner deux fiches client. Depuis ce matin, l’ERP retrouve le bon tiers, mais le prochain export du portail contient toujours l’ancienne référence. À sa réception, l’import crée de nouveau un compte et lui rattache la commande de la veille.
En pratique, la correction doit couvrir les producteurs qui utilisent encore la référence absorbée. Une intégration ERP ou CRM peut conserver un alias pour retrouver le tiers, contrôler la version de la donnée et refuser une création quand le rapprochement reste ambigu.
Le risque porte sur les commandes, les habilitations et la facturation déjà rattachées à l’ancien compte. Vous pourrez décider quel flux intercepter, quelles preuves conserver et quand retirer un alias.
Distinguer copie technique et doublon métier
Une copie technique sert un usage : cache de lecture, index de recherche, projection analytique ou réplica. Elle conserve un identifiant canonique, sa source, sa version et une règle de rafraîchissement. Elle n’est pas autorisée à devenir une nouvelle identité parce qu’un utilisateur a corrigé son libellé localement.
Un doublon métier existe lorsque deux enregistrements revendiquent la même identité ou la même décision. Deux établissements d’un groupe ne sont pas forcément des doublons ; deux fiches créées pour le même établissement peuvent l’être. La granularité doit être écrite : personne, organisation, site, contrat, produit, variante ou équipement.
Les signaux faibles sont les recherches par plusieurs clés, les exports recollés dans un tableur, les références « ancienne » et « nouvelle », les adresses copiées et les corrections annulées par un flux. Mesurez les interventions et les objets orphelins avant de choisir un outil de matching.
- Une projection porte toujours l’identifiant canonique, la version source et sa fraîcheur.
- Un candidat rapproche deux identités sans modifier encore leurs relations.
- Un doublon confirmé reçoit une décision de fusion ou de maintien séparé.
- Une différence légitime reste modélisée comme organisation, établissement, variante ou contrat distinct.
Définir l’identité de l’objet
Séparer identifiant, attribut et preuve
L’identifiant interne reste opaque et stable. Les clés externes — numéro ERP, SIREN, GTIN, code fournisseur — sont rattachées avec leur système, périmètre et période. Le nom, l’adresse ou l’e-mail sont des attributs susceptibles de changer ; ils aident au rapprochement sans constituer toujours une clé.
Écrivez la règle d’identité avec des cas contradictoires. Deux sociétés partageant un standard téléphonique restent distinctes. Une société qui change de nom garde son identité. Un contrat renouvelé peut devenir un nouvel objet relié au précédent. Ces décisions sont métier, pas seulement techniques.
Poser les contraintes certaines
La base impose les unicités prouvées dans le bon périmètre. La documentation PostgreSQL sur les contraintes d’unicité rappelle qu’une combinaison de colonnes peut être unique et que les valeurs nulles ont un comportement spécifique, notamment avec NULLS NOT DISTINCT. Une contrainte mal définie peut donc laisser passer plusieurs absences ou bloquer deux clés légitimes.
Une contrainte empêche le retour du doublon exact sous concurrence ; elle ne remplace pas la normalisation ni la revue des proximités. Ajoutez-la après avoir qualifié l’historique et traité les conflits, sinon la migration échoue sans expliquer le métier.
Attribuer une autorité par attribut
« Le CRM est maître du client » est trop vague. Il peut posséder contacts et consentements, tandis que l’ERP possède compte comptable et conditions de paiement. Le référentiel commun porte l’identité et les relations. Chaque attribut a une entrée autorisée, une fréquence, une validation et un comportement lorsque la source manque.
Une correction dans un consommateur devient une demande vers l’autorité ou un override borné. L’override conserve motif, auteur, expiration et valeur source. Sans ce cycle, la prochaine synchronisation écrase la correction ou transforme le consommateur en maître implicite.
Contre-intuitivement, une « golden record » ne doit pas forcément contenir la valeur la plus récente. La date ne prouve ni la qualité ni l’autorité. Une adresse validée par un contrat peut primer sur une saisie CRM plus récente ; le dossier conserve la règle et la provenance qui ont produit le choix.
Synchroniser les copies sans créer de maîtres
Le message transporte identifiant canonique, clé source, version, date effective et champs autorisés. Le consommateur applique seulement les attributs de cette source. Une mise à jour partielle ne remplace pas un objet complet et une valeur absente ne signifie pas automatiquement suppression.
L’ordre et l’idempotence sont essentiels. Un événement ancien ne réécrit pas un état plus récent. Une reprise avec la même clé ne crée pas une nouvelle fiche. Lorsque le mapping manque, le message va dans une file d’analyse ; créer un objet « temporaire » sans rapprochement ne fait que déplacer le doublon.
La réconciliation compare identités, clés externes et versions entre systèmes. Elle produit une liste actionnable : référence inconnue, mapping multiple, objet absent ou attribut divergent. Le total d’enregistrements synchronisés n’est pas une preuve de cohérence.
Remonter jusqu’au flux qui recrée la fiche
Comparez la date de fusion, la création déclarée par chaque logiciel et les dernières importations. Gardez la valeur brute de la clé reçue, le système émetteur, le périmètre société et la version de l’objet. Une même clé textuelle peut être légitime dans deux périmètres. La table de correspondance doit donc inclure la source et le périmètre.
Rejouez en recette la dernière ligne qui porte l’ancienne clé. Si l’import demande une création alors qu’un alias existe, vérifiez le chemin de résolution des identifiants. Si la clé résout le bon compte mais qu’un champ est quand même écrasé, vérifiez l’autorité par attribut et la version de la donnée importée.
Cas concret : une ancienne clé recrée un tiers après fusion
Rejouer deux fois l’export historique
Exemple fictif. Le CRM a fusionné C-845 dans C-310. L’ERP utilise T-274 pour le même compte de facturation. L’export de la nuit, préparé avant la correction, contient encore C-845 et la commande P-325. La recette attend que C-845 résolve C-310, puis T-274 dans l’ERP. Le second import doit retrouver P-325 et le compte déjà enregistré, avec zéro création de tiers et zéro écriture supplémentaire.
Bloquer un conflit avant l’écriture ERP
Dans le deuxième fichier, C-845 accompagne le code comptable T-821, déjà rattaché à une autre entité. L’import bloque cette ligne et conserve la référence du fichier, le motif et les deux identités déjà connues. Le métier tranche, le support relance seulement la ligne corrigée et la commande reste visible en attente jusqu’à sa confirmation.
Le coût caché apparaît lorsqu’une équipe doit reprendre la commande, corriger l’adresse de livraison puis justifier le changement de compte à la comptabilité. Dans ce cas fictif, la file isole le fichier et la ligne concernés. L’équipe compare le temps de résolution d’une seule ligne au temps requis pour suspendre et rapprocher toutes les commandes déjà importées.
Vérifiez ensuite les deux systèmes. L’ERP contient une seule commande P-325 et la file de rapprochement indique le verdict de la ligne en conflit. Un export hebdomadaire ou un import manuel doit passer la même recette avec ses propres accès.
Conserver la preuve de la fusion pour les imports futurs
Le registre de fusion relie l’identifiant absorbé au compte conservé. Conservez le verdict, la date d’effet, la provenance et la version. L’import doit pouvoir répondre à deux questions pour toute ancienne référence. Quel dossier faut-il ouvrir aujourd’hui ? Quel compte détenait la commande à sa date de réception ?
Si les relations ont déjà été déplacées, la recette inclut une lecture par l’ancienne clé et par la clé courante. Comparez les deux résultats dans les droits du support. Pour décider des valeurs et des contrats à déplacer, reportez-vous au guide de déduplication cité plus bas.
Prévenir la recréation par les flux
Chaque point de création recherche les clés fortes et les alias avant d’insérer. Sous concurrence, une contrainte ferme la course. L’API retourne l’objet existant ou un conflit actionnable. Un import de masse utilise la même logique, pas une voie rapide qui contourne le rapprochement.
Les systèmes externes reçoivent le mapping de fusion et confirment la prise en compte. Un export mensuel rare peut recréer l’ancienne fiche si sa référence n’a pas été propagée. Le registre des consommateurs et une période d’observation révèlent ces appels tardifs.
La déduplication n’est achevée que lorsque le taux de création de nouveaux candidats reste sous le seuil convenu et que les causes diminuent. Sinon, l’équipe nettoie en continu une fuite non réparée.
Maintenir un contrat de compatibilité pour les anciennes références
Les API acceptent temporairement une clé historique et retournent l’identifiant canonique avec une indication de redirection. Les imports consignent l’usage de l’alias, le système appelant et la date. Une référence dont aucun appel n’est observé pendant la période convenue devient candidate au retrait ; une référence encore active déclenche la correction du consommateur, pas la prolongation automatique de toutes les compatibilités. Ce suivi rend la fermeture progressive mesurable.
Instrumenter qualité et réconciliation
La mise en œuvre décrit entrées, sorties, responsabilités, dépendances, seuils et journalisation. L’instrumentation relie candidat, décision, fusion, alias et propagation. Le monitoring suit candidats nouveaux, auto-fusions, refus, recréations, mappings multiples et files en erreur.
Le rollback suspend les nouvelles fusions, laisse les migrations engagées atteindre un point cohérent et active la reprise documentée. La sortie exige une balance, une file qualifiée et la validation du propriétaire métier. Un seuil de faux positif déclenche immédiatement ce repli.
Les données de test couvrent homonymes, changement de nom, filiale, contact partagé, clé absente et concurrence. Elles sont synthétiques ou anonymisées. Le support recherche par toute ancienne référence et comprend la décision sans lire les tables brutes.
Pour qui la déduplication devient critique
Le sujet concerne les équipes produit, CRM, ERP, data et support lorsque plusieurs systèmes créent ou enrichissent clients, produits, contrats, sites ou équipements. Il devient critique avant une migration, une consolidation, un portail client ou un reporting réglementaire.
Une petite base avec une clé fiable peut se contenter de contraintes et d’une correction ponctuelle. Un moteur probabiliste serait disproportionné. À l’inverse, des objets à forte valeur, plusieurs sources et des relations juridiques exigent une revue et un journal de fusion.
Le métier définit l’identité et les erreurs inacceptables. La data calibre les signaux. La technique protège concurrence et propagation. Le run possède diagnostic et compensation. Aucun modèle automatique ne remplace ces responsabilités.
Erreurs fréquentes sur les doublons
Fusionner sur le nom
Les homonymes, filiales et changements de raison sociale rendent le nom insuffisant. Utilisez-le comme signal, puis exigez clés et contexte. Une fusion erronée peut exposer contrats ou données à la mauvaise organisation.
Choisir la dernière valeur
La récence ne remplace pas l’autorité. Conservez source, date effective et règle par attribut. Une correction fiable plus ancienne peut rester opposable face à une importation récente mais non validée.
Supprimer la fiche perdante
Les anciennes références continuent à circuler. Gardez un alias et une redirection, migrez les relations et observez les consommateurs. La suppression prématurée transforme le doublon en objets orphelins.
Décider si un alias peut être retiré
Vérifiez chaque consommateur, y compris les exports qui tournent rarement. Il faut observer au moins un cycle complet pour chaque source et tester le rejeu d’un ancien fichier qui peut légalement revenir. Les résultats attendus sont une résolution vers le compte conservé ou une demande explicite de correction.
Éprouver le retrait sur une copie de recette
Ouvrez le dernier export qui a utilisé l’alias puis rejouez-le après avoir simulé sa désactivation. Si le contrat prévoit le retour d’un fichier archivé, alors cet essai doit soit trouver le compte par une référence encore valide, soit envoyer la ligne à un traitement explicite. Ajoutez aussi un cas où la même clé appartient à une autre société.
Consigner la décision avec les producteurs
- Si un flux actif envoie encore la clé absorbée, alors conservez l’alias et identifiez le lot à corriger.
- Si la clé externe est inconnue et la source non autorisée à créer, alors bloquez la ligne et demandez une correspondance validée.
- Si le propriétaire et les consommateurs valident le refus et la reprise, alors retirez l’alias puis surveillez le premier cycle de chaque import.
Plan d’action : éprouver le prochain import tardif
Dressez la liste des flux qui créent ou corrigent des tiers. Pour chaque canal, notez le prochain envoi, la politique de rejeu, la durée pendant laquelle une ancienne référence peut revenir et le propriétaire autorisé à corriger le fichier.
Recettez en priorité un doublon qui entraîne une commande au mauvais compte. Testez le fichier nominal, le mélange de clés anciennes et récentes, l’arrêt après écriture puis le rejeu du même fichier. Vérifiez la balance des commandes et le nombre de créations dans tous les systèmes concernés.
Ouvrez le flux avec un contrôle sur chaque lot et un responsable de la file d’écarts. Si une nouvelle fiche apparaît à partir d’une clé absorbée, suspendez la création par ce canal. Corrigez la résolution de clé, rejouez les seules lignes bloquées et vérifiez leur rapprochement avant de rétablir les créations.
Approfondir migration et référentiels
Pour définir le système maître et l’écriture à protéger, cadrez l’intégration ERP dans l’application métier. Avant de traiter les anciennes clés, vérifiez quels comptes peuvent être fusionnés et lesquels doivent rester liés.
Après le premier lot, entretenez un tableau de santé par objet métier : créations quotidiennes, candidats détectés, paires revues, fusions annulées et anciennes références encore appelées. Une hausse des candidats après correction signale généralement une voie d’entrée oubliée, pas un moteur de matching trop faible. Reliez donc chaque nouvel écart à son système créateur et à la règle d’identité enfreinte. Cette boucle transforme la déduplication ponctuelle en contrôle durable, sans promettre une base immobile ni imposer la même tolérance à un prospect, un contrat et un bénéficiaire.
Nettoyer avant une migration
Le guide nettoyer la donnée avant migration aide à séparer bloquants, quarantaines et corrections reportables.
Choisir un référentiel commun
Pour décider centralisation et responsabilités, poursuivez avec le référentiel commun pour clients, produits, contrats ou sites. Ces lectures doivent être appliquées à un objet et à ses flux réels.
- Ne pas confondre qualité parfaite et identité exploitable.
- Conserver les références historiques pendant la transition.
- Mesurer la recréation, pas seulement le stock de doublons.
Conclusion : un objet, une identité
Après une fusion, confrontez chaque flux de création ou de mise à jour à l’ancienne référence. Le test doit suivre le fichier, sa résolution et le résultat réellement enregistré.
Affichez les lignes en conflit, attribuez leur décision et relancez seulement celles dont le rattachement a été corrigé. Surveillez les traitements mensuels et les imports manuels avant de retirer leurs alias.
Dawap peut vous aider à cadrer cette recherche et la recette de reprise pendant une intégration ERP ou CRM.