Développement web

Découvrir ce que la base contient réellement avant de promettre ce que la cible saura reprendre

Jérémy Chomel Dawap
  • Publié le : 9 août 2026
  • Mis à jour le : 14 novembre 2026
  • Temps de lecture : 13 minutes
  1. Dans quel cas le profilage change la décision de migration
  2. Définir le périmètre avec les usages et non les seules tables
  3. Obtenir un snapshot traçable et statistiquement représentatif
  4. Mesurer la complétude selon les processus qui consomment la donnée
  5. Révéler les domaines réels derrière les types déclarés
  6. Éprouver identités, doublons et règles de rapprochement
  7. Cartographier dépendances, orphelins et cycles de chargement
  8. Analyser l’historique sans appliquer les règles actuelles au passé
  9. Inclure documents, blobs et références hors base
  10. Classer les anomalies par impact et traitement possible
  11. Erreurs fréquentes qui produisent un diagnostic rassurant
  12. Cas concret : clients, contrats et consentements historiques
  13. Plan d’action pour profiler en trois semaines
  14. Guides complémentaires : usine, budget et parité fonctionnelle
  15. Conclusion : le profilage transforme l’inconnu en décisions
Portrait de Jérémy Chomel

Un export annonce 99 % de contrats avec titulaire. Le rapport mélange les contrats actifs et ceux qui restent en archive. Quand le métier filtre les contrats actifs, il retrouve plusieurs dossiers dont le titulaire a disparu.

Avant de construire le mapping d’une refonte de logiciel métier, mesurez ce type d’écart avec la population, la date et la règle de contrôle. Le profil doit permettre de retrouver les dossiers à traiter et les relations qui empêchent l’ouverture.

La méthode qualifie valeurs, identités, dates, pièces et liens sur la source. Elle donne une mesure de départ que l’équipe pourra reproduire avant chaque répétition.

Dans quel cas le profilage change la décision de migration

Le profilage devient déterminant dès que plusieurs versions, imports manuels, extensions locales ou bases fusionnées ont façonné les données. Il l’est aussi lorsque les règles ont changé sans migration rétroactive ou que les utilisateurs compensent les défauts par des conventions non documentées.

Distinguer inventaire technique et aptitude à la reprise

L’inventaire dit qu’une table contient trois millions de lignes. L’aptitude à la reprise précise combien représentent des objets encore utiles, quelles relations sont prouvables et quelles valeurs la cible peut interpréter sans inventer une décision.

Si le système source possède des contraintes fortes, un dictionnaire fiable et peu d’historique, alors un profil rapide peut suffire. En revanche, une base permissive avec règles dans le code, fichiers externes et corrections directes exige une analyse par domaine et par période.

Le coût caché d’un profilage absent arrive tard : développement de mappings inutiles, campagnes de nettoyage non prévues, allongement du gel et charge support après démarrage. Le diagnostic précoce convertit ce coût en choix de périmètre ou en chantier explicite.

Définir le périmètre avec les usages et non les seules tables

Un objet métier traverse souvent plusieurs tables, vues, fichiers et calculs. Le périmètre part donc des parcours à maintenir : retrouver un client, facturer un contrat, prouver un consentement, ouvrir un dossier ou consulter une pièce.

Construire une carte objet-source-consommateur

Pour chaque objet, la carte relie source d’autorité, identifiant, attributs, relations, historique et consommateurs. Elle indique aussi les écritures qui continuent pendant le projet. Cette vue évite d’oublier une table d’archive parce qu’aucune clé étrangère ne la rattache au schéma principal.

Les responsables métier valident les usages et les périodes nécessaires ; les développeurs identifient les structures et règles d’interprétation ; l’exploitation révèle exports, réparations et traitements nocturnes. Le profilage reste reproductible, tandis que le verdict d’utilité appartient aux propriétaires du processus.

À refuser : « migrer tout pour décider plus tard ». Les données sans finalité augmentent volume, exposition et complexité, puis déplacent l’ambiguïté dans la cible. Chaque famille reçoit une destination : reprise active, archive consultable, conservation réglementaire ou exclusion signée.

Obtenir un snapshot traçable et statistiquement représentatif

Le profil doit pouvoir être rejoué sur une source identifiée. Le snapshot porte date, périmètre, version du schéma, requêtes d’extraction, comptages et empreintes. Les secrets et données sensibles sont protégés sans supprimer les propriétés utiles à l’analyse.

Échantillonner sans effacer les cas rares

Une extraction récente et aléatoire masque souvent anciennes versions, petits établissements ou dossiers clôturés. L’échantillon se stratifie par période, entité, statut, version applicative et volume de relations. Les extrêmes sont volontairement inclus.

Pour les calculs de fréquence et d’intégrité, un profil exhaustif peut être moins coûteux qu’un échantillonnage complexe. Pour les payloads lourds ou documents, des métadonnées exhaustives complétées par un choix stratifié offrent un bon compromis.

Deux snapshots successifs permettent de mesurer la dérive pendant le projet. Si de nouvelles valeurs apparaissent chaque semaine, alors le mapping nécessite un mécanisme de détection continue et non un dictionnaire figé au cadrage.

Sur un legacy PHP et Symfony, le profil peut lire un export PostgreSQL depuis une commande sans démarrer le frontend ni le backend applicatif. Les entrées sont le manifeste, le schéma et les règles versionnées ; les sorties sont des tables Parquet, des agrégats JSON et un rapport HTML contrôlé en CI. La journalisation attache à chaque exécution l’empreinte du snapshot, le commit des requêtes et leur durée. Doctrine sert seulement à documenter le modèle courant : les requêtes de mesure restent explicites pour éviter que des filtres du CRM ou de l’ERP masquent les lignes historiques.

Mesurer la complétude selon les processus qui consomment la donnée

Un taux de valeurs nulles ne dit pas si l’absence est acceptable. Le numéro de TVA peut être optionnel pour un prospect, obligatoire pour une facture professionnelle et historiquement absent avant une date réglementaire.

Segmenter avant de calculer le manque

La mesure croise statut, période, pays, produit et usage. Pour chaque segment, elle distingue absent autorisé, absent récupérable, absent bloquant et valeur de substitution. Un champ rempli par « N/A » n’est pas plus complet qu’un champ nul.

Les règles s’expriment avec numérateur et dénominateur vérifiables : « parmi les contrats actifs destinés à la facturation, proportion ayant devise et adresse fiscale valides ». Cette formulation permet de relier le score à une action.

Paradoxalement, une baisse du taux global peut signaler une amélioration si les fausses valeurs par défaut ont été retirées. Le profil doit séparer présence syntaxique et information réellement exploitable.

Révéler les domaines réels derrière les types déclarés

Une colonne texte peut contenir un code, un libellé libre, un ancien identifiant et une convention de correction. Le profil calcule valeurs distinctes, fréquences, longueurs, motifs, caractères, bornes et ruptures temporelles.

Expliquer chaque valeur avant de la mapper

Les valeurs fréquentes construisent le dictionnaire initial ; les rares révèlent souvent des exceptions ou des erreurs. Une distribution par version applicative montre si « CLOSED », « C » et « 9 » expriment le même état à des époques différentes.

Les montants sont rapprochés de devise, signe, taxe et règle d’arrondi. Les dates sont testées sur fuseau, précision et sentinelles comme 1900 ou 9999. Une conversion technique correcte peut rester sémantiquement fausse si l’unité ou l’époque n’est pas connue.

La sortie n’est pas seulement un catalogue de valeurs : chaque domaine reçoit mapping cible, cas à nettoyer, cas à isoler et propriétaire de décision. Les inconnus futurs déclenchent une alerte pendant les répétitions.

Éprouver identités, doublons et règles de rapprochement

La clé primaire technique ne représente pas toujours l’identité métier. Un client peut avoir plusieurs lignes par établissement, une facture changer de numéro après avoir ou un contrat être recréé lors d’un renouvellement.

Séparer duplicata certain et rapprochement probabiliste

Un duplicata certain partage une référence autoritative. Un rapprochement fondé sur nom, adresse et téléphone fournit seulement une probabilité. Les deux ne doivent pas alimenter automatiquement la même fusion, car une erreur peut transférer droits, soldes ou documents à la mauvaise personne.

Le profil mesure unicité, taux de réutilisation, collisions entre entités et stabilité temporelle de chaque clé candidate. Il vérifie aussi si des identifiants supprimés ont été recréés, situation dangereuse lors d’une reprise incrémentale.

Si la cible impose une identité nouvelle, une table de correspondance conserve toutes les anciennes références et le motif du rapprochement. Les ambiguïtés restent en quarantaine ou suivent une revue métier priorisée par impact.

Cartographier dépendances, orphelins et cycles de chargement

Les clés étrangères déclarées ne racontent qu’une partie des relations. Des liens peuvent être stockés dans du texte, reconstruits par convention ou dépendre d’une plage de dates. Le profil confronte structure, code et données observées.

Quantifier les relations réellement navigables

Pour chaque relation, il mesure parents absents, cardinalité inattendue, références vers des objets exclus et cycles. Un orphelin n’est pas automatiquement supprimable : il peut révéler une archive incomplète ou une règle d’accès essentielle.

Le graphe de dépendances détermine l’ordre de chargement et les points de rupture. Les cycles légitimes peuvent nécessiter des identifiants réservés puis une seconde passe ; les cycles accidentels demandent une décision de nettoyage.

Le signal le plus utile est la navigabilité métier : depuis une facture, peut-on retrouver contrat, client et justificatif attendus ? Un taux de références valides table par table peut masquer une chaîne complète rompue.

Le workflow d’analyse porte une responsabilité précise : exécuter les tests sur le même snapshot, journaliser leur version et publier leur statut. Ses dépendances comprennent stockage chiffré, dictionnaire et règles de droits ; son repli conserve le dernier rapport signé si un worker échoue. Le monitoring suit durée, mémoire, anomalies nouvelles et couverture, tandis qu’un rollback du code de profilage ne modifie jamais la preuve source.

Analyser l’historique sans appliquer les règles actuelles au passé

Les règles évoluent. Un dossier valide en 2018 peut ne pas satisfaire les champs exigés en 2026, sans être erroné. Le profil doit dater les versions et éviter de classer comme défaut toute différence historique.

Détecter ruptures, chevauchements et chronologies impossibles

Les distributions par mois révèlent migrations, nouveaux écrans et changements de politique. Les contrôles cherchent dates inversées, périodes qui se chevauchent, événements antérieurs à leur parent et mises à jour postérieures à une clôture.

Lorsque la cible exige une valeur actuelle, la règle précise si elle reconstruit depuis l’historique, applique une valeur « inconnue » ou exclut l’objet. Inventer le présent à partir d’une règle récente produirait une fausse preuve.

Les deltas pendant le projet sont également profilés. Une correction source peut réduire une anomalie, tandis qu’une nouvelle version peut créer un domaine inattendu. La tendance compte autant que le premier état.

Inclure documents, blobs et références hors base

Pièces jointes, exports, images et archives réseau portent parfois la seule preuve complète. Leur présence en base sous forme de chemin ne garantit ni existence du fichier, ni lisibilité, ni bon rattachement.

Profiler existence, intégrité, type et propriété

Le contrôle vérifie chemin résolu, taille, empreinte, type réel, doublon de contenu, droits et objet propriétaire. Il repère fichiers vides, extensions trompeuses, caractères incompatibles et répertoires inaccessibles au compte de migration.

Les documents sensibles reçoivent une politique de transport, de chiffrement et de conservation. Le rapport agrège les résultats sans exposer le contenu. Les fichiers illisibles sont classés selon l’usage : preuve bloquante, archive récupérable ou doublon sans valeur.

Une répétition doit recopier les mêmes octets et rapprocher les empreintes. Compter les noms de fichiers ne prouve ni leur intégrité ni leur association à la bonne version d’objet.

Classer les anomalies par impact et traitement possible

Une liste brute de millions d’écarts paralyse le projet. Le classement croise conséquence métier, volume, récupérabilité, propagation et moment de détection. Il transforme une anomalie en décision et en responsable.

Choisir entre corriger, transformer, isoler et accepter

  • Bloquante : l’écart compromet un droit, un montant, une identité ou un parcours obligatoire ; la bascule attend une correction ou une réduction explicite du périmètre.
  • Corrigeable à la source : la règle est sûre, utile aux opérations courantes et peut être appliquée avant le snapshot final avec preuve de résultat.
  • Transformable : la sémantique est connue et le pipeline peut produire la cible de façon déterministe, testée et réversible sur la preuve source.
  • À isoler : le volume est borné, l’objet peut rester hors flux et une équipe possède la décision ou la reprise manuelle.
  • Acceptée : l’impact est compris, le métier signe l’écart et la cible conserve une représentation qui ne trompe pas ses consommateurs.

D’abord viennent les anomalies qui corrompent plusieurs objets ou empêchent la réconciliation. Ensuite viennent les fortes volumétries récupérables. Les défauts cosmétiques sans impact restent plus tard, même s’ils sont faciles à compter.

Erreurs fréquentes qui produisent un diagnostic rassurant

Profiler uniquement le schéma, arrondir les taux globaux ou supprimer les valeurs rares donne une image propre mais inutile. Une moyenne de complétude peut cacher que tous les dossiers d’une région sont incomplets.

Éliminer les métriques sans population ni décision

Un pourcentage doit citer sa population, son instant et sa règle. Un rapport figé sans requêtes versionnées ne peut pas être comparé après correction. Un notebook manipulé manuellement devient vite une source de chiffres contradictoires.

Autre erreur : demander au seul développeur de définir la gravité. Il peut prouver qu’une relation manque, pas décider qu’un contrat sans titulaire est juridiquement ou commercialement négligeable.

Enfin, nettoyer avant de conserver le snapshot détruit la preuve de départ. Le pipeline doit montrer donnée reçue, règle appliquée, résultat et éventuel rejet afin de répondre aux questions de recette.

Cas concret : clients, contrats et consentements historiques

Exemple fictif. Dans l’extraction de recette, 30 contrats sur 3 000 sont sans titulaire, soit 1 %. Parmi les 600 contrats actifs, 24 sont sans titulaire, soit 4 %. Le propriétaire du référentiel reçoit la liste de ces 24 contrats. Le rapport garde aussi les six cas d’archives. Rejouez les deux comptages après correction avec les mêmes critères d’activité et la même date de référence.

Un éditeur migre des clients provenant de deux rachats. Le profil trouve 7 % de doublons potentiels, des contrats rattachés à des identifiants supprimés et des consentements dont la date existe sans source ni version de texte.

Réduire le périmètre plutôt que fabriquer des certitudes

Les rapprochements certains reposent sur une référence de facturation commune. Les paires ambiguës restent séparées avec un lien de revue. Les contrats orphelins sont rapprochés par ancienne table de correspondance, tandis que les autres rejoignent une quarantaine traitée avant bascule.

Les consentements sans preuve ne sont pas convertis en consentements valides. Ils conservent leur historique comme statut inconnu et déclenchent, lorsque nécessaire, une nouvelle collecte conforme au parcours cible.

Le go est accordé lorsque tous les contrats actifs possèdent un titulaire prouvé, que les soldes sont rapprochés et que le support retrouve les anciennes références. Le taux global de lignes chargées devient secondaire face à ces invariants.

Plan d’action pour profiler en trois semaines

Trois semaines suffisent pour produire une première décision solide sur un domaine prioritaire, à condition d’automatiser les calculs et d’organiser rapidement les arbitrages. Le profil sera ensuite rejoué à chaque répétition.

Livrer la carte et les premières mesures vérifiables

  1. Jours 1 à 3 : choisir les parcours, cartographier objets et sources, désigner les responsables métier puis obtenir un snapshot manifesté avec conditions d’accès maîtrisées.
  2. Jours 4 à 7 : calculer volumes, complétude segmentée, domaines, identités, relations et chronologies ; inclure les documents et conserver les requêtes dans le dépôt.
  3. Jours 8 à 10 : analyser les ruptures, annoter un échantillon d’anomalies et confronter chaque résultat aux règles présentes dans le code et aux pratiques des utilisateurs.

Transformer le diagnostic en décisions de migration

La seconde séquence soumet les écarts aux responsables puis branche les contrôles retenus sur l’usine. Chaque décision cite sa population, son impact, la stratégie de reprise et la condition qui autorise sa fermeture.

  1. Jours 11 à 13 : classer les écarts, chiffrer traitements, définir quarantaines et proposer les changements de périmètre ou de modèle cible qui réduisent le risque.
  2. Jours 14 à 15 : faire signer les décisions, intégrer les contrôles au pipeline de migration et planifier le prochain snapshot avec seuils d’alerte sur les nouvelles valeurs.

La preuve de sortie comprend rapport reproductible, populations explicites, décisions attribuées et liste des inconnus. Le projet peut alors estimer transformation, nettoyage, reprise manuelle et risque résiduel, puis réexécuter la même QA avant chaque déploiement de cohorte.

Avant de clore la séquence, le responsable de migration compare le manifeste du snapshot aux résultats archivés et fait assigner chaque anomalie restante. Cette revue interdit qu’un écart change silencieusement de catégorie entre diagnostic, correction et recette.

Guides complémentaires : usine, budget et parité fonctionnelle

Avant de chiffrer les transformations, intégrez le profil et les anomalies bloquantes au cadrage DSI. Si les anomalies portent sur des identités, qualifiez la preuve qui permet de rapprocher les fiches.

Le profilage alimente le pipeline de reprise, le chiffrage et les choix de périmètre. Ces ressources permettent de convertir les observations en exécutions répétables et en décisions produit.

Passer du diagnostic à la trajectoire de refonte

L’usine de migration de données organise transformations, répétitions et réconciliation. Le budget de reprise convertit volumétrie, mapping et rejets en charge prévisible.

La méthode de reprise d’un logiciel métier cadre la bascule, tandis que la parité fonctionnelle choisie aide à ne pas reconstruire les défauts révélés dans la cible.

Conclusion : le profilage transforme l’inconnu en décisions

Mesurez les écarts sur la source avec une population explicite et une date commune. Attribuez une décision aux anomalies qui déplacent un contrat, un montant ou un droit. Les autres cas gardent leur motif et leur prochaine action.

Refaites le profil après correction. Le métier peut vérifier si l’écart a été résolu sur les dossiers concernés et si le changement affecte la population choisie pour le prochain lot.

Dawap peut vous accompagner dans la refonte de logiciel métier pour préparer l’extraction, qualifier les résultats et décider quelles anomalies bloquent la bascule.

Portrait de Jérémy Chomel

Profiler les données avec le bon dénominateur

Mesurer les valeurs et relations avant de choisir les corrections, les exclusions et les blocages.

Cadrer ma refonte

Articles recommandés

Des sources historiques traversent profilage, transformations répétables et contrôles de réconciliation Développement web Usine de migration de données Lire l'article
  • 8 août 2026
  • Lecture ~14 min

Une migration fiable ne dépend pas d’un script héroïque exécuté une seule fois. L’usine fige les sources, profile la donnée réelle, versionne mappings et transformations, isole les exceptions, répète chaque lot et rapproche volumes, relations et règles métier. La validation finale repose sur des preuves signées et reproductibles.

Budget complet d’une reprise de données applicative Développement web Reprise de données : construire un budget défendable Lire l'article
  • 24 juillet 2026
  • Lecture ~13 min

Le volume brut explique rarement le coût d’une migration. Le budget dépend des sources, règles de mapping, doublons, historiques, pièces, cycles à blanc, rejets, contrôles métier, temps d’arrêt et preuves. La méthode transforme ces inconnues en lots chiffrables, hypothèses vérifiables et critères de décision.

Plan de reprise de données d’un logiciel métier Développement web Reprise de données métier : réussir une bascule fiable Lire l'article
  • 21 juillet 2026
  • Lecture ~12 min

Une migration de données n’est pas validée par un simple nombre de lignes. Ce guide construit inventaire, éligibilité, correspondances, identités, transformations, lots, quarantaines et contrôles métier. Il organise répétitions chronométrées, delta, gel, bascule, rapprochement, retour arrière et archive probatoire pour démarrer avec des données explicables.

Un système legacy complexe traverse une porte de décision vers une architecture moderne simplifiée Développement web Refonte legacy : sortir du piège de la parité Lire l'article
  • 6 août 2026
  • Lecture ~16 minutes

Reconstruire chaque comportement d’un legacy recopie aussi ses anomalies, contournements et règles mortes. La méthode distingue obligation, usage utile, dette tolérée et erreur historique, puis documente conservation, correction ou retrait avec preuves métier, migration de données et critères de recette.

Profiler les données avec le bon dénominateur

Mesurer les valeurs et relations avant de choisir les corrections, les exclusions et les blocages.

Cadrer ma refonte