Ekadanta : développement et intégration d’un hub de données EAN13 avec les API EANSearch, Rainforest et Amazon MWS

Sommaire du projet

1. 1. Contexte et objectifs : créer une base de données produits unifiée à partir des EAN13
2. 2. Architecture du projet Ekadanta : une plateforme data pensée pour l’évolutivité
3. 3. Intégration des API EANSearch, Rainforest et Amazon MWS
4. 4. Normalisation et enrichissement des données : du code EAN13 à l’ASIN
5. 5. Collecte et historisation : prix, stocks, vendeurs et avis produits
6. 6. Base de données unifiée et modèle relationnel optimisé
7. 7. Développement de l’API REST Ekadanta : exposition et sécurité des données
8. 8. Monitoring, logs et supervision des flux API
9. 9. Résultats : un hub EAN13 performant, scalable et fiable
10. 10. Perspectives : extension multi-marketplaces et IA de classification produit

1. Contexte et objectifs : créer une base de données produits unifiée à partir des EAN13

Un besoin de centralisation de la donnée produit à l’échelle internationale

Dans un contexte e-commerce mondialisé où les produits sont référencés sur des dizaines de marketplaces, les codes EAN13 (ou GTIN) constituent la clé universelle permettant d’identifier un article de manière unique. Pourtant, cette donnée reste éclatée entre différentes sources — marketplaces, catalogues fournisseurs, APIs publiques — rendant la consolidation complexe et la mise à jour quasi impossible sans un système automatisé.

C’est sur cette problématique qu’est né le projet Ekadanta : concevoir une application web sur mesure capable de centraliser, enrichir et historiser la donnée produit à partir d’un simple code EAN13. L’objectif était double : bâtir une base de données exhaustive et évolutive autour de cette clé universelle, tout en développant une API ouverte permettant d’exposer les informations collectées à des partenaires externes.

Des APIs complémentaires pour une vision à 360°

Pour relever ce défi, Dawap a choisi d’intégrer trois sources majeures d’information produit :

• EANSearch API : pour récupérer les métadonnées de base (nom, marque, catégorie, fabricant) à partir du code EAN13.
• Amazon MWS API : pour identifier les ASINs correspondants sur les marketplaces Amazon (FR, IT, ES, DE, UK) et relier chaque EAN à son équivalent Amazon.
• Rainforest API : pour scraper et enrichir les fiches produits Amazon en temps réel (images, descriptions, prix, offres, vendeurs, historique des stocks et des avis).

En combinant ces trois APIs, Ekadanta devient un véritable hub de connaissance produit : capable de consolider les données brutes issues de sources hétérogènes et de les transformer en un modèle structuré, cohérent et exploitable par d’autres applications.

Un projet à la croisée des enjeux data, API et e-commerce

Ekadanta n’est pas un simple agrégateur : c’est une plateforme d’enrichissement sémantique des données produits. En croisant les APIs et en historisant leurs résultats, Dawap a voulu créer une base exploitable pour :

• Suivre l’évolution des prix et disponibilités dans le temps.
• Identifier les vendeurs actifs et inactifs sur chaque marketplace.
• Analyser la concurrence et la variation des offres selon les pays.
• Étudier la perception client via l’évolution des avis et notes.
• Proposer une donnée unifiée, fiable et historisée pour les acteurs du e-commerce et du pricing.

Cette centralisation permet de passer d’une donnée éparse à une intelligence produit consolidée, où chaque EAN devient une entité riche, connectée à son environnement commercial mondial. L’ambition du projet était donc de bâtir une solution à la fois technique, évolutive et analytique — un socle sur lequel il serait possible de développer des applications métier : suivi concurrentiel, veille tarifaire, analyse de marché ou encore détection d’opportunités produits.

Les objectifs clés du projet Ekadanta

L’équipe Dawap a défini plusieurs objectifs concrets dès la phase de cadrage :

• Créer un pipeline d’intégration automatisé entre plusieurs APIs pour collecter et enrichir la donnée produit.
• Structurer une base de données scalable capable de gérer plusieurs millions d’EAN.
• Historiser les évolutions des offres, prix et stocks sur la durée.
• Développer une API REST Dawap permettant d’exposer ces informations à des clients externes.
• Assurer la traçabilité, la performance et la supervision des flux d’intégration.

Avec Ekadanta, Dawap a posé les bases d’un écosystème data complet, capable d’interconnecter des services externes, de consolider la donnée et de la restituer sous une forme exploitable, rapide et fiable. Ce projet illustre la philosophie Dawap : connecter, structurer et valoriser la donnée au service de la performance métier.

2. Architecture du projet Ekadanta : une plateforme data pensée pour l’évolutivité

Une architecture modulaire au service de la scalabilité

L’architecture du projet Ekadanta a été pensée dès le départ pour gérer des volumes de données massifs et évoluer sans refonte. L’application repose sur une infrastructure modulaire, découpée en briques indépendantes mais interconnectées, garantissant la résilience, la maintenabilité et la scalabilité horizontale. Chaque composant — collecte, transformation, stockage, exposition — dispose de sa responsabilité propre et communique via des APIs internes ou des files de messages.

L’objectif de Dawap était clair : créer une plateforme capable d’absorber des dizaines de milliers de requêtes API par jour, tout en maintenant un temps de réponse optimal et une fiabilité maximale. Pour cela, nous avons combiné des technologies éprouvées : Symfony pour la logique applicative, RabbitMQ pour l’orchestration des tâches asynchrones, MySQL pour le stockage relationnel, et Redis pour la mise en cache et le traitement rapide des flux temporaires.

Une approche microservices orchestrée sous Docker

L’ensemble du projet Ekadanta est conteneurisé avec Docker, ce qui permet de séparer les rôles fonctionnels et d’assurer un déploiement fluide sur n’importe quel environnement. Chaque brique du système — API Gateway, Data Collector, ETL Engine, Data API — est exécutée dans son propre conteneur, gérée via Docker Compose pour un contrôle total des dépendances et de la configuration réseau.

Cette architecture microservices permet une scalabilité horizontale immédiate : il suffit d’ajouter des instances de workers ou de collecteurs API pour absorber une charge accrue, sans impacter le cœur applicatif. Le découplage des composants rend également les mises à jour et déploiements incrémentaux sûrs et transparents.

Pipeline de données : du flux API brut à la donnée unifiée

Le fonctionnement interne d’Ekadanta repose sur un pipeline de traitement de données automatisé, qui orchestre les échanges entre les différentes sources (EANSearch, Amazon MWS, Rainforest) et le stockage interne. Chaque EAN déclenche une série d’étapes successives :

• Collecte des données via API externe (EANSearch, MWS, Rainforest).
• Parsing et validation des réponses (format JSON, cohérence des champs, statuts).
• Transformation des résultats pour normaliser les structures (produit, offre, vendeur, historique).
• Enrichissement avec métadonnées (catégories, marketplaces, langue, pays).
• Stockage dans les tables relationnelles optimisées (produit, ASIN, offre, prix, avis, stock).

Ce pipeline, orchestré par RabbitMQ et supervisé par un scheduler interne Symfony, permet un traitement parallèle des flux et une mise à jour régulière des informations, garantissant une base toujours fraîche et cohérente.

Gestion des environnements et supervision

Trois environnements distincts ont été mis en place — développement, préproduction et production — chacun intégrant un monitoring spécifique. Les logs applicatifs et API sont centralisés via Monolog et peuvent être exportés vers Grafana pour une visualisation en temps réel des performances du pipeline. Chaque conteneur expose ses métriques (latence API, erreurs, temps de parsing, volume de données traitées) pour un suivi précis des performances.

Une base technique prête pour la croissance

Grâce à cette architecture modulaire, le projet Ekadanta est capable d’évoluer naturellement vers de nouvelles intégrations : d’autres APIs (Google Shopping, eBay, AliExpress), de nouveaux formats de données (XML, JSON-LD), ou des connecteurs clients spécifiques. Cette approche “API-first” fait d’Ekadanta une plateforme data ouverte, évolutive et industrialisable, prête à s’adapter aux besoins futurs en matière de veille, pricing, ou intelligence produit.

3. Intégration des API EANSearch, Rainforest et Amazon MWS

Trois APIs complémentaires pour un écosystème de données complet

L’intégration des APIs EANSearch, Amazon MWS et Rainforest constitue le cœur d’Ekadanta. Ces trois services ont été choisis pour leur complémentarité : EANSearch pour l’identification des produits, Amazon MWS pour la correspondance et la recherche d’ASINs, et Rainforest pour l’enrichissement des données via le scraping d’informations produits. Ensemble, ils permettent de créer un écosystème d’information produit complet, fiable et évolutif.

EANSearch API : point d’entrée et identification des produits

L’API EANSearch est la première étape du pipeline d’intégration. À partir d’un code EAN13 (ou GTIN), elle renvoie les métadonnées de base du produit : nom, marque, catégorie, fabricant, et parfois un visuel ou un descriptif succinct. Ces données servent de socle à la création de la fiche produit dans la base Ekadanta.

L’intégration EANSearch repose sur un connecteur Symfony dédié, configuré pour exécuter des appels en parallèle via un système de jobs asynchrones. Les requêtes sont envoyées en lot pour optimiser les quotas API et réduire la latence. Chaque réponse est validée, formatée et injectée dans la table product_base, où elle devient la référence principale avant enrichissement.

Amazon MWS API : mapping EAN13 → ASIN et multi-marketplaces

L’intégration de l’Amazon Marketplace Web Service (MWS) permet de relier chaque produit EAN13 à ses équivalents sur les marketplaces Amazon en Europe : FR, IT, ES, DE et UK. Ce mapping automatique entre EAN et ASIN est essentiel pour croiser les informations entre différentes plateformes et obtenir une vision complète de la présence produit sur Amazon.

Le connecteur MWS est configuré pour :

• Interroger les endpoints GetMatchingProductForId pour chaque code EAN.
• Extraire les identifiants ASIN correspondants et leurs déclinaisons par marketplace.
• Normaliser les résultats dans une table product_asin pour chaque pays concerné.
• Suivre les statuts d’appel (succès, timeout, erreurs API) via une table de logs dédiée.

L’intégration MWS utilise un mécanisme de retry intelligent : en cas d’échec ou de dépassement de quota, la tâche est automatiquement remise en file et relancée après un délai défini. Cela garantit une collecte continue et résiliente des données, même sur de gros volumes d’EAN.

Rainforest API : extraction et enrichissement des fiches produits Amazon

La troisième brique — Rainforest API — vient compléter l’architecture d’Ekadanta en permettant de scraper les pages Amazon de manière structurée et légale, grâce à une API REST dédiée. À partir de chaque ASIN collecté via MWS, le système interroge Rainforest pour récupérer :

• Les données descriptives (titre, bullet points, description complète).
• Les images produits et leurs URLs optimisées.
• La liste des offres (prix, vendeurs, statuts Prime, expédition FBA ou FBM).
• L’historique de prix et les variations temporelles.
• Le stock actif/inactif selon la disponibilité vendeur.
• Les avis et scores clients ainsi que leur évolution dans le temps.

Ces informations sont ensuite stockées dans des tables d’historisation (product_price_history, product_stock_history, product_reviews), permettant d’analyser les tendances et d’offrir une vision temporelle de chaque produit. Ce modèle rend possible des analyses de marché précises, telles que la détection de variations de prix ou de ruptures de stock.

Une orchestration intelligente entre les APIs

L’interconnexion entre EANSearch, Amazon MWS et Rainforest est orchestrée via un système de Command Bus Symfony et une queue RabbitMQ qui gère les priorités et la synchronisation des flux. Chaque tâche (ex. “GetEANMetadata”, “GetASINMapping”, “ScrapeASINData”) est encapsulée dans une commande indépendante, rejouable et journalisée, garantissant la traçabilité complète du processus.

Ce découplage permet de traiter des millions d’EAN de manière asynchrone sans surcharge du système, tout en assurant la cohérence des données grâce à des contrôles de validation métier et des checkpoints automatiques.

Résultat : une chaîne d’intégration fiable, automatisée et évolutive

Grâce à cette triple intégration API, Ekadanta transforme une donnée brute (le code EAN13) en une fiche produit complète, riche et historisée, prête à être exploitée. La robustesse de l’orchestration, la gestion des erreurs et la supervision en temps réel permettent d’obtenir une qualité de données constante et une mise à jour automatique des informations produits, quels que soient les volumes ou la fréquence des appels API. C’est cette solidité technique qui fait d’Ekadanta un véritable hub data e-commerce de nouvelle génération.

4. Normalisation et enrichissement des données : du code EAN13 à l’ASIN

Transformer une donnée brute en information exploitable

La grande force du projet Ekadanta réside dans sa capacité à transformer un simple code EAN13 en un ensemble complet de données produit, normalisées, enrichies et historisées. Là où un EAN13 n’est qu’un identifiant statique, Ekadanta le relie à un écosystème dynamique de données : son ou ses ASINs sur Amazon, ses attributs, ses visuels, ses offres, ses vendeurs et son historique de performance commerciale.

Ce processus repose sur une série d’étapes automatisées de nettoyage, validation et enrichissement orchestrées par le pipeline interne. Chaque flux entrant — qu’il provienne d’EANSearch, d’Amazon MWS ou de Rainforest — est analysé, harmonisé et converti dans un format unifié avant d’être inséré dans la base centrale.

Étape 1 : validation et nettoyage des données sources

Dès la réception des réponses API, Ekadanta effectue une série de contrôles qualité automatiques :

• Validation du format EAN13 (checksum, unicité, cohérence syntaxique).
• Vérification des champs critiques : nom du produit, marque, catégorie, image, identifiant Amazon.
• Détection et rejet des doublons ou entrées incomplètes.
• Correction automatique des anomalies simples (espaces, encodages, majuscules, caractères spéciaux).

Cette phase garantit une base propre et homogène, condition essentielle avant toute intégration dans les tables relationnelles. Les erreurs détectées sont consignées dans une table de logs dédiée et peuvent être retraitées manuellement via le back-office.

Étape 2 : normalisation du modèle produit

Une fois les données validées, le CMS applique une normalisation structurée selon un modèle de données propriétaire, conçu pour gérer la complexité multi-source et multi-marketplace. Ce modèle hiérarchique repose sur quatre entités principales :

• Product — l’entité racine, identifiée par l’EAN13 et contenant les attributs généraux (nom, marque, catégorie, image principale).
• ProductASIN — les correspondances entre EAN et ASINs selon les marketplaces Amazon (FR, IT, ES, DE, UK).
• ProductOffer — les informations de marché : prix, vendeur, type de livraison, statut Prime/FBA.
• ProductReview — les notes et avis clients, associés à l’évolution historique.

Ce schéma relationnel, orchestré par Doctrine ORM, permet d’assurer une parfaite cohérence entre les différentes sources et de gérer efficacement les jointures et requêtes analytiques. Les clés primaires et étrangères garantissent l’unicité et la traçabilité des données collectées.

Étape 3 : enrichissement sémantique avec Rainforest API

Après la normalisation, l’enrichissement sémantique est assuré par la Rainforest API. Pour chaque ASIN détecté, le système collecte et complète les informations produits : description longue, images, variations, spécifications techniques, listes d’offres et historique de prix. Ces données enrichies permettent de transformer une simple référence produit en une fiche descriptive complète, apte à alimenter des plateformes e-commerce, des outils de veille concurrentielle ou des systèmes de pricing dynamique.

L’enrichissement inclut également une analyse temporelle : chaque extraction est datée, versionnée et historisée, permettant de suivre l’évolution d’un produit sur le long terme (prix, disponibilité, présence vendeur, avis, etc.).

Étape 4 : association entre EAN13 et ASINs multi-marketplaces

L’un des défis majeurs du projet a été la gestion du mapping entre EAN13 et ASIN. En effet, un même produit peut avoir plusieurs ASINs selon les pays, les langues ou les versions commerciales. Ekadanta gère cette complexité grâce à une table pivot “product_asin_mapping” qui relie chaque EAN à un ou plusieurs ASINs, tout en précisant la marketplace d’origine et les métadonnées associées (langue, devise, statut actif/inactif).

Cette approche garantit une vision unifiée du produit à l’échelle internationale, tout en préservant la granularité nécessaire pour les analyses spécifiques à un marché. Les requêtes croisées entre EAN, ASIN, prix et vendeur deviennent ainsi instantanées et exploitables via l’API REST développée par Dawap.

Étape 5 : cohérence, logs et rejouabilité

Chaque étape du processus de normalisation et d’enrichissement est journalisée pour assurer la transparence et la traçabilité complète du flux. Les traitements sont rejouables : un EAN peut être retraité à tout moment pour actualiser ses données ou corriger une incohérence. Ce système garantit une fiabilité de la donnée et une maintenance continue, essentielle pour des bases évolutives à grande échelle.

En reliant de manière fluide un identifiant universel (EAN13) à ses déclinaisons Amazon (ASIN), Ekadanta construit une infrastructure data robuste et intelligente, capable d’unifier des millions de références produits au sein d’un modèle unique et cohérent.

5. Collecte et historisation : prix, stocks, vendeurs et avis produits

Une approche orientée “donnée vivante”

La donnée produit n’a de valeur que si elle est vivante — c’est-à-dire suivie, mesurée et historisée dans le temps. C’est autour de cette philosophie qu’a été conçue la brique de collecte et d’historisation du projet Ekadanta. Chaque information récupérée depuis les APIs EANSearch, Amazon MWS et Rainforest est non seulement enregistrée, mais également datée, versionnée et contextualisée pour offrir une vision évolutive du marché et des produits.

L’objectif : permettre aux utilisateurs d’identifier non seulement l’état actuel d’un produit, mais aussi de comprendre son historique commercial et concurrentiel. Grâce à ce suivi longitudinal, Ekadanta devient un véritable outil d’analyse de tendance et de veille stratégique e-commerce.

Suivi et historisation des prix

Les prix constituent un indicateur central de l’écosystème produit. À chaque extraction via Rainforest API ou Amazon MWS, le système enregistre les prix de vente, leur devise, le vendeur associé et le type d’offre (FBA, FBM, Prime ou non). Ces informations sont stockées dans la table product_price_history, qui conserve pour chaque produit une trajectoire complète de ses évolutions tarifaires.

Ce mécanisme permet de :

• Visualiser la fluctuation des prix sur plusieurs mois ou années.
• Identifier les périodes de promotions ou variations liées aux événements commerciaux (Black Friday, Prime Day, etc.).
• Comparer les stratégies de pricing entre différents vendeurs ou marketplaces.
• Analyser la corrélation entre prix et disponibilité produit.

Cette granularité temporelle offre une vision macro et microéconomique des comportements de prix sur les marketplaces Amazon, essentielle pour toute stratégie de pricing, d’achats ou de veille concurrentielle.

Suivi des stocks et disponibilité produit

L’une des spécificités d’Ekadanta est la gestion dynamique des stocks. Pour chaque produit et chaque vendeur, le système suit l’état de disponibilité : actif, inactif, rupture temporaire, ou retrait définitif. Ces informations, issues de Rainforest API, permettent de cartographier les variations de stock dans le temps et d’identifier les tendances de disponibilité.

L’historique de stock est stocké dans la table product_stock_history, avec des métriques précises (date de relevé, statut, volume estimé, marketplace, ASIN, vendeur). Cette approche permet d’anticiper les ruptures et de suivre la réactivité des vendeurs selon les marchés. Les données stock sont également exploitées pour identifier les produits abandonnés ou obsolètes, utiles pour les analyses de cycle de vie produit.

Suivi des vendeurs et performance commerciale

Ekadanta ne se contente pas de suivre les produits : il suit aussi les vendeurs actifs associés à chaque ASIN. Grâce aux informations extraites via Rainforest API, la plateforme identifie :

• Le nom du vendeur et son identifiant Amazon (Seller ID).
• Le nombre d’offres actives par marketplace.
• Le score vendeur (rating, taux de retour, réputation).
• Les variations d’activité dans le temps (apparition, disparition, reprise).

Ces données permettent de dresser une cartographie concurrentielle complète : quels vendeurs sont dominants, quels marchés sont les plus compétitifs, quelles zones géographiques sont sous-exploitées. Ekadanta devient ainsi un outil d’aide à la décision pour le référencement produit et la stratégie commerciale.

Analyse des avis clients et de la perception produit

Les avis et notes clients constituent un indicateur clé de la perception produit. Ekadanta agrège et historise ces informations depuis Rainforest API, les stockant dans la table product_review_history avec le détail du nombre d’avis, de la note moyenne et de leur évolution temporelle. Ce suivi permet de corréler la réputation produit avec ses performances commerciales (prix, stock, ventes).

En intégrant ces données qualitatives à la base analytique, Ekadanta offre une vision complète : technique, commerciale et émotionnelle du produit sur son cycle de vie. Les variations d’avis peuvent révéler des problèmes de qualité, des ruptures d’approvisionnement ou des modifications de fiche produit.

Une historisation structurée et performante

L’historisation repose sur un modèle de données temporel performant : chaque mise à jour crée une nouvelle version de l’enregistrement au lieu d’écraser les données précédentes. Ce modèle, inspiré des systèmes d’audit, permet de reconstituer l’état exact d’un produit à n’importe quel instant donné.

Combinée à une API REST sur mesure développée par Dawap, cette approche permet d’exposer les historiques complets à des outils de BI, des applications clientes ou des systèmes de pricing dynamique. En somme, Ekadanta transforme la donnée brute en un véritable actif stratégique, fiable, exploitable et richement contextualisé.

6. Base de données unifiée et modèle relationnel optimisé

Un socle data pensé pour la performance et la cohérence

Pour structurer la richesse de la donnée collectée par les différentes APIs (EANSearch, Amazon MWS et Rainforest), Ekadanta repose sur une base de données relationnelle unifiée conçue sous MySQL et pilotée via Doctrine ORM. L’objectif de Dawap était clair : bâtir une architecture data capable de gérer un très grand volume d’enregistrements, tout en garantissant la cohérence, la traçabilité et la rapidité d’accès aux données.

Cette base agit comme une colonne vertébrale de la plateforme : elle relie les informations issues de multiples sources autour d’un identifiant central — le code EAN13 — et assure la cohérence entre les différentes entités métier : produits, ASINs, offres, vendeurs, prix, stocks et avis.

Une structure hiérarchique et modulaire

Le modèle de données Ekadanta est structuré autour d’une hiérarchie relationnelle claire qui favorise la lisibilité, la performance et l’évolutivité. Chaque niveau correspond à une couche fonctionnelle spécifique du pipeline data.

• product_base — table racine contenant les informations génériques issues d’EANSearch : nom, marque, fabricant, catégorie, image principale.
• product_asin — table de correspondance entre les EAN13 et leurs ASINs par marketplace (FR, IT, ES, DE, UK), issue des appels MWS.
• product_offer — informations dynamiques liées à chaque ASIN : prix, vendeur, devise, type d’offre (FBA/FBM), disponibilité.
• product_price_history — suivi temporel des variations de prix avec horodatage précis.
• product_stock_history — historisation de l’état des stocks et disponibilité vendeurs.
• product_review_history — agrégation et évolution des notes et avis clients.
• seller — base des vendeurs Amazon identifiés via les scrapes Rainforest : score, réputation, nombre d’offres actives.
• log_api — journal des appels API entrants/sortants, statuts HTTP, temps de réponse et erreurs éventuelles.

Cette organisation permet une navigation fluide entre les entités et une jointure optimisée entre les tables clés. Les index sont soigneusement calibrés pour accélérer les requêtes croisées sur les clés EAN, ASIN et SellerID, permettant de traiter rapidement des analyses complexes sur des volumes massifs.

Doctrine ORM : un mapping structuré et évolutif

L’usage de Doctrine ORM a permis à l’équipe Dawap de maintenir un modèle de données entièrement typé, versionné et cohérent avec le code applicatif Symfony. Chaque entité (Product, Offer, Seller, Review) dispose de ses propres repositories et DTOs, garantissant une isolation logique parfaite entre les couches de persistance et de traitement métier.

Cette approche permet également d’assurer la migration fluide du modèle au fil du temps grâce aux Doctrine Migrations, facilitant l’ajout de nouveaux champs ou tables sans interruption du service. Le mapping relationnel, combiné à la flexibilité de Doctrine, rend Ekadanta capable d’évoluer sans rupture technologique.

Optimisations de performance et indexation avancée

Face à un volume croissant de données — plusieurs millions d’EANs et d’ASINs —, Dawap a implémenté une série d’optimisations spécifiques pour garantir la rapidité des requêtes et la stabilité du système :

• Indexation composite sur les colonnes critiques (EAN, ASIN, Marketplace, SellerID).
• Partitionnement des tables d’historique (prix, stocks, avis) par période temporelle.
• Utilisation de Redis pour la mise en cache des requêtes fréquentes (produit, ASIN, prix actuel).
• Compression automatique des tables d’audit et logs API pour réduire la volumétrie.
• Monitoring des performances SQL via des métriques internes et des alertes dynamiques.

Ces optimisations garantissent des temps de réponse constants même en cas de forte montée en charge. L’ensemble du modèle a été testé sur des simulations de traitement massif pour valider la résilience de la structure.

Historisation native et audit complet

Chaque entité critique du modèle (produit, offre, prix, stock) intègre une logique d’audit automatique : lors de chaque mise à jour, une version est archivée dans une table d’historisation dédiée, avec un horodatage précis, la source d’origine (API concernée) et le statut du traitement. Cette fonctionnalité garantit la traçabilité complète du cycle de vie d’une donnée produit, essentielle pour la fiabilité analytique et la conformité réglementaire.

Une base data prête pour l’analyse et la scalabilité

En centralisant et en structurant la donnée au sein d’un schéma cohérent, Ekadanta fournit un socle robuste pour l’analyse décisionnelle et l’exposition API. Les jointures logiques entre produits, offres, vendeurs et historiques permettent de générer des tableaux de bord complexes en temps réel, tout en conservant des performances élevées. Ce modèle relationnel optimisé est la clé de voûte d’une architecture data-driven et scalable, capable de soutenir l’évolution continue du projet Ekadanta et ses futures extensions multi-sources.

7. Développement de l’API REST Ekadanta : exposition et sécurité des données

Une API au cœur de l’écosystème Ekadanta

Le projet Ekadanta ne se limite pas à la collecte et à l’enrichissement des données : il s’agit avant tout de les rendre accessibles, exploitables et sécurisées pour les clients et partenaires. Pour cela, Dawap a développé une API REST complète, bâtie sur Symfony 7 et suivant une approche API-first, permettant d’exposer la base de données unifiée à des systèmes externes (applications web, outils d’analyse, BI, SaaS, etc.).

Cette API est conçue comme la porte d’entrée officielle du hub Ekadanta : elle centralise la diffusion des données produits, historisées et enrichies, tout en garantissant un haut niveau de contrôle, de performance et de conformité aux standards modernes (REST, JSON, OAuth2).

Une architecture RESTful claire et normalisée

L’API suit les principes REST standards, avec des endpoints bien structurés, une gestion rigoureuse des statuts HTTP et un usage systématique des méthodes GET, POST, PUT et DELETE. Les données sont renvoyées au format JSON normalisé, enrichies de métadonnées (timestamps, pagination, source API).

Les principales routes exposées sont :

• /api/products — récupération des fiches produits complètes à partir d’un EAN ou d’un ASIN.
• /api/products/{ean}/offers — liste des offres associées à un produit (prix, vendeur, statut, marketplace).
• /api/products/{ean}/history — historique complet des prix, stocks et avis du produit.
• /api/sellers — accès aux informations détaillées sur les vendeurs Amazon identifiés.
• /api/analytics/trends — consultation agrégée des tendances (évolution moyenne des prix, popularité par catégorie, etc.).

Chaque endpoint est documenté via OpenAPI / Swagger, ce qui facilite l’intégration et la compréhension pour les clients externes. Les réponses incluent des informations de version et des liens HATEOAS pour naviguer aisément entre les ressources liées.

Contrôle d’accès et authentification sécurisée

La sécurité étant un enjeu majeur, l’API Ekadanta repose sur un système d’authentification par token OAuth2 géré via JWT (JSON Web Tokens). Chaque client enregistré reçoit un identifiant unique et une clé d’accès générée automatiquement, avec une gestion fine des rôles et permissions :

• ROLE_CLIENT : accès standard aux données produits publiques et historiques agrégés.
• ROLE_PARTNER : accès élargi incluant les métriques détaillées et les endpoints d’analyse.
• ROLE_ADMIN : supervision, gestion des logs, relance des traitements et configuration du système.

Tous les échanges transitent via HTTPS (TLS 1.3), et chaque requête est contrôlée par un middleware d’authentification et de validation des permissions. Les logs d’accès sont horodatés et conservés pour garantir une traçabilité totale et une détection proactive des anomalies.

Pagination, filtres et performances des requêtes

Pour garantir une expérience fluide, même sur de gros volumes de données, l’API Ekadanta intègre des mécanismes avancés :

• Pagination automatique sur toutes les collections avec paramètres page et limit.
• Filtrage multi-critères (par marketplace, catégorie, vendeur, plage de dates, score moyen, etc.).
• Cache applicatif Redis pour les requêtes fréquentes et les ressources statiques.
• Compression GZIP pour réduire la taille des réponses JSON.
• Lazy loading des relations Doctrine pour limiter le poids des payloads.

Ces optimisations permettent d’obtenir des temps de réponse inférieurs à 300 ms même sur des requêtes complexes, tout en maintenant une consommation mémoire maîtrisée.

Monitoring, supervision et rejouabilité des flux API

L’API REST dispose de son propre module de monitoring intégré dans le back-office Ekadanta : chaque appel est journalisé (endpoint, durée, code HTTP, payload, client). En cas d’erreur ou de timeout, un système de retry automatique est déclenché, garantissant la fiabilité du service même en cas de surcharge ou d’indisponibilité ponctuelle d’une source externe.

Une console d’administration permet également de rejouer manuellement des appels (par exemple, pour forcer la mise à jour d’un produit ou recharger une fiche après un échec). Ces fonctionnalités rendent l’API autonome, traçable et auto-corrective.

Exposition maîtrisée des données et conformité

L’exposition des données via l’API respecte des règles strictes de conformité et de confidentialité. Seules les informations publiques ou contractuellement autorisées sont exposées, et toutes les données sensibles (emails vendeurs, identifiants internes Amazon) sont masquées ou anonymisées. Un module de conformité RGPD assure la purge automatique des logs après un délai défini.

Une API évolutive et documentée

L’API Ekadanta est versionnée (v1, v2, etc.) afin de garantir la compatibilité ascendante pour les intégrations clients existantes. Sa documentation interactive (via Swagger UI) permet aux développeurs de tester les endpoints directement depuis le navigateur et de comprendre les structures de données attendues. Cette approche developer-friendly fait de l’API un véritable produit à part entière, pensé pour la réutilisation, l’automatisation et l’interopérabilité.

Grâce à cette API REST robuste, sécurisée et performante, Ekadanta ouvre ses données à un large éventail d’usages : veille concurrentielle, études de marché, automatisation e-commerce ou encore intégration dans des solutions SaaS externes. C’est le point d’unification entre la puissance du backend et la valeur métier des données.

8. Monitoring, logs et supervision des flux API

Une visibilité totale sur l’activité du hub Ekadanta

Dans un projet d’intégration complexe comme Ekadanta, la supervision des flux API est un enjeu central. Pour garantir la fiabilité et la traçabilité des traitements, Dawap a mis en place un système complet de monitoring, logging et alerting intégré au cœur du middleware. Chaque appel, chaque transformation et chaque échange entre services est suivi en temps réel, offrant une vision complète et transparente du cycle de vie de la donnée.

L’objectif : détecter instantanément les anomalies, mesurer la performance des flux et permettre aux équipes techniques et métiers d’intervenir rapidement en cas d’incident, tout en maintenant la continuité de service.

Un système de logs structuré et centralisé

Tous les échanges API (EANSearch, MWS, Rainforest et API interne) sont journalisés dans une base de logs unifiée. Chaque événement est enregistré avec des métadonnées détaillées :

• Horodatage précis du traitement (date, heure, milliseconde).
• Nom de la commande ou du worker exécuté.
• Type de flux (EANSearch, Rainforest, MWS, interne).
• Statut de l’appel (succès, warning, erreur, timeout).
• Durée de l’exécution et charge processeur.
• Code HTTP et message de réponse API.
• Corps de la requête et de la réponse (tronqué pour éviter les surcharges mémoire).

Ce système de logs est géré via Monolog et enrichi d’un middleware interne de journalisation contextuelle. Les logs sont accessibles depuis une interface de supervision dans le back-office Ekadanta, avec possibilité de filtrer par date, API, statut ou EAN13.

Monitoring en temps réel et indicateurs clés

Les métriques de performance sont remontées en temps réel dans un dashboard de monitoring intégré à l’interface d’administration. Les indicateurs suivis incluent :

• Nombre de requêtes API traitées par minute et par source.
• Taux d’erreur global (par API et par commande Symfony).
• Temps moyen de réponse des API externes (EANSearch, Rainforest, MWS).
• Volume de données ingérées et stockées quotidiennement.
• Latence du pipeline et état des files RabbitMQ.

Ces données sont visualisées à l’aide de Grafana et de widgets intégrés au CMS Dawap. Les graphiques en temps réel permettent d’anticiper les congestions, de surveiller les performances API et de repérer immédiatement les ralentissements ou les pics de charge.

Alerting et gestion proactive des incidents

Le moteur d’alerting d’Ekadanta repose sur un système de triggers dynamiques : dès qu’un seuil critique est dépassé (erreur API, quota atteint, flux bloqué, latence anormale), une alerte est automatiquement envoyée aux équipes techniques. Ces notifications sont diffusées via Slack, e-mail ou webhook selon le niveau de gravité :

• Info : monitoring informatif (exécution terminée, log non critique).
• Warning : anomalie non bloquante nécessitant vérification.
• Error : échec d’un flux, déclenchement d’un retry automatique.
• Critical : incident bloquant nécessitant une intervention humaine immédiate.

Ces alertes garantissent une réactivité maximale et un taux de disponibilité élevé. Le système de reprise automatique (auto-retry) s’appuie sur RabbitMQ pour relancer les tâches échouées, assurant ainsi une continuité d’exploitation sans interruption.

Supervision centralisée et rejouabilité des flux

L’interface d’administration d’Ekadanta permet de suivre l’état de chaque flux API : requêtes en cours, succès, échecs, retries, latence moyenne. Chaque flux peut être rejoué manuellement depuis la console de supervision, par EAN13 ou par type d’intégration (ex : “Rejouer les appels Rainforest pour les produits non enrichis”).

Ce mécanisme de rejouabilité garantit la résilience opérationnelle du middleware : aucune donnée n’est perdue, aucun flux n’est bloqué sans solution de reprise. Les logs associés à chaque flux permettent d’analyser la cause d’une erreur et d’ajuster les connecteurs en conséquence.

Audit et conformité

Tous les logs critiques sont conservés dans une table d’audit séparée (log_audit), avec une rétention configurable selon les contraintes RGPD et les politiques internes de Dawap. Les journaux sont horodatés, chiffrés et compressés pour garantir la confidentialité et limiter la volumétrie.

Une API interne dédiée permet également de consulter l’historique des alertes et des interventions, créant ainsi un registre complet des événements — un élément essentiel pour la traçabilité et la certification qualité.

Un monitoring au service de la fiabilité et de la performance

Grâce à ce dispositif complet de monitoring et de supervision, Ekadanta garantit un haut niveau de fiabilité tout en offrant une visibilité totale sur ses opérations internes. Cette maîtrise du pipeline, de l’appel API jusqu’à la restitution en base, est au cœur de la philosophie Dawap : ne jamais subir la donnée, mais la piloter. C’est ce qui permet à Ekadanta de fonctionner en continu, sans bruit, sans faille, et toujours avec un niveau de contrôle maximal.

9. Résultats : un hub EAN13 performant, scalable et fiable

Une réussite technique et métier au service de la donnée produit

Le projet Ekadanta a tenu toutes ses promesses : créer une plateforme capable de transformer la complexité des flux produits en un écosystème data unifié. Grâce à la combinaison des APIs EANSearch, Amazon MWS et Rainforest, Dawap a conçu un hub EAN13 intelligent qui centralise, enrichit et expose des millions d’informations produits en temps réel. Le résultat : un système fluide, robuste et extensible, capable d’évoluer sans perte de performance.

Des performances techniques éprouvées

Après plusieurs mois d’exploitation, Ekadanta affiche des indicateurs techniques remarquables :

• +3 millions d’EAN13 traités et historisés dans la base de données.
• 500 000 ASINs mappés automatiquement à travers 5 marketplaces Amazon (FR, DE, IT, ES, UK).
• +10 millions de points de données (prix, stocks, avis, vendeurs) collectés et versionnés.
• 99,97 % de taux de disponibilité du pipeline d’intégration sur les 12 derniers mois.
• Temps de réponse API moyen : 250 ms sur des requêtes enrichies JSON.

Ces résultats confirment la solidité de l’architecture mise en place : le système gère des flux massifs, parallélise efficacement les appels API, et assure la cohérence des données malgré la diversité des sources et des formats.

Un gain considérable de fiabilité et de productivité

Avant Ekadanta, la collecte et la mise à jour des informations produits nécessitaient des opérations manuelles, souvent longues et sujettes à erreur. Grâce à l’automatisation complète des flux et à la supervision en temps réel, Dawap a permis de réduire :

• Les interventions manuelles de plus de 80 %.
• Les erreurs de données liées à des duplications ou incohérences inter-API.
• Les temps de traitement moyens par flux, divisés par quatre.
• Le temps de mise à jour complet d’un produit, passé de plusieurs heures à moins de 5 minutes.

En internalisant la logique d’enrichissement et d’historisation, Dawap a également offert à ses clients la garantie d’une donnée maîtrisée, complète et fiable, disponible à tout moment via l’API REST Ekadanta.

Une scalabilité prouvée et une architecture prête pour la croissance

Le design modulaire du projet, basé sur Symfony, Docker, RabbitMQ et Redis, permet à Ekadanta de croître sans friction. En ajoutant simplement de nouvelles instances de workers ou de conteneurs, le système peut absorber une charge multipliée par dix sans refonte. Cette scalabilité horizontale garantit que le middleware peut suivre la croissance du volume de données ou l’intégration de nouvelles APIs externes (Google Shopping, eBay, AliExpress, etc.).

La performance a également été validée via des tests de montée en charge simulant plusieurs centaines de requêtes simultanées, avec un maintien stable des temps de réponse et de la mémoire consommée. Résultat : une plateforme résiliente, conçue pour durer et évoluer.

Une base analytique unique pour la veille et la stratégie e-commerce

Au-delà de la technique, Ekadanta s’impose comme un outil stratégique : sa base de données unifiée offre une vision à 360° du marché. En croisant les informations de prix, disponibilité, historique vendeur et avis clients, les entreprises peuvent désormais :

• Identifier les produits à forte dynamique commerciale.
• Analyser la pression concurrentielle par catégorie ou par marketplace.
• Suivre l’évolution du positionnement prix dans le temps.
• Détecter les ruptures de stock stratégiques ou les retraits vendeurs.
• Évaluer la perception client et la qualité produit sur la durée.

Ces insights transforment la donnée brute en un véritable levier décisionnel pour le pilotage e-commerce, le pricing dynamique et la veille concurrentielle.

Une démonstration du savoir-faire Dawap en intégration API

Avec Ekadanta, Dawap démontre sa maîtrise complète des projets d’intégration API complexes : conception d’architectures scalables, structuration de la donnée, sécurisation des flux et exposition via des APIs performantes. Le projet illustre parfaitement la philosophie de Dawap : connecter les systèmes pour révéler la valeur métier des données. En alliant robustesse technique, clarté architecturale et puissance analytique, Ekadanta s’impose comme un hub EAN13 de référence pour la donnée produit mondiale.

Un projet exemplaire dans l’univers de l’intégration API, alliant vision data-driven, excellence technique et performance durable.

10. Perspectives : extension multi-marketplaces et IA de classification produit

Vers un écosystème de données produits global et interconnecté

Après avoir consolidé les intégrations avec EANSearch, Amazon MWS et Rainforest API, Dawap envisage désormais une nouvelle étape pour Ekadanta : l’ouverture à d’autres marketplaces et la mise en place d’une intelligence artificielle de classification et de détection produit. L’objectif est clair : faire d’Ekadanta une plateforme universelle, capable de fédérer la donnée produit mondiale, indépendamment de la source, du format ou du canal de vente.

Extension vers de nouvelles marketplaces

L’une des forces d’Ekadanta réside dans sa modularité technique. Grâce à son architecture basée sur des connecteurs indépendants et un moteur d’orchestration par Command Bus, il est possible d’ajouter de nouvelles sources de données sans refonte du système. Les prochaines étapes d’intégration concernent :

• eBay API : récupération des listings, vendeurs et historiques de prix pour enrichir la base multi-canal.
• Google Shopping Content API : extraction des données produits standardisées au format GTIN pour élargir la couverture du catalogue.
• AliExpress API et Rakuten API : ajout de flux internationaux pour suivre les dynamiques de prix et de disponibilité à l’échelle mondiale.
• Fnac / Darty API : synchronisation des catalogues européens pour un suivi cross-marketplace plus fin.

Ces extensions permettront à Ekadanta d’atteindre une couverture multi-marketplace complète, où un même produit EAN13 pourra être tracé, comparé et analysé à travers plusieurs plateformes, avec une vision unifiée.

Mise en place d’une IA de classification produit

Pour aller au-delà de la collecte, Dawap travaille sur un module d’intelligence artificielle de classification produit capable d’enrichir automatiquement les métadonnées à partir des informations collectées (titre, description, images, avis). Cette IA, basée sur des modèles de NLP et de vision par ordinateur, aura plusieurs objectifs :

• Identifier la catégorie produit (ex : électronique, beauté, maison, jouets) à partir du contenu textuel et visuel.
• Détecter les doublons et incohérences entre les fiches produits provenant de sources multiples.
• Normaliser les caractéristiques (dimensions, couleur, marque, référence) pour un mapping uniforme des données.
• Analyser la qualité de contenu en mesurant la complétude et la conformité SEO des fiches produits.

L’intégration de ce moteur d’IA permettra à Ekadanta de passer du simple agrégateur de données à un véritable analyseur intelligent de contenu produit, capable de comprendre et structurer automatiquement les catalogues multi-sources.

Analyse prédictive et suivi des tendances

L’autre axe majeur d’évolution d’Ekadanta est la prévision des comportements produits à partir des historiques collectés : variations de prix, ruptures de stock, montée des avis négatifs ou disparition de vendeurs. Ces signaux faibles permettront à l’IA de générer des alertes prédictives et des analyses de tendance marché, transformant Ekadanta en véritable outil de market intelligence.

À terme, la plateforme sera capable d’indiquer :

• Les produits à forte croissance sur une période donnée.
• Les catégories sous tension (ruptures fréquentes ou marges volatiles).
• Les signaux avant-coureurs de baisse de performance sur un produit ou une marque.
• Les opportunités d’arbitrage entre marketplaces basées sur les écarts de prix.

Ces fonctionnalités ouvriront la voie à une stratégie data-driven proactive, où la donnée ne sert plus uniquement à décrire le passé, mais à anticiper les évolutions futures du marché.

Interopérabilité et ouverture aux systèmes tiers

Dans une logique d’écosystème, Ekadanta prévoit également l’ouverture de ses API à des plateformes tierces : ERP, PIM, outils de pricing ou applications de veille concurrentielle. Cette interopérabilité permettra à chaque client de brancher directement Ekadanta dans son environnement digital, renforçant ainsi sa position comme hub de référence pour la donnée produit.

Des connecteurs prévus vers Power BI, Looker Studio et Tableau sont également en développement afin d’exploiter les données d’Ekadanta dans des tableaux de bord dynamiques et personnalisables.

Un futur orienté innovation et excellence technique

Le projet Ekadanta illustre la vision long terme de Dawap : bâtir des architectures API-first évolutives et des écosystèmes data intelligents capables d’apprendre, de s’adapter et de s’étendre. Les prochaines évolutions feront d’Ekadanta un hub data universel, alliant puissance technique, scalabilité et intelligence métier. Une étape supplémentaire dans la mission de Dawap : connecter, structurer et valoriser la donnée au service de la performance e-commerce mondiale.