Un domaine peut recevoir autant de visites de Googlebot qu’avant et ralentir pourtant la découverte de ses nouvelles pages commerciales. Le volume global reste stable pendant que la distribution glisse vers des facettes, anciennes redirections, calendriers infinis ou ressources qui changent peu.
Parler de budget de crawl comme d’un nombre unique masque cette allocation. Les logs ne disent pas combien Google « devrait » visiter ; ils montrent où les requêtes arrivent, avec quels statuts, quelle répétition et quel délai par rapport aux changements du site.
Chez Dawap, l’expertise Tech SEO rapproche cette observation des gabarits, sitemaps, liens internes, données métier et états d’indexation. L’objectif n’est pas de maximiser les hits, mais d’améliorer la probabilité que les bonnes URL soient découvertes et revisitées au moment utile.
Le vrai enjeu est de piloter une distribution utile par section : une famille saine n’est ni celle qui reçoit le plus de visites, ni celle qui en reçoit le moins. Vous allez comprendre comment relier exploration, fraîcheur, valeur, découvrabilité et capacité sans confondre volume et indexation.
Sortir du volume global de crawl
Le total de hits dépend de la taille du site, de sa santé, de la demande de crawl, du cache, des réponses et de nombreux signaux externes. Une hausse n’est pas automatiquement positive ; elle peut provenir de milliers d’URL à paramètres. Une baisse n’est pas automatiquement négative si les pages utiles restent fraîches.
Ce pilotage avancé concerne surtout les sites très grands, les domaines dont de nombreuses pages changent rapidement et ceux qui accumulent des URL découvertes mais non indexées. Si les pages utiles sont explorées le jour de leur publication et que l’inventaire reste maîtrisé, maintenir le sitemap et contrôler l’indexation suffit généralement ; optimiser une allocation par section ajouterait une complexité sans problème démontré.
La première vue répartit les visites par section, type de page, état et statut HTTP. Elle conserve le nombre d’URL connues de chaque famille. Mille hits sur cent URL et mille hits sur cent mille URL racontent des phénomènes radicalement différents.
Contre-intuitivement, il ne faut pas fixer un quota arbitraire à Googlebot. L’équipe contrôle surtout l’espace d’URL qu’elle expose, la qualité des réponses, les liens, les sitemaps et la fraîcheur. Le volume observé devient une conséquence à interpréter, pas un levier direct.
Construire des sections comparables
Une section correspond à une règle de production : catégories, produits disponibles, produits retirés, contenus, comptes, facettes, recherche interne ou médias. Le chemin d’URL aide, mais le routeur, le template et l’état métier évitent qu’une même expression mélange des pages aux fonctions opposées.
Les URL inconnues restent visibles. Leur croissance signale une nouvelle route, un paramètre ou une erreur de classification. Les absorber dans « autre » pendant plusieurs mois empêche de voir la création d’un espace de crawl inutile.
La taxonomie est versionnée. Lorsqu’une refonte déplace une famille, le tableau conserve une correspondance entre ancienne et nouvelle section. Sans cette continuité, la redistribution du crawl pourrait être confondue avec un simple changement de nom.
La couverture de classification reste un indicateur à part entière. Une section ne peut être comparée à la période précédente si une part importante de ses routes bascule soudainement dans les inconnus ou dans une autre famille.
Valider la population Googlebot
Le user-agent ne suffit pas à authentifier une requête. Les adresses sont vérifiées avec les plages officielles ou une résolution DNS inverse suivie d’une résolution directe. Les robots spécialisés et récupérateurs déclenchés par un utilisateur restent séparés du Googlebot commun.
Les logs issus du CDN, du proxy et de l’application sont rapprochés pour comprendre quelle couche a répondu. Une URL servie depuis le cache peut ne pas apparaître dans le journal applicatif, tandis qu’une erreur de routage peut être absente du CDN exporté.
L’analyse sur le filtrage des bots non Google décrit cette classification. Sans population fiable, toute allocation par section mélange SEO, monitoring, aperçu social et scraping.
Versionner la preuve d’authentification
La table d’authentification conserve la date et la méthode de validation. Une plage officielle peut évoluer ; une résolution DNS peut échouer sans que la requête change de nature. Les rapports séparent donc identité confirmée, identité expirée à revérifier et identité inconnue.
Si la part non confirmée dépasse le seuil de qualité fixé pour une section, son allocation n’est pas comparée à la période précédente : l’écart de collecte est traité avant toute décision de crawl. Une reprise nocturne réévalue les adresses expirées et recalcule les agrégats avec la même version de taxonomie.
Le journal de correction montre combien de requêtes et quelles sections changent de statut, afin qu’un gain apparent ne provienne jamais d’une simple reclassification. Le seuil de confiance reste ainsi opposable à chaque période comparée.
Définir valeur et fraîcheur attendue
La valeur combine intention, demande, conversion, marge, backlinks, rôle de navigation et importance opérationnelle. Elle ne transforme pas chaque page sans revenu direct en déchet : une catégorie, un dossier ou une page d’aide peut soutenir un parcours ou distribuer des liens vers une famille rentable.
La fraîcheur attendue décrit la vitesse à laquelle une modification doit être découverte. Un prix, un stock, une actualité et une page institutionnelle n’ont pas le même délai utile. La référence vient du besoin métier et de l’historique sain, pas d’une promesse universelle de recrawl.
La matrice croise valeur et volatilité. Une page forte et volatile mérite une attention élevée. Une archive stable peut rester accessible avec une fréquence faible. Une famille sans valeur et générée à l’infini doit être réduite à la source plutôt que simplement dépriorisée dans un rapport.
Le besoin de fraîcheur possède une tolérance et un propriétaire. Produit confirme le délai utile, SEO observe la découverte et plateforme mesure la capacité ; aucun rôle ne fixe seul la cadence attendue de Googlebot.
Mesurer distribution, couverture et retard
La part de hits montre l’allocation, mais elle doit être complétée par URL uniques visitées, visites par URL, part jamais vue, délai de première exploration, âge depuis la dernière visite, statuts, octets et temps de réponse. Une même part peut couvrir beaucoup de nouvelles pages ou revisiter un petit noyau.
Pour une section et une fenêtre données, le taux de gaspillage divise les hits Googlebot vérifiés portant une étiquette principale d’espace inutile par l’ensemble des hits Googlebot vérifiés de la section analysée. Le numérateur sépare URL à paramètres inutiles, boucles, chaînes de redirections, erreurs persistantes, pages dupliquées et ressources sans valeur de recherche ; le rapport publie aussi les deux volumes bruts. Ces catégories restent distinctes, car leurs correctifs diffèrent, et une redirection historique légitime ne se traite pas comme une facette infinie.
Deux signaux faibles sont particulièrement utiles : le nombre d’URL uniques croît plus vite que le stock attendu et le délai de première visite s’allonge alors que le volume global reste stable. Ils annoncent souvent une dilution avant qu’une chute d’indexation ne soit visible.
La distribution des statuts affine encore le signal. Une section qui conserve sa part de hits mais remplace progressivement des 200 par des redirections ou des 5xx consomme le même volume pour un résultat de moins en moins utile.
Distinguer surcrawl et sous-crawl
Le surcrawl apparent combine répétition élevée, faible changement, faible valeur et espace d’URL évitable. Une page très visitée qui change chaque heure n’est pas nécessairement surcrawlée. Une facette stable visitée une fois peut déjà appartenir à une surface inutile si des millions de combinaisons restent accessibles.
Le sous-crawl combine retard de découverte ou de revisite, valeur, changement et découvrabilité attendue. Une URL sans lien ni sitemap n’est pas simplement « délaissée par Google » : le site ne lui fournit peut-être aucun chemin fiable.
Crawl et indexation ne sont pas interchangeables. Une page peut être fréquemment explorée et non indexée pour duplication, qualité ou canonical. Une page indexée peut recevoir peu de visites parce qu’elle change rarement. Le diagnostic rapproche les deux séries sans en déduire une causalité automatique.
Relier l’écart à une cause contrôlable
Les causes possibles incluent liens internes, pagination, facettes, paramètres, sitemaps, dates de modification, canonicals, statuts, redirections, cache, disponibilité serveur et changements de contenu. L’équipe formule une hypothèse par section et cherche un contre-exemple.
Un test utile compare deux cohortes semblables qui diffèrent sur un seul mécanisme : catégories ajoutées au sitemap contre catégories uniquement liées, facettes avec liens explorables contre filtres sans URL, ou produits corrigés contre population témoin.
Le coût caché d’un correctif global est le déplacement du problème. Bloquer une famille peut supprimer des chemins vers des pages utiles ; accélérer un sitemap peut envoyer davantage d’URL dupliquées. Chaque action vérifie donc les effets sur découverte, serveur et indexation.
Le résultat garde également les sections voisines comme garde-fous. Une amélioration locale n’est pas validée si elle augmente le TTFB, les erreurs ou le retard d’une famille plus importante, même lorsque la métrique cible progresse.
Prioriser l'exploration sur un catalogue simulé
Cas simulé : par exemple, un catalogue compte 75 000 produits, 1 800 catégories et 2,4 millions d’URL de facettes observées. Sur vingt-huit jours, les facettes reçoivent 36 % des hits Googlebot, tandis que les nouvelles catégories dépassent souvent dix jours avant leur première visite.
Les logs montrent que plusieurs filtres génèrent des ordres de paramètres différents et que le maillage conserve des liens vers des combinaisons non stratégiques. Les catégories récentes sont présentes dans un sitemap, mais peu reliées depuis leurs univers parents.
L’équipe traite d’abord la génération de liens et la normalisation des facettes les plus prolifiques, puis renforce les chemins vers une cohorte de catégories. Elle ne bloque pas toutes les facettes dans robots.txt : certaines répondent à une demande, et bloquer les autres avant consolidation empêcherait Google de crawler les URL sources et d’y lire leur rel=canonical. Les URL cibles peuvent rester découvrables par d’autres chemins ; c’est le signal déclaré sur les sources bloquées qui devient inaccessible.
Les volumes et délais sont fictifs. La règle de décision reste transposable : réduire la surface sans valeur à sa source, protéger les facettes utiles et prouver sur une cohorte que les nouvelles catégories gagnent en découverte sans hausse d’erreurs ou de charge.
Décider : protéger, réduire ou accélérer
- Protéger : une section à valeur reçoit une fréquence cohérente et ne montre pas de dérive ; aucun changement gratuit n’est lancé.
- Réduire : l’espace accessible croît sans valeur, répète le même contenu ou consomme une capacité mesurable.
- Accélérer : une cohorte utile change, reste découvrable et accumule un retard prouvé.
- Observer : les signaux divergent ou la couverture des logs ne permet pas encore d’attribuer une cause.
La priorité de crawl business approfondit le rapprochement entre hits, marge et fraîcheur. Elle complète la matrice lorsque plusieurs sections utiles se disputent la même capacité de livraison.
À refuser : une suppression massive fondée sur la seule absence de clics récents. Une page peut porter des liens, une saison future ou un parcours assisté. Sa décision exige un état métier et une règle de sortie explicite.
Piloter une correction sans déplacer le problème
Le pilote borne une section, une règle et une durée. Il conserve une cohorte témoin, la version déployée et les métriques avant correction. Les invariants surveillent 5xx, temps de réponse, volume d’URL inconnues, liens vers les pages utiles et comportement des autres sections.
Les premiers résultats concernent les faits contrôlables : baisse des combinaisons exposées, correction des liens, statut des routes et mise à jour du sitemap. Le crawl et l’indexation suivent leur propre temporalité ; ils ne doivent pas être promis dans les minutes qui suivent le déploiement.
L’extension n’est autorisée que si la surface ciblée diminue sans faire disparaître les chemins utiles et si la cohorte prioritaire améliore sa découverte. Sinon, l’équipe revient à l’état précédent ou ajuste une seule variable pour conserver l’attribution.
Si les URL uniques de facettes baissent de 15 % sans réduction des catégories découvertes, alors le pilote peut s’étendre à une seconde famille. Ce seuil illustratif doit être recalé sur la variabilité du site et ne constitue pas un objectif universel.
Plan d’action : installer la vue par section
La première entrée rapproche inventaire des routes, gabarits, sitemaps, crawl interne, logs vérifiés et valeur métier. Les responsabilités séparent qualité de collecte, taxonomie, interprétation SEO et décision produit. Chaque dépendance de CDN ou de proxy est visible.
Pour comparer les sections sans biais de volume, la QA rejoue cent URL par section, stratifiées entre états, ancienneté, valeur, fréquence de crawl et exceptions connues. Le volume est recalculé selon la taille de la section, la rareté des défauts et le niveau de confiance attendu. Elle compare statut, canonical, HTML, liens, cache, TTFB et rendu JavaScript ou SSR. La sortie contient couverture, retard, répétition, erreurs et niveau de confiance, sans fusionner crawl et indexation.
L’instrumentation associe chaque hit à une section, un état et une version de règle. La journalisation conserve les reclassements ; le monitoring suit URL inconnues, 5xx, retards de Googlebot et croissance des paramètres. Le repli réapplique la taxonomie précédente sur les logs bruts.
À titre de seuil local illustratif, si une nouvelle règle classe plus de 5 % des URL dans une autre section, alors la série historique est suspendue jusqu’à validation. Cette valeur est recalée sur la variabilité saine de la taxonomie ; elle protège la comparaison et ne dit rien à elle seule de la qualité SEO des pages déplacées.
- D’abord, fiabiliser : authentifier Googlebot, documenter les couches de logs et isoler les URL inconnues.
- Ensuite, comparer : mesurer hits, URL uniques, retards, statuts et valeur sur une fenêtre représentative.
- Puis, piloter : réduire une cause et accélérer une cohorte avec témoin, seuils et surveillance.
- À refuser : bloquer une famille entière depuis un volume global ou une semaine non représentative.
Éviter les erreurs de crawl budget
Chercher à forcer une part de hits
Le site ne commande pas une allocation exacte. Il améliore les signaux contrôlables et observe les conséquences, sans présenter un quota interne comme un comportement garanti de Google.
Une cible de distribution reste un outil de diagnostic, jamais un engagement externe. Si la fraîcheur utile est tenue avec moins de visites, alors la baisse peut être saine.
Bloquer avant de consolider
Le fichier robots.txt gère l’exploration, pas la canonicalisation. Bloquer trop tôt peut empêcher l’observation de signaux nécessaires et laisser les URL connues sans réponse exploitable.
La réduction commence par les liens, paramètres et routes qui génèrent l’espace inutile. La règle robots intervient seulement lorsque son effet attendu et ses limites sont compris.
Mesurer une semaine non représentative
Une campagne, un incident ou un crawl exceptionnel déforme la distribution. Les fenêtres sont comparées à des périodes de même activité, et les déploiements restent annotés.
Une lecture sur quatre semaines peut encore être insuffisante pour une saison. La référence doit couvrir le rythme de publication et les opérations commerciales qui commandent la fraîcheur.
Approfondir logs et priorité business
Identifier les pages les plus visitées
L’analyse des pages les plus crawlées aide à distinguer fraîcheur légitime, répétition et espace d’URL inutile avant toute réduction.
Elle compare fréquence et changement réel plutôt que de déclarer toute répétition inutile. Les pages de stock ou d’actualité peuvent justifier un rythme élevé.
Trouver les pages jamais observées
L’étude des pages jamais crawlées compare inventaires et logs. Elle révèle si l’absence vient de la découverte, de la taxonomie ou d’une fenêtre trop courte.
Les pages nouvelles, orphelines et volontairement exclues restent séparées. Cette distinction évite d’ouvrir un chantier sur une population qui n’aurait jamais dû être exposée.
Reprendre les fondations des logs
Le dossier analyser Googlebot dans les logs couvre la collecte et les précautions qui précèdent cette segmentation avancée.
Il permet de vérifier hôtes, statuts, méthodes et couches de réponse. Une distribution par section ne vaut que si les requêtes manquantes au cache ou au proxy sont connues.
Vérifier les sources Google
Google présente les principes de gestion du budget de crawl des grands sites, notamment capacité, demande, duplication, sitemaps et santé du serveur. La documentation ne garantit aucun quota par section.
La documentation sur la navigation à facettes explique comment les combinaisons peuvent créer un espace quasi infini et propose des contrôles selon la stratégie d’URL.
La documentation des sitemaps précise qu’ils signalent les URL préférées sans garantir leur crawl ni leur indexation. Cette limite empêche d’interpréter la présence dans un fichier comme une découverte acquise.
La procédure pour vérifier les requêtes Google sécurise la population de départ. Ces sources sont primaires ; les seuils et scénarios chiffrés ci-dessus restent des illustrations à adapter au site.
Conclusion : piloter une distribution utile
Le crawl budget par section rend visible ce que le volume du domaine efface : familles survisitées, cohortes en retard, erreurs concentrées et espace d’URL qui grandit sans valeur.
Les logs vérifiés, la taxonomie stable et la fraîcheur attendue permettent de distinguer une répétition légitime d’un gaspillage. Crawl et indexation restent séparés pour éviter les causalités faciles.
La meilleure correction réduit une cause contrôlable et protège les chemins utiles sur un pilote mesurable. Elle ne cherche ni à commander Googlebot, ni à faire baisser un graphique pour lui-même.
Une mission d’accompagnement Tech SEO Dawap vous aide à segmenter les logs, prioriser les sections et vérifier que chaque action améliore la découverte sans déplacer la dette.
