Crawlers IA : bloquer le training fait-il disparaître Googlebot de vos pages ?

Trois catégories, plus une seule case à cocher. Depuis juillet, Cloudflare ne demande plus si un robot relève de l’IA, mais ce qu’il vient faire : indexer, agir pour un utilisateur, ou collecter du texte pour entraîner un modèle.

Les crawlers IA qui ne font qu’une seule de ces choses posent peu de problèmes. Ceux qui en font plusieurs sous un seul nom en posent beaucoup. Googlebot indexe et alimente l’entraînement. Applebot et BingBot aussi.

Depuis le 15 septembre, ces robots polyvalents sont évalués sur l’ensemble de leurs usages. Un site qui a coché le refus d’entraînement peut donc se retrouver à refuser, du même geste, le robot qui lui apporte son trafic. Ce n’est pas une sanction de Google. C’est un problème d’accès, et il se traite autrement.

Search, Agent, Training : ce que Cloudflare sépare

Search couvre l’indexation classique, celle qui renvoie ensuite des visiteurs, et qui conditionne aussi la citation dans les AI Overviews. Agent désigne les robots qui agissent en direct pour une personne, par exemple quand un assistant ouvre une page à votre place. Training vise la collecte destinée à entraîner ou affiner un modèle.

Depuis le 15 septembre, les nouveaux domaines arrivant sur le réseau bloquent Training et Agent sur les pages porteuses de publicité. Search reste autorisé.

Une précision compte ici, et elle est souvent perdue : ces réglages par défaut touchent aussi les nouveaux sites de clients existants et les comptes de l’offre gratuite. Pas seulement les domaines créés après la bascule.

Pourquoi les crawlers IA polyvalents tombent avec le Training

Cloudflare applique à chaque robot la règle correspondant à l’ensemble de ses comportements. Quand ces comportements relèvent de plusieurs catégories, c’est la plus restrictive qui l’emporte.

Trois noms sont cités explicitement : Googlebot, Applebot et BingBot. Un client qui bloque le Training, y compris par l’ancien réglage global de blocage des robots IA, atteint donc aussi ces trois-là.

La formule qui circule est trompeuse. Cloudflare ne bloque pas Googlebot depuis le 15 septembre. Ce sont certaines configurations qui produisent cet effet, et la nuance décide si vous devez changer un réglage ou ne rien toucher. Le refus intervient au niveau du réseau, en amont de votre serveur : une directive dans robots.txt n’y change rien, puisque le robot n’atteint jamais la machine.

La correction du mois d’août change la réponse

Le 21 août, et non début septembre comme on le lit parfois, Cloudflare a livré Bot Preference Sync. La fonction reporte les réglages du tableau de bord dans le fichier robots.txt du site, sur toutes les offres, de la gratuite à l’Enterprise.

Le point important tient dans un choix de vocabulaire. Pour le Training, le refus s’exprime désormais comme une préférence écrite dans robots.txt, pas comme un blocage réseau. Un robot polyvalent qui déclare clairement ses usages et respecte cette préférence continue d’accéder aux pages pour l’indexation, tout en s’interdisant l’entraînement.

La réponse à la question de départ est donc non, pas nécessairement. À condition d’avoir choisi le bon mécanisme.

Ce qu’il faut contrôler cette semaine

Six vérifications suffisent à savoir où vous en êtes.

• Réglages AI Crawlers dans la console Cloudflare, catégorie par catégorie
• Ancien bouton de blocage des robots IA, encore actif sur beaucoup de comptes
• Règles WAF, qui peuvent refuser un robot indépendamment de ces catégories
• Fichier robots.txt publié, comparé aux réglages du tableau de bord
• Journaux serveur, en volumes par robot, avant et après le 15 septembre
• Inspection d’URL dans la Search Console, sur quelques pages représentatives

Un refus appliqué au niveau du réseau ne laisse pas d’erreur dans vos journaux. Il laisse une absence. C’est pour cette raison qu’un relevé pris avant la bascule vaut mieux qu’un diagnostic tenté après coup, et c’est aussi ce que suppose toute tentative de mesurer votre visibilité dans les moteurs IA. Relier une variation de position à ce changement sans preuve technique serait prématuré.

La politique de crawl devient une décision d’entreprise

Le réglage n’appartient plus au seul webmaster. Refuser l’entraînement relève du juridique et de la propriété des contenus. Rester présent dans les réponses génératives relève de l’acquisition. Les deux décisions se prennent dans la même console, parfois par la même case.

Pour un prestataire SEO, le périmètre d’audit s’élargit d’autant : classification des robots, lecture des journaux, configuration réseau, politique d’accès par usage. La question voisine, souvent confondue avec celle-ci, reste ce que les robots d’IA lisent vraiment sur votre site. Écrivez cette politique avant de la subir. Le cahier des charges du donneur d’ordre est le bon endroit pour la poser.

Cet article s’appuie notamment sur l’annonce officielle de Cloudflare sur les options de trafic IA, sur la présentation de Bot Preference Sync publiée par Cloudflare et sur la documentation du réglage robots.txt géré. Le périmètre du changement a été recoupé avec la synthèse de Help Net Security sur les nouveaux contrôles, l’analyse de Search Engine Journal sur le risque pour Googlebot et l’article de TechCrunch sur l’échéance imposée aux éditeurs de robots.