Cloudflare : refuser l'entraînement des IA sans disparaître des moteurs de recherche

Certains robots d'exploration servent à deux choses à la fois : alimenter un moteur de recherche et fournir des données d'entraînement à des modèles d'IA. Les bloquer, c'est renoncer aux deux. Cloudflare a modifié ses réglages le 15 septembre 2026 pour sortir de ce dilemme. Le changement concerne tous les clients, quelle que soit l'offre, et il a touché des configurations existantes.

Le problème des robots « mixtes »

Cloudflare donne deux chiffres tirés de son propre réseau : moins de 1 % des sites bloquent les robots de recherche, alors que 17 % ont activé un mécanisme pour bloquer l'entraînement. Pour les robots mixtes d'Apple, de Google et de Microsoft, ces deux souhaits étaient jusqu'ici difficiles à concilier.

Quatre options pour l'entraînement

Dans les réglages de sécurité de chaque domaine, la catégorie Training propose désormais :

• Allow : tous les robots passent.
• Disallow AI Training : un refus d'entraînement est publié dans le robots.txt. Les robots mixtes jugés « responsables » restent autorisés pour la recherche. Les autres robots d'entraînement sont bloqués, y compris ceux d'Amazon, Anthropic, Meta et OpenAI dédiés à cet usage.
• Block on pages with ads : blocage sur les seules pages où Cloudflare détecte de la publicité.
• Block : blocage de tous les robots.

Le point à retenir : depuis le 15 septembre, les deux dernières options s'appliquent aussi à Googlebot, Bingbot et Applebot. Elles ont donc un effet sur le référencement classique.

« Responsable » : quatre critères

Cloudflare accorde cette étiquette aux opérateurs qui respectent, ou s'engagent à respecter, quatre exigences : un moyen de refuser l'entraînement via le robots.txt ou un standard équivalent ; un moyen de refuser les résumés générés ; une visibilité page par page sur ce qui a servi à l'entraînement ; l'assurance que ce refus ne pénalise pas le classement dans la recherche.

Le billet détaille des situations inégales :

• Google : le refus passe par une règle Disallow visant Google-Extended.
• Apple : même principe avec Applebot-Extended, mais pas encore d'outil d'inspection par page, annoncé pour l'an prochain.
• Microsoft : le refus passe aujourd'hui par la balise NOARCHIVE et un outil de Bing Webmaster Tools. La prise en charge d'un refus au niveau du site dans le robots.txt est visée pour début 2027. D'ici là, choisir Disallow AI Training n'envoie aucun signal à Bing par ce canal.

Ce qui a changé sans que vous interveniez

• Les anciens réglages « Block AI Bots » et « Managed Robots.txt » sont dépréciés, au profit de trois catégories (Search, Training, Agent) et d'une fonction nommée Bot Preference Sync.
• Les configurations ont été converties automatiquement. Un ancien blocage devient : recherche autorisée, entraînement en Disallow AI Training, agents bloqués sur les pages avec publicité.

Les limites

Un refus dans le robots.txt est une préférence déclarée. Pour les robots mixtes, son respect dépend de l'opérateur, et les engagements cités sont rapportés par Cloudflare. Par ailleurs, les agents n'ont pas encore d'option Disallow, et le contrôle de la part de contenu reprise dans les résumés générés est annoncé pour début 2027, pas avant.

Notre lecture

Cloudflare affirme que, dans la plupart des cas, il n'y a rien à faire. Nous conseillons tout de même une vérification de dix minutes :

• ouvrir les réglages de sécurité de chaque domaine et lire les trois catégories Search, Training et Agent ;
• si Training est sur Block ou Block on pages with ads, s'assurer que c'est voulu : Googlebot et Bingbot sont désormais concernés ;
• pour refuser l'entraînement en restant visible, choisir Disallow AI Training ;
• afficher le fichier robots.txt réellement servi par le site et relire ce qu'il contient ;
• si Bing compte pour votre audience, traiter le cas Microsoft à part, avec la balise NOARCHIVE.