Bots IA Cloudflare : Allow, Disallow AI Training ou Block
Cloudflare sépare les robots IA en trois catégories : Search, Training et Agent. Découvrez comment bloquer l'entraînement sans perdre votre trafic Google.
👁 117 lectures
Depuis le 15 septembre 2026, Cloudflare divise les robots IA en trois catégories distinctes - Search, Training et Agent - et permet de définir un paramètre dédié pour chacune d’elles. Changement majeur : l’option Block bloque désormais aussi Googlebot, Bingbot et Applebot. Si vous souhaitez uniquement refuser l’entraînement des modèles, il faut impérativement choisir la nouvelle option Disallow AI Training. Je passe en revue l’ensemble des réglages et vous explique quoi choisir pour un blog, une boutique ou un site financé par la publicité. Pour en savoir plus sur l’infrastructure : Cloudflare - guide complet.
Point de situation au 5 octobre 2026
- Trois commutateurs : Search (indexation), Training (entraînement des modèles), Agent (agents opérant à la demande d’un utilisateur).
- Quatre options : Allow, Disallow AI Training (uniquement pour Training), Block on pages with ads, Block.
- Retirés : l’ancien bouton unique « Block AI Bots » et Managed robots.txt, remplacés par Bot Preference Sync.
- Statut « Accountable » : Google, Apple et Microsoft - leurs robots d’indexation continuent d’accéder au site malgré le refus d’entraînement.
- Disponibilité : sur l’ensemble des offres, y compris le plan Free gratuit.
Pourquoi Cloudflare a modifié ce fonctionnement
Le dilemme historique venait des robots à usage mixte : un même crawler indexe le web pour un moteur de recherche et récupère en même temps des données pour entraîner des modèles d’IA. Googlebot en est la parfaite illustration. Si vous le bloquez pour empêcher Gemini de s’entraîner sur vos articles, vous disparaissez purement et simplement de Google. C’est pourquoi l’ancienne option « Block » de Cloudflare a longtemps épargné ces robots hybrides.
D’après Cloudflare, moins de 1 % des sites sur son réseau bloquent les robots des moteurs de recherche, mais 17 % activent une restriction quelconque contre l’entraînement IA. Un simple fichier robots.txt ne règle rien : n’importe qui peut le publier, mais il ne permet ni d’authentifier la source réelle des requêtes ni d’arrêter les crawlers indélicats. Étant placé en amont du trafic, Cloudflare peut à la fois déclarer vos préférences et bloquer directement les contrevenants au niveau réseau.
Tous les réglages récapitulés
| Option | Action réalisée | Pour Search | Pour Training | Pour Agent |
|---|---|---|---|---|
| Allow | Autorise tous les robots du groupe (sauf blocage par une autre règle WAF) | oui | oui | oui |
| Disallow AI Training | Inscrit l’interdiction d’entraînement dans le robots.txt ; les robots « Accountable » continuent d’indexer pour le moteur de recherche, les autres crawlers d’entraînement sont bloqués | - | oui | - |
| Block on pages with ads | Bloque les bots uniquement sur les pages où Cloudflare détecte des encarts publicitaires | oui | oui | oui |
| Block | Bloque tous les robots du groupe, y compris les robots mixtes (Googlebot, Bingbot, Applebot) | oui | oui | oui |
L’option Disallow AI Training bloque notamment les crawlers purement dédiés au scraping d’entraînement d’Amazon, d’Anthropic, de Meta et d’OpenAI. Cloudflare précise bien que leur neutralisation n’a aucun impact sur l’indexation dans les moteurs de recherche.
Comment vos anciens paramètres ont basculé
Si vous n’aviez rien touché récemment, Cloudflare a migré automatiquement votre configuration :
| Ancien statut « Block AI Bots » | Nouveau Search | Nouveau Training | Nouveau Agent |
|---|---|---|---|
| Désactivé | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Si vous aviez déjà personnalisé les catégories et que Training était réglé sur Block ou Block on pages with ads, le système a basculé l’option sur Disallow AI Training. Attention : si vous forcez manuellement Block pour Search ou Training, vous couperez l’accès à Googlebot. C’est l’erreur parfaite pour anéantir votre trafic naturel en quelques jours.
La configuration par défaut sur les nouveaux domaines
Lors de l’ajout d’une zone DNS, Cloudflare demande si vous monétisez le site avec de la publicité et applique l’un de ces profils :
| Paramètre | Site sans publicité | Site avec publicités |
|---|---|---|
| Bot Preference Sync | activé | activé |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
Le raisonnement commercial est direct : la publicité ne rapporte que si un internaute regarde la page. L’entraînement IA remplace les visites futures par une réponse générée, tandis que l’agent autonome consomme vos ressources sans jamais afficher les bannières publicitaires.
Bot Preference Sync : un robots.txt synchronisé en continu
Déployée le 21 août sur l’ensemble des comptes, cette fonction insère au début de votre fichier robots.txt les règles correspondant à votre interface Cloudflare. Vos directives existantes restent intactes : le bloc automatique vient se placer au-dessus, encadré par # BEGIN Cloudflare Bot Preference Sync et # END Cloudflare Bot Preference Sync. La liste des agents utilisateurs est mise à jour dynamiquement via la base BotBase de Cloudflare, ce qui vous évite d’ajuster manuellement votre fichier à chaque apparition d’un nouveau crawler.
Dans quel cas désactiver la synchronisation ? Si vous avez signé un accord de licence spécifique avec un éditeur d’IA et souhaitez l’autoriser en dérogation aux règles globales. La synchronisation applique les décisions par catégories entières et ne prend pas en compte les règles WAF personnalisées au cas par cas.
Que choisir : mes recommandations
Blog ou site de tutoriels, sans publicité
- Search : Allow, Agent : Allow.
- Training : Allow ou Disallow AI Training, selon vos principes sur la propriété intellectuelle. Dans les deux cas, vous préservez votre trafic de recherche.
- Si vous produisez des contenus pointus et récents, surveillez le programme bêta Pay Per Use - je l’ai détaillé dans l’article Pay Per Use chez Cloudflare.
Site financé par la publicité (AdSense et régies web)
- Search : Allow, Training : Disallow AI Training.
- Agent : le choix demande réflexion. L’option Block on pages with ads stoppe les agents tels que ChatGPT naviguant à la demande d’un internaute. Vous réduisez le trafic non monétisé, mais vous perdez les citations accompagnées d’un lien sortant dans les interfaces de chat. Si la visibilité dans les moteurs génératifs (GEO) est votre priorité, gardez Allow.
Boutique en ligne (e-commerce)
- Tous les commutateurs sur Allow. Un agent IA qui compare des fiches produits ou des prix représente un acheteur potentiel. Dans un test mené sur les plus grands sites marchands polonais, aucun des six acteurs analysés n’a fait le choix de bloquer ces robots dans son robots.txt.
Site avec abonnement ou contenu payant (paywall)
- Search : Allow, Training : Disallow AI Training, Agent : Block ou Block on pages with ads - le risque d’extraction de contenu protégé par un agent autonome est bien réel.
Comment configurer ces options étape par étape
- Connectez-vous au tableau de bord Cloudflare et sélectionnez votre domaine.
- Allez dans les réglages des bots IA (rubrique AI Crawl Control ou paramètres de gestion des robots dans l’onglet Sécurité).
- Pour Search, Training et Agent, appliquez les choix recommandés ci-dessus.
- Activez Bot Preference Sync, à moins de gérer l’intégralité de votre robots.txt manuellement sur le serveur.
- Consultez l’URL
votre-domaine.com/robots.txtpour vous assurer que le bloc Cloudflare apparaît bien en en-tête. - Après sept jours, surveillez les statistiques de requêtes robots dans Cloudflare et vos données d’indexation dans Google Search Console pour vérifier qu’aucune chute anormale n’a eu lieu.
Les libellés exacts des sous-menus évoluant fréquemment sur la plateforme, je me base ici sur les annonces officielles Cloudflare du 21 août et du 15 septembre 2026. Si l’organisation de votre tableau de bord diffère légèrement, repérez simplement les trois sélecteurs Search, Training et Agent.
Prochaine étape : le contrôle des résumés IA
Cloudflare prévoit de déployer d’ici début 2027 un réglage permettant de définir quelle portion de vos pages peut être reprise dans les synthèses génératives (comme les AI Overviews de Google), centralisé chez Cloudflare sans devoir paramétrer chaque opérateur un par un. Le statut « Accountable » impose déjà à Google, Apple et Microsoft de proposer des mécanismes d’exclusion de ces résumés directement sur leurs plateformes.
Pour un audit des pratiques sur 50 grands sites web, notre analyse a été documentée lors d’un test sur le marché polonais dans le rapport robots.txt. Pour configurer vous-même les blocages au niveau serveur indépendamment d’un CDN, reportez-vous au guide comment bloquer les robots IA sur son site, et pour l’historique des modifications précédentes, lisez Cloudflare a bloqué les bots IA sur mon site.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Sources
More on this from PROMPTIF
