L’annonce de Cloudflare du 15 septembre 2026 rend cette vérification particulièrement utile. L’entreprise distingue désormais le refus d’entraînement du blocage de robots qui servent aussi à la recherche. Annonce Cloudflare du 15 septembre.
La rédaction a besoin de savoir quels usages elle accepte et ce que les règles appliquées permettent réellement de limiter. Les noms des options ne répondent pas toujours à ces deux questions. Le prestataire doit pouvoir expliquer leurs effets sur les articles du média, y compris les accès qui restent possibles.
Chez Cloudflare, deux réglages aux conséquences différentes
Selon Cloudflare, Disallow AI Training exprime un refus dans robots.txt et conserve l’accès de recherche des robots mixtes qualifiés d’Accountable ; les autres robots d’entraînement sont bloqués. Block peut désormais bloquer aussi Googlebot, Bingbot et Applebot. L’entreprise prévoit une migration des anciennes préférences, mais précise que la transmission automatique du refus à Bing via robots.txt attend une prise en charge annoncée pour début 2027. Fonctionnement et limites annoncés.
Ces précisions empêchent de conclure que tous les sites sont devenus inaccessibles aux moteurs, ou qu’une option protège uniformément contre tous les usages d’entraînement. Elles donnent surtout une question à poser au prestataire : quel réglage est actif sur notre domaine, et quel comportement attendons-nous de chacun des services concernés ?
Il faudra parfois commencer plus simplement : Cloudflare intervient-il devant ce site ? La réponse ne se déduit pas du seul nom du CMS. Demander à la personne responsable de situer le contrôle d’accès dans l’installation évite de commenter une option qui ne concerne pas le média.
Si le service est utilisé, une capture datée de l’écran actuel vaut mieux qu’un souvenir de configuration. L’équipe devrait pouvoir y retrouver le domaine et les noms exacts des préférences, puis demander quelles autres règles peuvent intervenir. Le motif de ces choix devrait accompagner le relevé, surtout si la personne qui les a faits a quitté le projet.
Refuser quel usage, pour quels articles ?
La discussion peut partir d’un article que la rédaction souhaite faire découvrir. Un dossier original, par exemple, pour lequel elle veut que de nouveaux lecteurs trouvent la page et puissent consulter les documents associés. Accepter ce parcours ne dit pas encore si elle accepte l’utilisation du texte pour entraîner un modèle, ni quelle place elle souhaite laisser à un résumé affiché ailleurs.
Voici une demande fictive, formulée en termes éditoriaux : conserver la découverte de nos articles publics dans la recherche ; refuser les usages d’entraînement dans les périmètres où les opérateurs permettent de l’exprimer ; nous présenter séparément les possibilités de restriction des résumés. Elle laisse au prestataire le soin d’expliquer ce qui est réalisable et les conséquences de chaque option.
Le choix pourrait être différent pour une base documentaire réservée aux abonnés. Ce qui compte alors est aussi de savoir quel texte une personne sans abonnement peut lire. Les archives, les dossiers publics et les pages réservées méritent d’être identifiés dans la demande, sans supposer qu’un réglage unique traduira toutes les intentions.
La rédaction peut même découvrir qu’elle n’a jamais décidé la politique actuelle. Un blocage a pu être posé lors d’une intervention dont le motif n’est plus connu de l’équipe. Dans ce cas, rechercher la décision initiale apporte davantage qu’un changement immédiat. Le réglage était peut-être adapté au besoin ; il lui manque une explication que les collègues puissent reprendre.
Le désaccord doit rester visible s’il existe. Une direction qui veut restreindre les reprises et un responsable d’audience qui souhaite préserver les points d’entrée n’attendent pas exactement la même chose. Leur demander de choisir ensemble le périmètre permet au prestataire de traiter une demande explicite. Lui transmettre simplement « faites au mieux pour le SEO » lui ferait arbitrer à leur place.
Google et OpenAI ne découpent pas les usages de la même façon
Chez OpenAI, OAI-SearchBot sert à la recherche et GPTBot à la collecte susceptible d’alimenter l’entraînement. Leurs réglages sont indépendants. ChatGPT-User couvre certaines visites demandées par un utilisateur ; les règles robots.txt peuvent ne pas s’y appliquer. Un refus visant OAI-SearchBot exclut les pages des réponses de recherche ChatGPT, tout en laissant possible leur présence comme liens de navigation. Documentation des robots OpenAI.
Pour la rédaction, cette distinction permet d’éviter une formule aussi vague que « nous avons bloqué ChatGPT ». Le compte rendu peut nommer l’usage visé, le réglage choisi et sa limite. Il devient alors possible de relire la décision sans avoir participé à sa mise en place.
Google-Extended couvre, lui, l’entraînement des futurs modèles Gemini et l’appui aux réponses dans certains services Gemini, notamment Gemini Apps et Vertex AI. Google indique que ce contrôle n’affecte ni l’inclusion ni le classement dans Google Search. Ce nom n’est pas un agent HTTP distinct : il sert à exprimer une préférence alors que l’exploration utilise des agents Google existants. Périmètre de Google-Extended.
Les réponses IA de la recherche Google demandent donc une lecture séparée. Pour AI Overviews et AI Mode, Google documente notamment Googlebot et les contrôles d’aperçu. Une page doit être indexée et éligible à un extrait pour pouvoir apparaître comme lien d’appui, sans garantie d’affichage. Repères Google pour les fonctionnalités IA de Search.
Les consignes placées dans une page ont des portées différentes : noindex demande son exclusion des résultats ; nosnippet supprime les extraits et empêche l’utilisation directe du contenu dans AI Overviews et AI Mode ; data-nosnippet permet d’écarter des passages des extraits. Google doit pouvoir lire ces instructions pour les appliquer. Spécifications des balises robots.
Pour un éditeur, supprimer l’extrait d’un article constitue aussi un choix de présentation dans la recherche. Il mérite d’être examiné avec la personne chargée de l’acquisition, à partir de pages précises. Un refus d’entraînement ne suffit pas à justifier automatiquement cette seconde décision.
Le guide sur la syndication d’articles décrit encore un autre contexte : celui d’une copie publiée chez un partenaire. Une consigne adaptée à cette copie ne devrait pas être reportée sur l’original sans réexaminer ce que le média cherche à obtenir. Les termes techniques peuvent être les mêmes, alors que la page et la décision éditoriale diffèrent.
Ce que les vérifications du site peuvent établir
Un relevé de configuration devrait être accompagné de ce que le site renvoie réellement. Cloudflare explique que Bot Preference Sync ajoute ses consignes au début du robots.txt existant. La réponse publique peut donc contenir des règles qui ne figurent pas dans le fichier géré par le CMS. Présentation de Bot Preference Sync.
C’est cette réponse extérieure que le prestataire peut examiner, puis rapprocher des préférences affichées. La vérification gagne à rester lisible : adresse contrôlée, date, résultat reçu, règle qui l’explique. Si deux réglages semblent se contredire, le compte rendu doit le dire avant de conclure que le site applique la demande.
Robots.txt reste un ensemble de consignes d’exploration. Google rappelle que tous les robots ne les respectent pas, qu’elles ne rendent pas une page privée et qu’une adresse bloquée peut encore apparaître dans la recherche si elle est découverte ailleurs. Limites de robots.txt selon Google.
Pour une page réservée, le contrôle doit donc porter aussi sur ce qu’obtient une visite sans authentification. Il serait trompeur de déclarer un document protégé simplement parce qu’il figure dans une liste de refus. La rédaction a besoin d’une réponse sur le texte effectivement accessible, avec les protections d’accès prévues par son site.
Autre limite : le nom déclaré par une requête n’établit pas son origine. Google fournit des vérifications par adresses IP et DNS pour identifier ses accès. Vérifier les requêtes des robots Google. Un essai qui change seulement le nom du robot peut aider à examiner la réponse du serveur ; il ne démontre pas une visite du véritable service.
Cette distinction change la lecture d’un rapport technique. « Le serveur a répondu à notre simulation » et « nous avons observé un accès authentifié comme provenant de Google » ne sont pas le même constat. Aucun des deux ne prouve, à lui seul, l’indexation, une citation dans une réponse ou l’utilisation d’un article pour entraîner un modèle.
Un contrôle peut commencer avec un article récent, une archive et une page réservée, choisis pour leurs parcours différents. Ce petit ensemble n’atteste pas le comportement de toutes les pages. Il permet de repérer les questions à approfondir avant de généraliser une conclusion. Pour chaque URL, le résultat attendu doit avoir été écrit avant le test.
Si une modification est décidée, conserver la configuration précédente et prévoir une personne disponible pour la rétablir rend l’intervention plus facile à suivre. La rédaction sait alors qui joindre en cas de problème, quelles pages ont été contrôlées et quelles observations manquent encore.
La diffusion quotidienne sert aussi de contrôle
Les articles continuent à circuler pendant ce travail. Le responsable de diffusion peut reprendre son parcours habituel sur une page publique : le lien s’ouvre-t-il, l’image est-elle disponible, l’outil retrouve-t-il le contenu nécessaire pour préparer le relais ? Ce sont des observations simples à communiquer au prestataire avec une adresse exacte.
Le guide Flux RSS et diffusion des articles détaille les données à retrouver dans ce parcours. Il peut servir à décrire un problème concret, par exemple un article détecté dont le contenu ou l’image ne sont plus récupérés. Il faudra ensuite établir sa cause, sans attribuer tout incident au dernier réglage modifié.
EditoRelay prépare des propositions sociales à partir des articles détectés et permet d’en relire et modifier le texte, comme le présente la page Pourquoi EditoRelay. Ce parcours donne un point de contrôle de la diffusion. Il ne constitue pas un outil de gestion des préférences Cloudflare ou des robots des moteurs.
Si une étape cesse de fonctionner, une note indiquant l’article, l’heure et le résultat attendu est plus utile qu’un message général sur « l’IA bloquée ». Elle permet de reprendre le même cas et de constater si la correction a rétabli le service attendu.
Une décision à revoir sur des faits
Le premier bilan peut déjà montrer si la configuration correspond à la demande et si les accès à conserver fonctionnent sur les pages contrôlées. Il peut aussi faire apparaître une exception que la rédaction juge trop large. Elle dispose alors d’une décision à reprendre, même sans avoir encore assez de données pour discuter d’un effet sur son audience.
Une requête de robot ne représente pas une lecture humaine. Une citation constatée ne dit pas si quelqu’un a suivi le lien. Pour parler d’acquisition, le média doit examiner les visites qu’il sait attribuer, avec les limites de sa mesure, puis ce que ces visiteurs ont fait sur le site. Un compteur d’exploration ne remplace pas ces observations.
Une variation de trafic après l’intervention mérite éventuellement une enquête. Elle ne fournit pas sa propre explication : les sujets publiés, leur calendrier ou une autre modification du site peuvent aussi avoir changé. Le relevé de l’intervention doit rester disponible pour être rapproché de ces événements, sans fabriquer une causalité avec un simple avant et après.
Le travail sur la fidélisation face à la recherche IA peut ensuite porter sur les lecteurs réellement arrivés. La politique d’accès aura clarifié les usages acceptés ; elle ne dira pas, à leur place, pourquoi ils reviendraient lire le média.
La rédaction peut conserver une page de suivi avec la décision, les réglages datés et les points encore inconnus. À la prochaine évolution d’un opérateur, elle saura quelle partie revoir. Et si elle transmet le site à un autre prestataire, celui-ci disposera du motif des règles avant de proposer de les modifier.
Sources officielles
Documents utilisés pour vérifier les points techniques de cet article.