Autoriser les crawlers IA : comment ChatGPT, Claude et Perplexity lisent votre site web
Les systèmes d'IA ne peuvent citer que ce qu'ils ont le droit de lire. Qui bloque GPTBot, ClaudeBot ou PerplexityBot disparaît des réponses en tant que source. Un coup d'œil au robots.txt s'impose.
Quels crawlers IA existe-t-il ?
Les grands fournisseurs utilisent leurs propres crawlers avec leur propre user agent. Certains collectent des données d'entraînement, d'autres récupèrent des contenus en direct pour répondre à une question.
| User agent | Fournisseur | Objectif |
|---|---|---|
| GPTBot | OpenAI | Contenus pour les modèles d'OpenAI |
| OAI-SearchBot | OpenAI | Recherche dans ChatGPT |
| ChatGPT-User | OpenAI | Récupération lorsque des utilisateurs demandent une page dans ChatGPT |
| ClaudeBot | Anthropic | Contenus pour Claude |
| PerplexityBot | Perplexity | Index de la recherche Perplexity |
| Google-Extended | Contrôle l'utilisation pour Gemini | |
| Bingbot | Microsoft | Index Bing, base de Copilot |
Comment autoriser les crawlers IA dans le robots.txt
Le fichier robots.txt se trouve dans le répertoire racine de votre domaine (p. ex. ihre-domain.ch/robots.txt). Une autorisation explicite se présente ainsi :
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Allow: /
Si l'un de ces bots a Disallow: /, l'ensemble de votre site web lui est bloqué. Vous pouvez toujours exclure de manière ciblée des zones internes comme /admin/.
Le blocage caché : protection anti-bots et pare-feu
Même si le robots.txt autorise tout, des services de sécurité comme Cloudflare peuvent rejeter les crawlers IA avec un message d'erreur (p. ex. HTTP 403). Certains fournisseurs bloquent les bots IA par défaut. Vérifiez donc dans les paramètres de votre CDN si les «AI Bots» ou «Verified Bots» sont autorisés.
Ce que vous pouvez faire en plus
- Fournir un sitemap XML à jour et l'indiquer dans le robots.txt.
- Livrer les contenus importants côté serveur afin qu'ils soient lisibles sans JavaScript.
Questions fréquentes
Est-il risqué d'autoriser les crawlers IA ?
Pour la plupart des entreprises, les avantages l'emportent : seul ce que les systèmes d'IA ont le droit de lire peut être cité et lié dans les réponses. Les contenus confidentiels n'ont de toute façon pas leur place sur le web public.
Comment savoir si mon site web bloque les crawlers IA ?
Ouvrez votre robots.txt et recherchez les user agents des crawlers IA. Le Check IA gratuit de Kamano AI vérifie automatiquement le robots.txt et la protection anti-bots.