ClaudeBot
Crawler d'Anthropic dédié à l'entraînement des modèles Claude. Fait partie d'une famille de quatre crawlers documentés (ClaudeBot pour training, Claude-SearchBot pour search, Claude-User pour fetch utilisateur, claude-code pour CLI dev). Tous respectent robots.txt et n'exécutent pas JavaScript.
Crawler d'Anthropic dédié à l'entraînement des modèles Claude. Fait partie d'une famille de quatre crawlers documentés (ClaudeBot pour training, Claude-SearchBot pour search, Claude-User pour fetch utilisateur, claude-code pour CLI dev). Tous respectent robots.txt et n'exécutent pas JavaScript.
Les quatre crawlers Anthropic
| User-Agent | Rôle |
|---|---|
| ClaudeBot | Training des modèles Claude |
| Claude-SearchBot | Indexation pour Claude Web Search (depuis mars 2025) |
| Claude-User | Fetch déclenché par un utilisateur dans une conversation |
| claude-code | CLI développeur (Claude Code) |
Note : anthropic-ai est l’ancien user-agent historique, encore présent dans certains configs.
Comportement
| Trait | Détail |
|---|---|
| Respecte robots.txt | Oui (tous) |
| Exécute JavaScript | Non |
| Web search disponible | Mars 2025 (payants), mai 2025 (gratuits) |
Sources favorites de Claude
Très research-oriented. Préfère .edu, papers académiques, GitHub, Stack Overflow, journalisme legacy (NYT, Atlantic, Economist). Seulement 36 % des citations journalistiques de moins d’un an chez Claude (vs 56 % chez ChatGPT). Claude valorise la profondeur sur la fraîcheur.
Actions prioritaires côté marchand
- Documentation technique exhaustive.
- Contenu long-form analytique.
- Citations académiques.
- Intégration [[mcp]] pour B2B SaaS (Stripe, Linear, Notion l’ont fait).
Configuration recommandée
Si vous voulez la citation immédiate (sans entraîner Claude) :
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
User-agent: anthropic-ai
Disallow: /Volumes observés
Sur un panel de boutiques DTC françaises 1 à 10 M€ en avril 2026, ClaudeBot représente en moyenne 0,3 à 0,8 % du trafic crawl total, loin derrière Googlebot (40 à 55 %) et GPTBot (1 à 3 %). Claude-SearchBot reste plus discret encore (0,1 % en moyenne) mais sa courbe est en croissance mensuelle régulière depuis le lancement de Claude Web Search payant en mars 2025.
Vérification d’authenticité
Les IP de ClaudeBot sont publiées par Anthropic sous forme de plages CIDR signées. Un reverse DNS lookup sur une requête prétendument ClaudeBot doit résoudre vers *.anthropic.com. Tout user-agent ClaudeBot venant d’une IP qui ne reverse pas correctement est un faux et peut être bloqué sans risque de pénalité.
À ne pas confondre avec
- [[gptbot]] : crawler OpenAI, indépendant.
- claude-code : crawler du CLI développeur Claude Code, à autoriser si vous publiez de la doc technique destinée aux développeurs.