GPTBot
Crawler d'OpenAI dédié à l'entraînement des modèles GPT (training). Respecte robots.txt. Distinct d'OAI-SearchBot (indexation pour ChatGPT Search) et de ChatGPT-User (fetch déclenché par un utilisateur). Bloquer GPTBot coupe la reconnaissance d'entité long terme par les modèles GPT.
Crawler d'OpenAI dédié à l'entraînement des modèles GPT (training). Respecte robots.txt. Distinct d'OAI-SearchBot (indexation pour ChatGPT Search) et de ChatGPT-User (fetch déclenché par un utilisateur). Bloquer GPTBot coupe la reconnaissance d'entité long terme par les modèles GPT.
User-Agent
GPTBot/1.0 (+https://openai.com/gptbot)Comportement
| Trait | Détail |
|---|---|
| Respecte robots.txt | Oui |
| Exécute JavaScript | Non |
| Usage primaire | Training des modèles GPT |
| Lien avec ChatGPT Search | Non direct (voir [[oai-searchbot]]) |
Arbitrage stratégique
Bloquer GPTBot dans robots.txt ne casse pas la citation immédiate dans ChatGPT Search (qui passe par OAI-SearchBot et l’index Bing). Mais cela réduit la reconnaissance d’entité long terme quand les modèles GPT-5+ seront entraînés. Pour une marque qui veut être citée spontanément à long terme, il faut autoriser.
Configuration recommandée
User-agent: GPTBot
Allow: /Pour bloquer (choix éditorial assumé, protection IP) :
User-agent: GPTBot
Disallow: /Décision selon le profil de marque
Trois profils typiques avec leur arbitrage standard :
- DTC grand public : autoriser GPTBot. Le bénéfice de reconnaissance long terme (citation spontanée dans ChatGPT) dépasse largement le coût de “donner” le contenu, qui était de toute façon scrapé via Common Crawl.
- B2B SaaS : autoriser GPTBot mais soigner le contenu (docs, blog technique). Une intégration GPTBot bien indexée fait gagner des deals où le décideur a consulté ChatGPT avant la démo.
- Marque luxe / propriété intellectuelle forte : bloquer GPTBot reste une option. Hermès, Chanel et plusieurs marisons de couture l’ont fait. Le coût visibilité IA est compensé par un positionnement éditorial maîtrisé.
Trafic référent post-citation
ChatGPT envoie un referrer chatgpt.com/c/... (web app) ou oaiusercontent.com (apps natives). Les utilisateurs Plus et Pro représentent l’essentiel du trafic référent monétisable. Suivre la part de ce trafic mensuellement permet d’objectiver le retour sur l’autorisation GPTBot.
À ne pas confondre avec
- [[oai-searchbot]] : bot d’indexation pour citations ChatGPT Search.
- ChatGPT-User : bot déclenché par un utilisateur qui fait du fetch ad hoc.
- [[ccbot]] (Common Crawl) : crawler tiers, distinct d’OpenAI mais alimente aussi l’entraînement GPT.