robots.txt, l'autorisation explicite que les bots IA viennent lire avant de vous citer

Pourquoi ce signal compte

Les bots des agents IA respectent (pour la plupart) le standard robots.txt. Si vous n’avez pas explicitement autorisé GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended ou Applebot-Extended, ils s’abstiennent de crawler. Sans crawl, pas d’indexation. Sans indexation, pas de citation. C’est aussi simple que ça. Le piège : beaucoup de boutiques Shopify ont hérité d’un robots.txt.liquid par défaut ou d’une politique restrictive ancienne (typiquement copiée d’un audit SEO 2022) qui bloque tout ce qui n’est pas Googlebot. Résultat, elles sont invisibles aux agents IA sans le savoir.

Ce que nous auditons

• Présence de robots.txt à la racine, servi en text/plain, sans redirection 30x ni 404.
• Lignes User-agent explicites pour : GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended, Applebot-Extended, Amazonbot, YouBot, Bingbot, Bytespider (selon votre cible géographique).
• Absence de Disallow: / global qui annulerait toute autorisation.
• Cohérence avec votre stratégie : si vous voulez bloquer un bot précis, vous le faites explicitement et vous documentez pourquoi.
• Référence au sitemap.xml en dernière ligne.

Erreurs courantes que nous voyons sur Shopify

• Shopify gère lui-même robots.txt jusqu’à ce que vous publiiez robots.txt.liquid. La plupart des boutiques laissent la configuration par défaut, qui n’autorise pas explicitement les bots IA récents.
• Disallow: /collections/ ou Disallow: /products/ hérités d’un mauvais audit SEO, qui coupent l’accès au coeur du catalogue.
• Bots IA listés mais avec une typo (GPTBOT au lieu de GPTBot, Claude-Web au lieu de ClaudeBot).
• Pas de sitemap référencé en bas du fichier.

Comment corriger

Vous publiez un templates/robots.txt.liquid propre. Il commence par les directives génériques Shopify préservées, puis ajoute des blocs explicites par bot IA. Vous suivez la liste officielle publiée par chaque éditeur (OpenAI, Anthropic, Perplexity, Google, Apple), que vous vérifiez tous les 6 mois car les noms d’User-Agent évoluent. Vous testez avec un curl -A "GPTBot" https://votreboutique.fr/products/test et vérifiez que la réponse est 200 et non bloquée par une couche CDN ou Cloudflare. Vous validez aussi avec l’outil officiel de Google Search Console “Tester le robots.txt”. Sans cette étape, tout le travail JSON-LD que vous avez fait sur les autres signaux n’arrive jamais aux agents.