Crawl-to-refer ratio
Métrique GEO mesurant le nombre de requêtes d'un crawler IA divisé par le nombre de visites humaines référées depuis ce même LLM. Ratio sain : 10 à 50 crawls par référent. Ratio toxique (>1000) signale un siphonnage du contenu sans retour de trafic.
Métrique GEO mesurant le nombre de requêtes d'un crawler IA divisé par le nombre de visites humaines référées depuis ce même LLM. Ratio sain : 10 à 50 crawls par référent. Ratio toxique (>1000) signale un siphonnage du contenu sans retour de trafic.
Calcul pratique
Avec deux sources de données :
- Logs serveur : compter les requêtes
200 OKportant un user-agent connu (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended). - Analytics : isoler les sessions dont le
referermatchechat.openai.com,perplexity.ai,claude.ai, ou les fragments d’origine que ces clients ajoutent.
Le ratio se calcule par crawler et par fenêtre glissante 30 jours. Le suivi mensuel met en évidence les bascules : par exemple GPTBot a baissé son ratio en passant de 800:1 (été 2024) à 180:1 (Q1 2026) après les premiers contrats de licensing.
Lecture des ratios
| Ratio observé | Interprétation |
|---|---|
| Inférieur à 50 | Contrat de licensing implicite ou explicite (presse), le crawler renvoie du trafic. |
| 50 à 200 | Zone d’usage standard pour un contenu cité dans les réponses LLM. |
| 200 à 1000 | Crawl intense, contenu utilisé pour entraînement et RAG sans citation systématique. |
| Au-delà de 1000 | Le crawler vide la boutique sans renvoyer un seul utilisateur. Cas-limite pour blocage robots.txt ou route UCP gated. |
Décision opérationnelle
Un ratio explosif justifie deux gestes : ajout du token d’opt-out approprié (GPTBot-Disallow, Google-Extended, ClaudeBot) ou négociation d’un contrat de syndication. Le geste à éviter : laisser pourrir.
À ne pas confondre avec
- Crawl budget classique (Google search) : se mesure côté Search Console, pas en logs IA.
- [[ai-overviews-ctr-collapse]] : effet aval (chute du CTR humain), pas la métrique en amont.