# YouBlur.com — robots.txt
# Référence : https://youblur.com/robots.txt
#
# === Politique de crawl ===
# Pages publiques indexables : Allow: / (par défaut)
# Homes marketing : /fr/, /en/, /de/, /de-at/, /es/, /pt/, /it/, /sv/, /tr/, /ar/ (+ sitemap)
# Blog (canonique) : /{lang}/blog/ — listé dans sitemap.xml
#
# === Politique IA / GEO (Generative Engine Optimization) ===
# YouBlur autorise explicitement les crawlers IA — qu'ils soient utilisés pour
# l'entrainement (training) ou pour les reponses live (RAG / Answer engines).
# Bots IA explicitement bienvenus (suivent la regle User-agent: * ci-dessous) :
#   - OpenAI : GPTBot, ChatGPT-User, OAI-SearchBot
#   - Anthropic : ClaudeBot, Claude-Web, anthropic-ai
#   - Google : Google-Extended (entrainement), Googlebot (search)
#   - Perplexity : PerplexityBot, Perplexity-User
#   - Microsoft : Bingbot, MSNBot
#   - Apple : Applebot, Applebot-Extended
#   - ByteDance : Bytespider
#   - Cohere : cohere-ai, cohere-training-data-crawler
#   - You.com : YouBot
#   - Meta : Meta-ExternalAgent, FacebookBot
#   - Diffbot, CCBot (Common Crawl), Amazonbot
# Voir aussi : /llms.txt (resume du site optimise pour LLMs, format llmstxt.org)
#
# === Anciennes URL ===
# Anciennes URL /blog/{lang}/*.html : toujours servies pour les liens historiques ; chaque fichier
# a noindex + canonical vers /{lang}/blog/{slug}/ (voir blog/{lang}/*.html). Ne pas Disallow :
# sinon Search Console signale « Bloquée par robots.txt » sans que le robot puisse lire la page.
# Redirections 301 actives sur Cloudflare Pages : _redirects.
# Voir docs/DEPLOYMENT.md pour la configuration de production.

User-agent: *
Allow: /

# Chemins non publics / techniques
Disallow: /auth/
Disallow: /account.html
Disallow: /studio-dev/
Disallow: /scripts/
Disallow: /docs/
Disallow: /dist-studio/
# Artefact de build local (ne doit pas être crawlé si exposé par erreur)
Disallow: /dist/
# Gabarits produit sources — pages canoniques : /{lang}/…/ (voir sitemap.xml)
Disallow: /products/
# Les données d'articles sont nécessaires au rendu JavaScript : crawl autorisé.
# Leur indexation est exclue par X-Robots-Tag: noindex dans _headers.

# Anciens hubs index-{lang}.html sous /blog/ (doublons d’index)
Disallow: /blog/index-

# Sitemap index (régénéré automatiquement au début de npm run build).
# Référence sitemap-pages.xml, sitemap-blog.xml, sitemap-images.xml et,
# si éligible, sitemap-news.xml (Google News, < 48 h).
Sitemap: https://youblur.com/sitemap.xml