# DataCards.mx — Robots.txt
# Última actualización: 2026-04-23

User-agent: *
Allow: /
Allow: /blog/
Allow: /tarjeta/
Allow: /battle/
Allow: /prestamos/
Allow: /bancos/
Allow: /beneficios/
Allow: /hipotecas/
Allow: /inversiones/
Allow: /glosario/
Allow: /directorio/
Allow: /analisis-tasas/
Allow: /buro-de-credito/
Allow: /red/
Allow: /sobre-nosotros/
Disallow: /admin
Disallow: /api
Disallow: /private
Disallow: /_next/
Disallow: /assets/

# Crawl-delay para bots genéricos (evitar sobrecarga en Hostinger)
Crawl-delay: 2

# Google (sin crawl-delay, Google lo ignora pero indexa más rápido)
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /blog-assets/
Allow: /card-images/

# Bing
User-agent: Bingbot
Allow: /
Crawl-delay: 3

# AI Bots que dan atribución — permitidos
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

# AI Bots de scraping sin atribución — bloqueados
User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: FacebookBot
Disallow: /

# Sitemaps
Sitemap: https://datacards.mx/sitemap-index.xml
Sitemap: https://datacards.mx/sitemap.xml
Sitemap: https://datacards.mx/sitemap-tarjetas.xml
Sitemap: https://datacards.mx/sitemap-blog.xml
Sitemap: https://datacards.mx/sitemap-bancos.xml
Sitemap: https://datacards.mx/sitemap-beneficios.xml
Sitemap: https://datacards.mx/sitemap-prestamos.xml
Sitemap: https://datacards.mx/sitemap-battles.xml

# RSS Feed
Sitemap: https://datacards.mx/rss.xml