User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /
Allow: /wp-admin/admin-ajax.php

# Bloquear páginas técnicas de WooCommerce
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /wishlist/
Disallow: /thank-you/
Disallow: /track-order/
Disallow: /cdn-cgi/

# Bloquear feeds si no los usas
# Disallow: /feed/
Disallow: /comments/feed/

# Bloquear parámetros de carrito
Disallow: /*add-to-cart=*
Disallow: /*?add-to-cart=

# Opcional: bloquear resultados de búsqueda internos de WordPress
Disallow: /?s=
Disallow: /search/

# Opcional: evitar indexar páginas de autores si es un sitio de una sola persona
#Disallow: /author/

# Sitemap (ajusta si usas otro plugin o estructura)
Sitemap: https://www.cervezaartesanalmexicana.mx/sitemap_index.xml


# --- LLMs / Bots de IA (permitidos) ---
# OpenAI (ChatGPT)
User-agent: GPTBot
Allow: /
Allow: /llms.txt

# Common Crawl (dataset usado por múltiples modelos)
User-agent: CCBot
Allow: /
Allow: /llms.txt

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
Allow: /llms.txt

# Perplexity AI
User-agent: PerplexityBot
Allow: /
Allow: /llms.txt

# Meta (Facebook / LLaMA iniciativas públicas)
User-agent: FacebookBot
Allow: /
Allow: /llms.txt

# --- Google (SEO + IA) ---
# Rastreo general de Google
User-agent: Googlebot
Allow: /
Allow: /llms.txt

# GoogleOther: rastreador de propósito general de Google
User-agent: GoogleOther
Allow: /
Allow: /llms.txt

# Google-Extended: control para uso de contenido en modelos generativos de Google (Gemini, Vertex AI)
# Usa "Allow: /" para permitir, o "Disallow: /" si deseas excluir tu contenido de entrenamiento/uso generativo.
User-agent: Google-Extended
Allow: /

# (Opcional) Apple — control para entrenamiento en Apple Intelligence
User-agent: Applebot-Extended
Allow: /