Otimização de crawl budget e arquitetura de rastreamento para sites grandes

Otimize o crawl budget para o site [URL DO SITE], que possui [NÚMERO] páginas e recebe [NÚMERO] crawls/dia do Googlebot.

**Fase 1 — Análise de logs do servidor:**
Usando dados de log analysis (Screaming Frog Log Analyzer ou similar):
- Total de requisições do Googlebot nos últimos 30 dias
- Distribuição por tipo de página: produto, categoria, blog, filtro, paginação, busca interna, parâmetros
- Páginas mais rastreadas vs. páginas mais importantes (cruzar com tráfego orgânico)
- Códigos de status retornados: 200, 301, 302, 404, 500
- Crawl rate: requisições/dia e padrões de horário
- Identificar crawl traps: URLs infinitas, parâmetros duplicados, calendários

**Fase 2 — Diagnóstico de desperdício:**
- URLs rastreadas que NÃO deveriam ser rastreadas (% do total)
- URLs importantes que NÃO estão sendo rastreadas (listar)
- Tempo médio de indexação de conteúdo novo (da publicação à indexação)
- Orphan pages: páginas no sitemap que não recebem crawl

**Fase 3 — Plano de otimização:**

**robots.txt:**
- Bloquear: URLs de filtro com parâmetros, busca interna, páginas de tag duplicadas, áreas administrativas
- Permitir: categorias principais, produtos, blog, landing pages
- Crawl-delay (se necessário)

**Meta robots e canonical:**
- Páginas com noindex,follow: [listar tipos]
- Páginas com canonical para versão principal: [listar padrões]
- Paginação: rel=canonical para page 1 vs. self-referencing canonicals

**Sitemap.xml otimizado:**
- Remover URLs noindex do sitemap
- Segmentar sitemaps por tipo: products.xml, categories.xml, blog.xml
- Incluir lastmod correto (data real de modificação)
- Priorizar novas URLs com sitemap de índice

**Internal linking para crawlability:**
- Garantir que páginas importantes estejam a ≤3 cliques da home
- Breadcrumbs com Schema markup
- Mega menu otimizado (não listar todas as subcategorias)

**Fase 4 — Implementação e monitoramento:**
- Testar changes em staging antes de produção
- Monitorar Google Search Console: Pages indexadas, crawl stats
- Resubmeter sitemaps atualizados
- Verificar em 2 semanas: taxa de indexação de novas páginas
- Meta: reduzir crawl waste em [%] e acelerar indexação para <[DIAS] dias

Entregue o robots.txt otimizado e o mapa de sitemaps.