O sitemap funciona como mapa de URLs importantes
Um sitemap XML ajuda motores de pesquisa a encontrar páginas relevantes, especialmente em sites novos, catálogos ou estruturas extensas.
Deve listar páginas finais e indexáveis, não redirects, erros ou URLs duplicados.
robots.txt define limites de rastreio
robots.txt serve para permitir ou bloquear acesso de crawlers a caminhos. Não é a ferramenta certa para remover uma página já indexada.
Uma regra demasiado ampla pode bloquear recursos ou áreas importantes sem intenção.