Towalles Towalles

Gerador de robots.txt

Configure os caminhos Permitir / Deshabilitar e o URL do mapa do site para gerar um arquivo robots.txt padrão.

Privacidade: processado localmente, nunca carregado.

↓ Colar na área de entrada abaixo para ver os resultados instantaneamente

生成 robots.txt 爬虫规则草案，可指定 sitemap 与 Disallow 路径。

Sitemap URL

robots.txt

robots.txt

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Notas

部署提示

将输出保存为站点根目录 /robots.txt; 生产环境请结合 SEO 策略调整规则。

Configure os caminhos Permitir / Deshabilitar e o URL do mapa do site para gerar um arquivo robots.txt padrão.

Iniciação rápida

  1. Política Pick

    Permitir todos os caminhos por padrão ou lista Não permitir.

  2. Adicionar Sitemap

    Use o URL completo sitemap.xml.

Implementação

Salve como /robots.txt na raiz do seu site; evite CDN que serve cópias obsoletas.

Fluxo de trabalho típico

Ao usar o gerador robots.txt, primeiro identifique diretórios sensíveis para bloquear (por exemplo, /admin/ ou /tmp/), mantendo as páginas públicas acessíveis. A ferramenta oferece caixas de verificação visuais para criar regras de desaprovação sem codificação manual. Finalmente, adicione o URL do mapa do site e clique em gerar para obter um arquivo compatível com os padrões para todos os motores de busca.

Após a geração, válido o comportamento do rastreador em um ambiente de teste primeiro. Use o testador robots.txt do Google Search Console para verificar a eficácia da regra. Uma vez confirmado, faça upload do arquivo para a raiz do seu site. Observação: as alterações podem demorar 24 - 48 horas para se propagar, monitore os logs do rastreador durante esse período.

Exemplos

Exemplo

Input

Allow all + sitemap

Output

User-agent: *
Allow: /
Sitemap: ...

FAQ

Vários agentes de usuário?

Regras Wildcard * somente; adicione blocos específicos de bot manualmente, se necessário.

Por que os motores de busca não refletem as alterações do robots.txt imediatamente?

Os mecanismos de busca armazenam em cache arquivos robots.txt periodicamente (normalmente 24 - 48 horas). Para atualizações urgentes, envie uma solicitação de reanalisação através do Search Console, mas a propagação completa ainda requer a expiração do cache. Nota: o robots.txt apenas orienta rastreadores e não pode forçar a remoção de páginas indexadas.