a11y.skipToMainContent
1

Gerador Robots.txt

Construa um robots.txt — permitir / não permitir regras por usuário-agente, rastreamento-atraso opcional, e URL do sitemap.

Add directives below, then Generate.

Rules (one per line: allow:/path, disallow:/path, or useragent:Name)

More options
Was this tool helpful?
Send output to:
Advertisement

How to use Robots.txt Generator

  1. Regras de tipo — uma por linha: useragent:*, não permitir:/admin/, permitir:/admin/public/, etc.
  2. Opcionalmente adicione URL do mapa do site e atraso de rastreamento.
  3. Clique em Gerar e salvar como robots.txt em seu site root.

O que é {nome}?

robots.txt diz aos rastreadores de motores de busca quais partes do seu site indexar e quais pular. Este gerador tem regras simples no formato usuário:Nome, desallow:/path, e allow:/path e sai um arquivo devidamente formatado pronto para enviar para o seu site root.

Advertisement

FAQ

Para onde vão os robots.txt?
Sempre na raiz do seu domínio: https://yoursite.com/robots.txt — não em subdiretórios.
Os robôs.txt são aplicáveis?
Não — é uma sugestão que os rastejantes bem comportados respeitam. Para controle de acesso real, use blocos de autenticação ou de servidor.

Related tools

Author

1S
1Stop Tools"The Toolsmith"

Editorial Team at 1Stop Tools

The 1Stop Tools editorial team tests, reviews, and curates every utility on this platform. We believe tools should be free, fast, and private, with no accounts, no uploads, and no tracking. Every tool on this site runs entirely in the browser, and we test on multiple devices and browsers to ensure reliability for everyone, everywhere, on any connection.

📖 Robots.txt Generator on Wikipedia·Generators on Wikipedia·Robots.txt Generator on Britannica

People also use

← Back to Generators · All tags
Advertisement