Sempre alla radice del tuo dominio: https://yoursite.com/robots.txt — non in subdirectories.

Robots.txt è esecutivo?

No — è un suggerimento che i crawler ben fatti rispettano. Per il controllo dell'accesso reale, utilizzare l'autenticazione o i blocchi lato server.

Robots.txt Generator

Costruire un robots.txt — consentire / disattivare le regole per utente-agente, opzionale crawl-delay, e URL sitemap.

Add directives below, then Generate.

Sitemap URL Crawl-delay (seconds, optional)

Rules (one per line: allow:/path, disallow:/path, or useragent:Name)

Generated robots.txt

More options

Load file

Unix (LF)Dos (CRLF)

Load file

Unix (LF)Dos (CRLF)

Was this tool helpful?

Send output to:

How to use Robots.txt Generator

Regole di tipo — una per linea: useragent:*, disallow:/admin/, consentono:/admin/public/, ecc.
A richiesta aggiungere URL sitemap e crawl-delay.
Fare clic su Generare e salvare come robots.txt alla radice del sito.

Che cos'e'?

robots.txt dice crawler motore di ricerca che parti del tuo sito all'indice e quali saltare. Questo generatore adotta regole semplici nel formato useragent:Name , disallow:/path , and allow:/path < /code> ed emette un file correttamente formattato pronto a caricare sulla radice del sito

Advertisement

`FAQ`

Dove va robots.txt?: Sempre alla radice del tuo dominio: https://yoursite.com/robots.txt — non in subdirectories.
Robots.txt è esecutivo?: No — è un suggerimento che i crawler ben fatti rispettano. Per il controllo dell'accesso reale, utilizzare l'autenticazione o i blocchi lato server.

`Related tools`

`Author`

1S1Stop Tools"The Toolsmith"
Editorial Team at 1Stop Tools
The 1Stop Tools editorial team tests, reviews, and curates every utility on this platform. We believe tools should be free, fast, and private, with no accounts, no uploads, and no tracking. Every tool on this site runs entirely in the browser, and we test on multiple devices and browsers to ensure reliability for everyone, everywhere, on any connection.

📖 Robots.txt Generator on Wikipedia·Generators on Wikipedia·Robots.txt Generator on Britannica

`People also use`

← Back to Generators · All tags