a11y.skipToMainContent
1

Trình tạo rô bốt

Xây dựng một robot.txt — cho phép / cấm các quy tắc trên một người dùng- đại diện, tùy chọn thu thập dữ liệu và vị trí URL.

Add directives below, then Generate.

Rules (one per line: allow:/path, disallow:/path, or useragent:Name)

More options
Was this tool helpful?
Send output to:
Advertisement

How to use Robots.txt Generator

  1. Các quy tắc kiểu — một trên mỗi dòng: tác giả: *, cấm:/admin/, cho phép:/admin/ Public/, etc.
  2. Tùy chọn thêm địa chỉ URL sơ đồ và thu thập dữ liệu.
  3. Nhấn vào để tạo ra và lưu dạng robot.txt tại gốc trang web của bạn.

Tên là gì?

robots.txt cho biết những phần nào của trang web của bạn để chỉ mục và bỏ qua. Máy phát điện này sử dụng các quy tắc đơn giản < code>sourcet: Name

Advertisement

FAQ

Người máy đi đâu?
Luôn luôn ở gốc của miền: https vội vàng.com/robots.txt — chứ không phải trong thư mục con.
Có thể thực thi robot không?
Không, đó là một gợi ý rằng những người thu thập thức ăn phải tôn trọng. Để kiểm soát truy cập thật, hãy dùng khối xác thực hoặc khối bên máy chủ.

Related tools

Author

1S
1Stop Tools"The Toolsmith"

Editorial Team at 1Stop Tools

The 1Stop Tools editorial team tests, reviews, and curates every utility on this platform. We believe tools should be free, fast, and private, with no accounts, no uploads, and no tracking. Every tool on this site runs entirely in the browser, and we test on multiple devices and browsers to ensure reliability for everyone, everywhere, on any connection.

Advertisement