a11y.skipToMainContent
1

Robots.txt जेनरेटर

एक Robot.txt बनाएँ - प्रति उपयोगकर्ता एजेंट, वैकल्पिक क्रॉल-डेले और sitemap URL नियमों की अनुमति / अनुमति देता है।.

Add directives below, then Generate.

Rules (one per line: allow:/path, disallow:/path, or useragent:Name)

More options
Was this tool helpful?
Send output to:
Advertisement

How to use Robots.txt Generator

  1. प्रकार नियम - एक प्रति पंक्ति: उपयोगकर्ता अभिकर्मक:*, अस्वस्थ: / व्यवस्थापक / अनुमति: / व्यवस्थापक / सार्वजनिक / आदि।.
  2. वैकल्पिक रूप से साइटमैप यूआरएल और क्रॉल-डेले जोड़ें।.
  3. अपने साइट रूट पर रोबोट.txt के रूप में उत्पन्न और सहेजने के लिए क्लिक करें।.

Robots.txt जेनरेटर क्या है?

robots.txt सर्च इंजन क्रॉलर्स को बताता है जो आपकी साइट के कुछ हिस्सों को अनुक्रमित करने के लिए और जो छोड़ देता है। यह जनरेटर useragent: Name, की अनुमति देता है:/path, और allow:/path में सरल नियम लेता है और आपकी साइट रूट पर अपलोड करने के लिए एक उचित रूप से स्वरूपित फ़ाइल तैयार करता है।

Advertisement

FAQ

रोबोट.txt कहाँ जाता है?
हमेशा अपने डोमेन की जड़ पर: https://yoursite.com/robots.txt — subdirectories में नहीं।.
क्या रोबोट.txt लागू करने योग्य है?
नहीं - यह एक सुझाव है कि अच्छी तरह से व्यवहारित क्रॉलर सम्मान है। वास्तविक एक्सेस कंट्रोल के लिए, प्रमाणीकरण या सर्वर साइड ब्लॉक का उपयोग करें।.

Related tools

Author

1S
1Stop Tools"The Toolsmith"

Editorial Team at 1Stop Tools

The 1Stop Tools editorial team tests, reviews, and curates every utility on this platform. We believe tools should be free, fast, and private, with no accounts, no uploads, and no tracking. Every tool on this site runs entirely in the browser, and we test on multiple devices and browsers to ensure reliability for everyone, everywhere, on any connection.

📖 Robots.txt Generator on Wikipedia·Generators on Wikipedia·Robots.txt Generator on Britannica

People also use

← Back to Generators · All tags
Advertisement