AI के लिए Robots.txt: कौन से क्रॉलर आपकी साइट तक पहुंचें, यह कैसे तय करें

आपकी robots.txt फ़ाइल एक टेक्स्ट फ़ाइल है जो आपकी वेबसाइट की रूट डायरेक्टरी में रहती है। वह क्रॉलर को बताती है कि वे कौन से पेज एक्सेस कर सकते हैं और कौन से उनके लिए बंद हैं। पारंपरिक सर्च इंजन के लिए robots.txt वैकल्पिक है। AI क्रॉलर के लिए यह मुख्य टूल है जिससे आप तय करते हैं कि आपका कंटेंट इंडेक्स होगा या रोका जाएगा।

यह फ़र्क मायने रखता है। Google robots.txt का सम्मान करता है, पर जिन पेज को आप रोकते हैं उन्हें भी क्रॉल कर लेता है अगर दूसरी साइट उन्हें लिंक करती हैं। AI क्रॉलर robots.txt का ज़्यादा सख़्ती से पालन करते हैं। अपनी robots.txt में GPTBot को रोक दें, तो ChatGPT आपके कंटेंट को सिटेट नहीं करेगा। अनुमति दें, तो आपका कंटेंट AI सिटेशन के लिए उपलब्ध हो जाता है। यह चैप्टर बताता है कि हर बड़े AI क्रॉलर का नाम क्या है, खास बॉट को कैसे रोकें, और आपके ब्रांड के लिए कौन सी रणनीति सही है।

AI क्रॉलर के लिए robots.txt कैसे काम करता है

जब कोई क्रॉलर आपकी साइट पर आता है, तो वह सबसे पहले robots.txt फ़ाइल देखता है। वह फ़ाइल को लाइन-दर-लाइन पढ़ता है और अपने ऊपर लागू होने वाले नियम ढूंढता है। अगर आपकी robots.txt में "disallow: /" लिखा है, तो कोई भी क्रॉलर कोई पेज एक्सेस नहीं कर सकता। अगर "disallow: /admin/" लिखा है, तो क्रॉलर एडमिन फ़ोल्डर के अलावा सब कुछ एक्सेस कर सकते हैं।

AI क्रॉलर इन नियमों को Googlebot से ज़्यादा लगातार मानते हैं। अगर आप robots.txt में ClaudeBot को रोक देते हैं, तो Claude आपका कंटेंट इंडेक्स नहीं करेगा। बस। Googlebot शायद अब भी वे पेज क्रॉल कर ले जिन्हें आप रोकते हैं, अगर कंटेंट दूसरी साइट से लिंक है, लेकिन AI क्रॉलर robots.txt के निर्देश पर रुक जाते हैं।

फ़ॉर्मैट सरल है। आप ऐसे नियम लिखते हैं जो बताते हैं कि कौन से यूज़र एजेंट (क्रॉलर के नाम) पर कौन से नियम लागू हैं, फिर सूची बनाते हैं कि वे क्रॉलर क्या एक्सेस कर सकते हैं और क्या नहीं। फ़ाइल सादा टेक्स्ट है। कोई मार्कअप नहीं। कोई खास फ़ॉर्मैटिंग नहीं। बस नियम।

बड़े AI क्रॉलर और उनके यूज़र एजेंट नाम

हर क्रॉलर का एक यूज़र एजेंट नाम होता है। जब वह आपकी साइट पर आता है, तो उसी नाम से अपनी पहचान बताता है। आप अपनी robots.txt फ़ाइल में वही नाम इस्तेमाल करके उस क्रॉलर के लिए खास नियम बनाते हैं।

ये वे बड़े AI क्रॉलर हैं जिन्हें आपको जानना चाहिए:

GPTBot (OpenAI)

GPTBot OpenAI का क्रॉलर है। वह ChatGPT के लिए कंटेंट इंडेक्स करता है। जब कोई यूज़र ChatGPT में वेब सर्च चालू करता है, तो सिस्टम उन पेज से जानकारी लेता है जिन्हें GPTBot ने इंडेक्स किया है। GPTBot आक्रामक ढंग से क्रॉल करता है, पर robots.txt के नियम मानता है।

GPTBot को अनुमति देने के लिए कुछ न करें। वह डिफ़ॉल्ट रूप से क्रॉल करता है। उसे रोकने के लिए अपनी robots.txt में ये लाइनें जोड़ें:

User-agent: GPTBot
Disallow: /

वह नियम कहता है "GPTBot, तुम इस साइट का कोई पेज एक्सेस नहीं कर सकते।" अगर आप सिर्फ़ खास सेक्शन रोकना चाहते हैं, तो ज़्यादा खास हो सकते हैं। /admin/ फ़ोल्डर रोकें पर बाकी को अनुमति दें:

User-agent: GPTBot
Disallow: /admin/

ClaudeBot (Anthropic)

ClaudeBot Anthropic का क्रॉलर है। वह Claude के वेब सर्च के लिए कंटेंट इंडेक्स करता है। ClaudeBot, GPTBot से ज़्यादा आक्रामक है। वह ज़्यादा रिक्वेस्ट भेजता है और ज़्यादा बार क्रॉल करता है। अगर आप ClaudeBot को अनुमति देते हैं, तो अपने सर्वर के रिसोर्स पर नज़र रखें।

ClaudeBot इस यूज़र एजेंट नाम से अपनी पहचान बताता है। इसे अपनी robots.txt में उसी तरह इस्तेमाल करें जैसे GPTBot के लिए करते हैं:

User-agent: ClaudeBot
Disallow: /

PerplexityBot (Perplexity)

PerplexityBot, Perplexity के लिए वेब क्रॉल करता है। यह ज़्यादा बार आने वाले क्रॉलर में से एक है। वह कंटेंट को दिन में कई बार अपडेट करता है क्योंकि Perplexity ताज़गी को प्राथमिकता देता है। अगर आप PerplexityBot को रोकते हैं, तो आपका कंटेंट Perplexity के जवाबों में नहीं दिखेगा।

User-agent: PerplexityBot
Disallow: /

Googlebot-Extended (Google AI)

Google के दो क्रॉलर हैं। Googlebot पारंपरिक सर्च के लिए क्रॉल करता है। Googlebot-Extended, Google के AI सिस्टम जैसे AI Overviews और Gemini के लिए क्रॉल करता है। आप Googlebot को अनुमति देते हुए Googlebot-Extended को रोक सकते हैं।

User-agent: Googlebot-Extended
Disallow: /

दूसरे क्रॉलर

Yandex (YandexBot), Microsoft Bing (Bingbot), Naver (Naver) और दूसरे सर्च इंजन के भी क्रॉलर हैं। सिद्धांत वही है। यूज़र एजेंट नाम पहचानें और नियम बनाएं।

रणनीति: अनुमति दें या रोकें?

ज़्यादातर ब्रांड को AI क्रॉलर को अपने कंटेंट तक पहुंचने देना चाहिए। AI सिटेशन ऊंची क्वालिटी का ट्रैफ़िक लाते हैं। जो यूज़र आपका कंटेंट ChatGPT या Perplexity से ढूंढते हैं, वे पहले ही मान चुके होते हैं कि आपका जवाब कीमती है। वे क्लिक करते हैं और पारंपरिक सर्च के विज़िटर से ऊंची दर पर कन्वर्ट होते हैं।

अपवाद हैं। अगर आपके पास मालिकाना जानकारी, ट्रेड सीक्रेट या ऐसा कंटेंट है जिसे आप खास रखना चाहते हैं, तो AI क्रॉलर को रोकना समझदारी है। अगर आपके पास पेवॉल वाला कंटेंट है, तो AI सारांश के ज़रिए मुफ़्त एक्सेस रोकने के लिए आप कुछ क्रॉलर रोक सकते हैं। अगर आपके पास ऐसा कंटेंट है जो शर्मिंदगी भरा या पुराना है, तो उसे अपडेट करने तक आप AI क्रॉलर को रोक सकते हैं।

लेकिन ज़्यादातर कंटेंट के लिए हिसाब सीधा है। AI विज़िबिलिटी जोखिम से ज़्यादा मौके बनाती है। क्रॉलर को अनुमति दें। सिटेट हों। ट्रैफ़िक बढ़ाएं।

कुछ क्रॉलर को रोकना और बाकी को अनुमति देना

आपको सब या कुछ नहीं में से चुनना ज़रूरी नहीं। आप कुछ AI क्रॉलर को अनुमति दे सकते हैं और बाकी को रोक सकते हैं।

Perplexity और GPTBot को अनुमति दें पर ClaudeBot को रोकें, क्योंकि ClaudeBot की क्रॉल फ़्रीक्वेंसी आपके सर्वर पर बोझ डालती है:

User-agent: ClaudeBot
Disallow: /

User-agent: GPTBot
Disallow:

User-agent: PerplexityBot
Disallow:

खाली "Disallow:" का मतलब है कोई रोक नहीं। वह क्रॉलर सब कुछ एक्सेस कर सकता है।

आप AI क्रॉलर को खास सेक्शन से भी रोक सकते हैं। GPTBot को आपके एडमिन पैनल के अलावा हर जगह अनुमति दें:

User-agent: GPTBot
Disallow: /admin/

उसे अपना ब्लॉग क्रॉल करने दें पर अपने प्रोडक्ट नहीं:

User-agent: GPTBot
Disallow: /products/

वाइल्डकार्ड नियम और डिफ़ॉल्ट व्यवहार

आप खास क्रॉलर के लिए नियम और बाकी सबके लिए डिफ़ॉल्ट नियम बना सकते हैं। तारा (*) वह वाइल्डकार्ड है जो उन सभी क्रॉलर पर लागू होता है जिनका खास तौर पर ज़िक्र नहीं है।

यह नियम सभी क्रॉलर को /private/ से रोकता है पर बाकी सब की अनुमति देता है:

User-agent: *
Disallow: /private/

यह नियम सभी क्रॉलर को कुछ भी एक्सेस करने से रोकता है:

User-agent: *
Disallow: /

Crawl-delay निर्देश

आप क्रॉलर को धीमा चलने के लिए कह सकते हैं। Crawl-delay निर्देश क्रॉलर को बताता है कि हर रिक्वेस्ट के बीच कुछ सेकंड रुके। अगर आपका सर्वर ClaudeBot की आक्रामक क्रॉलिंग से जूझ रहा है, तो आप उसे धीमा होने के लिए कह सकते हैं:

User-agent: ClaudeBot
Crawl-delay: 5

इसका मतलब है कि ClaudeBot को हर रिक्वेस्ट के बीच 5 सेकंड रुकना होगा। इससे क्रॉल धीमा होता है पर सर्वर का लोड कम होता है।

robots.txt का आपके साइटमैप से रिश्ता

आपकी robots.txt फ़ाइल आपके साइटमैप का हवाला दे सकती है। अपनी robots.txt फ़ाइल के आख़िर में यह लाइन जोड़ें:

Sitemap: https://yoursite.com/sitemap.xml

क्रॉलर आपकी robots.txt देखते हैं और साइटमैप का हवाला पाते हैं। उन्हें पता चल जाता है कि आपके कंटेंट का नक्शा कहां मिलेगा। इससे खोज तेज़ होती है। इससे यह नहीं बदलता कि क्रॉलर क्या एक्सेस कर सकते हैं। यह बस उन्हें बताता है कि कहां देखना है।

अपनी robots.txt को टेस्ट करना

आप अपनी robots.txt फ़ाइल को लगाने से पहले टेस्ट कर सकते हैं। Google Search Console में robots.txt टेस्टर है। आप एक URL और एक यूज़र एजेंट नाम डालते हैं, और वह बताता है कि आपकी robots.txt के नियमों के हिसाब से वह क्रॉलर उस पेज को एक्सेस कर सकता है या नहीं।

ज़्यादातर कंटेंट प्लेटफ़ॉर्म robots.txt फ़ाइल अपने आप बनाते हैं। अपनी साइट की सेटिंग देखें। अगर आप उसे एडिट कर सकते हैं, तो कस्टम नियम जोड़ सकते हैं। अगर नहीं कर सकते, तो अपने प्लेटफ़ॉर्म के सपोर्ट से पूछें।

अक्सर पूछे जाने वाले सवाल