ChatGPT आपका कंटेंट ढूंढ और कोट कर सके या नहीं, यह तय करने के तीन अलग तरीके हैं: robots.txt, मेटा टैग और HTTP हेडर। ज़्यादातर लोग सिर्फ़ एक के बारे में जानते हैं। तीनों को समझने से आप अपनी विज़िबिलिटी की रणनीति सोच-समझकर चुन सकते हैं।
यह सिर्फ़ ब्लॉक करने या अनुमति देने की बात नहीं है। यह सोच-समझकर फ़ैसला लेने की बात है। अलग-अलग डायरेक्टिव का नतीजा अलग होता है। गलत मेल उलटा असर कर सकता है।
कंट्रोल की तीन परतें
अपने कंटेंट के बारे में ChatGPT के क्रॉलर से बात करने के आपके पास तीन तरीके हैं।
परत 1: robots.txt
आपके डोमेन की रूट में रखी यह फ़ाइल क्रॉलर को बताती है कि वे आपकी पूरी साइट या किसी खास हिस्से में क्या देख सकते हैं और क्या नहीं। यह खोज और क्रॉलिंग को कंट्रोल करती है।
परत 2: Meta robots टैग
अलग-अलग पेजों पर लगे ये HTML मेटा टैग क्रॉलर को बताते हैं कि पेज ढूंढने और पढ़ने के बाद क्या करना है। ये उसी पेज की इंडेक्सिंग और इस्तेमाल को कंट्रोल करते हैं।
परत 3: X-Robots-Tag HTTP हेडर
आपके सर्वर के HTTP रिस्पॉन्स में रखा यह हेडर meta robots टैग जैसा ही काम करता है, लेकिन इसे पूरी साइट पर या खास तरह के कंटेंट पर लगाया जा सकता है। PDF जैसे गैर-HTML कंटेंट के लिए यह काम आता है।
ज़्यादातर लोग robots.txt पर ध्यान देते हैं और बाकी दो को भूल जाते हैं। तीनों साथ मिलकर काम करते हैं।
परत 1: robots.txt और OAI-SearchBot को समझें
आपकी robots.txt फ़ाइल OAI-SearchBot (ChatGPT के सर्च क्रॉलर) से बात करती है। ChatGPT मानक robots.txt डायरेक्टिव का पालन करता है।
OAI-SearchBot को अपने कंटेंट तक पहुंचने की अनुमति देने के लिए
User-agent: OAI-SearchBot
Allow: /
यह डिफ़ॉल्ट है। OAI-SearchBot आपकी पूरी साइट क्रॉल करेगा और आपका कंटेंट ChatGPT सर्च में दिखने लगेगा।
OAI-SearchBot को पूरी तरह ब्लॉक करने के लिए
User-agent: OAI-SearchBot
Disallow: /
इससे ChatGPT सर्च आपका कंटेंट नहीं ढूंढ पाएगा। आपके पेज ChatGPT के जवाबों में नहीं दिखेंगे।
OAI-SearchBot को अनुमति देने लेकिन क्रॉल रेट कंट्रोल करने के लिए
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
Crawl-delay डायरेक्टिव बॉट को हर रिक्वेस्ट के बीच 1 सेकंड रुकने को कहता है। अगर ChatGPT का क्रॉलर आपके सर्वर पर बहुत बार आ रहा है, तो इससे सर्वर का लोड संभालने में मदद मिलती है।
खास सेक्शन को ब्लॉक करने के लिए
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
इससे आपकी /admin/ और /private/ डायरेक्टरी की क्रॉलिंग ब्लॉक हो जाती है, जबकि बाकी सब कुछ खुला रहता है।
मुख्य सिद्धांत: robots.txt खोज और क्रॉलिंग को कंट्रोल करती है। अगर आप यहां किसी क्रॉलर को ब्लॉक करते हैं, तो वह पेज तक पहुंच ही नहीं सकता, इसलिए उस पेज के मेटा टैग भी नहीं पढ़ सकता।
परत 2: Meta robots टैग: खोजे जाने के बाद का कंट्रोल
OAI-SearchBot के आपका पेज क्रॉल करने के बाद (यानी robots.txt में उसे ब्लॉक नहीं किया गया था), meta robots टैग उसे बताते हैं कि कंटेंट का क्या करना है।
meta robots टैग का ढांचा
<meta name="robots" content="directive1, directive2">
AI क्रॉलर के लिए मुख्य डायरेक्टिव
noindex: इस पेज को इंडेक्स न करें और समरी में शामिल न करें। क्रॉलर पेज देखता है लेकिन उसका इस्तेमाल नहीं करता।
nofollow: इस पेज के लिंक को फ़ॉलो न करें। क्रॉलर पेज देख सकता है लेकिन उसके अंदर के लिंक क्रॉल नहीं करेगा।
noai: इस कंटेंट को AI मॉडल की ट्रेनिंग के लिए इस्तेमाल न करें। पेज सर्च रिज़ल्ट में आ सकता है, लेकिन OpenAI उसे लैंग्वेज मॉडल ट्रेन करने में इस्तेमाल नहीं कर सकता।
noimageai: इस पेज की इमेज को इमेज जनरेशन मॉडल की ट्रेनिंग के लिए इस्तेमाल न करें।
उदाहरण
<meta name="robots" content="noindex">
यह सभी क्रॉलर (Google, Bing, ChatGPT आदि) को बताता है कि इस पेज को इंडेक्स न करें। ChatGPT इसे कोट नहीं करेगा, Google इसे नहीं दिखाएगा और Bing इसे शामिल नहीं करेगा।
खास तौर पर OAI-SearchBot के लिए
<meta name="robots" content="noai">
यह खास तौर पर OAI-SearchBot को बताता है कि कंटेंट को ट्रेनिंग के लिए इस्तेमाल न करे। पेज फिर भी ChatGPT सर्च रिज़ल्ट में कोट हो सकता है, लेकिन OpenAI उसे मॉडल ट्रेनिंग में इस्तेमाल नहीं कर सकता।
ज़रूरी नियम: robots.txt और noindex को साथ न मिलाएं
यह सबसे ज़रूरी तकनीकी नियम है। ऐसा कभी न करें:
User-agent: OAI-SearchBot
Disallow: /article/
और साथ ही आर्टिकल पेज पर यह भी न लगाएं:
<meta name="robots" content="noindex">
वजह: अगर आप robots.txt से OAI-SearchBot को /article/ तक पहुंचने से रोकते हैं, तो क्रॉलर वह पेज कभी उठाता ही नहीं। वह मेटा टैग कभी पढ़ता नहीं। noindex डायरेक्टिव का कोई असर नहीं होता क्योंकि क्रॉलर उसे देखता ही नहीं। इसके अलावा, अगर आपके पेज का लिंक बाहरी साइट पर है, तो कुछ क्रॉलर उसे फिर भी इंडेक्स कर सकते हैं क्योंकि उन्हें वह लिंक से मिला, भले ही आपकी robots.txt ने मना किया हो।
नियम: robots.txt या मेटा टैग में से एक इस्तेमाल करें, एक ही डायरेक्टिव के लिए दोनों नहीं।
सबसे अच्छा तरीका: पूरी साइट की क्रॉलिंग (पूरे सेक्शन को अनुमति या मनाही) के लिए robots.txt इस्तेमाल करें। पेज स्तर के कंट्रोल (खास नियम वाले अलग पेज) के लिए मेटा टैग इस्तेमाल करें।
परत 3: X-Robots-Tag HTTP हेडर
अगर आप गैर-HTML कंटेंट (PDF, इमेज आदि) के लिए क्रॉलर का व्यवहार कंट्रोल करना चाहते हैं, या हर पेज को बदले बिना कई पेजों पर नियम लगाना चाहते हैं, तो X-Robots-Tag HTTP हेडर इस्तेमाल करें।
उदाहरण:
X-Robots-Tag: noindex, nofollow
यह सर्वर स्तर पर लगता है और सभी क्रॉलर को बताता है कि इस हेडर के साथ दिए गए किसी भी पेज को इंडेक्स न करें और उसके लिंक फ़ॉलो न करें।
आप इसे चुनकर भी लगा सकते हैं:
X-Robots-Tag: OAI-SearchBot: noai
यह सिर्फ़ OAI-SearchBot को बताता है कि आपका कंटेंट ट्रेनिंग के लिए इस्तेमाल न करे, जबकि सर्च में उसे अनुमति रहती है।
रणनीति के विकल्प: आप असल में क्या चाहते हैं
आपका चुनाव आपके लक्ष्य पर निर्भर करता है।
लक्ष्य 1: ChatGPT में ज़्यादा से ज़्यादा कोट होना
robots.txt में अनुमति दें, noindex मेटा टैग न लगाएं। OAI-SearchBot को आपको ढूंढने और कोट करने दें।
User-agent: OAI-SearchBot
Allow: /
कोई रोकने वाला मेटा टैग नहीं।
लक्ष्य 2: ChatGPT सर्च में दिखना लेकिन मॉडल ट्रेनिंग रोकना
robots.txt में अनुमति दें, noai मेटा टैग इस्तेमाल करें।
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
लक्ष्य 3: ChatGPT से छिपना लेकिन बाकी सर्च इंजन को अनुमति देना
OAI-SearchBot को ब्लॉक करें, बाकी को अनुमति दें।
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
लक्ष्य 4: सभी AI क्रॉलर से छिपना
कई बॉट ब्लॉक करें।
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
पालन की समस्या: सभी AI क्रॉलर ये नियम नहीं मानते
कड़वी सच्चाई यह है: अलग-अलग AI क्रॉलर नियम मानने में अलग-अलग स्तर पर हैं।
टेस्ट बताते हैं कि ChatGPT robots.txt और कुछ मेटा टैग मानता है। Perplexity दोनों को लगातार मानता है। दूसरे AI सिस्टम का पालन अलग-अलग है। कुछ पुराने AI स्क्रैपर robots.txt बिल्कुल नहीं मानते।
आप OpenAI के क्रॉलर को असरदार तरीके से कंट्रोल कर सकते हैं। लेकिन हर उस AI सिस्टम को पूरी तरह कंट्रोल नहीं कर सकते जो आपका कंटेंट स्क्रैप कर सकता है।
क्रॉलर की पहुंच संभालने में WEMASY कैसे मदद करता है
WEMASY से आप 7 दिन के मुफ़्त ट्रायल के साथ अपनी वेबसाइट बनाना शुरू कर सकते हैं। ऊपर बताई तीनों परतों के हिसाब से तय करें कि आप ChatGPT के लिए क्या चाहते हैं, और फिर अपनी साइट पर वही सेट करें। WEMASY के प्लान देखें।
अक्सर पूछे जाने वाले सवाल
अगर मैं robots.txt में OAI-SearchBot को ब्लॉक करूं, तो क्या मेरा कंटेंट लिंक के ज़रिए फिर भी ChatGPT में दिख सकता है?
इसकी संभावना कम है। OAI-SearchBot ChatGPT का मुख्य सर्च क्रॉलर है। अगर वह ब्लॉक है, तो ChatGPT सर्च में आपकी मौजूदगी नहीं होगी। फिर भी अगर कोई दूसरा सिस्टम आपके कंटेंट का लिंक देता है, तो कोई अलग क्रॉलर उसे उठा सकता है। यह अनिश्चित है। WEMASY के वेबसाइट बिल्डर से आप अपनी वेबसाइट बना सकते हैं।
noai मेटा टैग असल में क्या करता है?
यह OpenAI को बताता है कि आपका कंटेंट उसके लैंग्वेज मॉडल की ट्रेनिंग में इस्तेमाल न हो। आपका कंटेंट फिर भी ChatGPT सर्च रिज़ल्ट में सिटेशन के साथ दिख सकता है। इस टैग के बिना OpenAI आपका कंटेंट ChatGPT और दूसरे मॉडल की ट्रेनिंग में इस्तेमाल कर सकता है।
अगर मैं ChatGPT में नहीं दिखना चाहता, तो क्या मुझे noindex इस्तेमाल करना चाहिए?
हां, लेकिन समझ लें कि यह क्या करता है: noindex सभी क्रॉलर (Google, Bing, ChatGPT आदि) को बताता है कि पेज को इंडेक्स न करें। इसे तब इस्तेमाल करें जब आप सभी सर्च रिज़ल्ट से छिपना चाहते हों। अगर आप सिर्फ़ ChatGPT से छिपना चाहते हैं लेकिन Google पर दिखते रहना चाहते हैं, तो noindex इस्तेमाल न करें। इसके बजाय robots.txt में OAI-SearchBot को ब्लॉक करें।
robots.txt या मेटा टैग के बदलाव लागू होने में कितना समय लगता है?
robots.txt के बदलाव आम तौर पर 24 घंटे के अंदर मान लिए जाते हैं। मेटा टैग के बदलाव तब माने जाते हैं जब क्रॉलर अगली बार पेज पर आता है। तुरंत टेस्ट करने के लिए आप Bing Webmaster Tools से जांच सकते हैं।
क्या मैं Google को अनुमति देकर सभी AI क्रॉलर को ब्लॉक कर सकता हूं?
हां। अपनी robots.txt में GPTBot, OAI-SearchBot, ChatGPT-User और दूसरे AI बॉट को डिसअलाउ करें और Googlebot और Bingbot को अनुमति दें। फिर भी इससे वे AI सिस्टम नहीं रुकते जो robots.txt नहीं मानते।
अगर मेरे क्रॉलर को X-Robots-Tag और robots.txt एक-दूसरे के उलट दिखें तो क्या होगा?
robots.txt पहले जांची जाती है। अगर robots.txt क्रॉलर को ब्लॉक करती है, तो वह पेज उठाता ही नहीं, इसलिए X-Robots-Tag कभी नहीं देखता। अगर robots.txt अनुमति देती है, तो X-Robots-Tag के डायरेक्टिव लागू होते हैं। पक्का करें कि दोनों एक जैसे हों।