robots.txt क्या है और यह सर्च इंजन की क्रॉलिंग को कैसे नियंत्रित करता है?

सर्च इंजन लगातार आपकी साइट क्रॉल करते हैं, लिंक फ़ॉलो करते और पेज इंडेक्स करते हैं। पर हर पेज इंडेक्स होने लायक नहीं होता। आपके पास निजी पेज, एडमिन एरिया, टेस्ट पेज और डुप्लिकेट पेज होते हैं जो क्रॉल बजट बर्बाद करते हैं। Robots.txt एक सादी टेक्स्ट फ़ाइल है जो सर्च इंजन को बताती है कि वे कौन-से पेज क्रॉल कर सकते हैं और कौन-से नहीं। यह आपकी साइट और सर्च इंजन बॉट के बीच का द्वारपाल है।

Robots.txt सादी टेक्स्ट फ़ाइल है जो आपकी वेबसाइट की रूट डायरेक्टरी (yoursite.com/robots.txt) में रहती है। उसमें सर्च इंजन क्रॉलर के लिए निर्देश होते हैं कि आपकी साइट के कौन-से पेज और सेक्शन क्रॉल करने की इजाज़त है। robots.txt तक पहुँचने के लिए लॉगिन की ज़रूरत नहीं। वह सार्वजनिक है। कोई भी yoursite.com/robots.txt पर जाकर आपके निर्देश देख सकता है।

सर्च इंजन से उम्मीद है कि वे robots.txt के नियम मानें। ज़्यादातर मानते हैं। कुछ नहीं मानते। अच्छे बर्ताव वाले क्रॉलर (Google, Bing, भरोसेमंद सर्च इंजन) robots.txt का सम्मान करते हैं। बुरे इरादे वाले और हानिकारक बॉट अक्सर उसे अनदेखा करते हैं।

robots.txt कैसा दिखता है?

सादी robots.txt फ़ाइल ऐसी दिखती है:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml

यह सभी बॉट (User-agent: *) को बताता है कि वे /admin/ या /private/ सेक्शन क्रॉल नहीं कर सकते। यह /blog/ को साफ़ इजाज़त देता है (जो काम का है अगर कोई पैरेंट फ़ोल्डर रोका गया हो)। यह बॉट को आपके साइटमैप की ओर भी इशारा करता है।

ज़्यादा खास नियमों वाला एक और उदाहरण यह है:

User-agent: Googlebot
Disallow: /temp/

User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5

यह सिर्फ़ Google के क्रॉलर को /temp/ से रोकता है। बाकी सभी बॉट /test/ और सभी PDF फ़ाइलों से रोके जाते हैं। crawl-delay बॉट को अनुरोधों के बीच 5 सेकंड इंतज़ार करने को कहता है।

robots.txt SEO में कैसे मदद करता है

Robots.txt SEO में एक मुख्य तरीके से मदद करता है: यह क्रॉल बजट बचाता है। सर्च इंजन हर साइट को सीमित क्रॉल बजट देते हैं। छोटी साइटों के लिए क्रॉल बजट शायद ही कभी समस्या होती है। हज़ारों पेज वाली बड़ी साइटों के लिए क्रॉल बजट मायने रखता है।

अगर आपकी साइट के 10,000 पेज हैं पर सिर्फ़ 500 ज़रूरी हैं, तो आप चाहते हैं कि बॉट अपना क्रॉल बजट सभी 10,000 पेजों में फैलाने की जगह उन 500 ज़रूरी पेजों को कई बार क्रॉल करें। Robots.txt बॉट को गैर-ज़रूरी पेजों पर समय बर्बाद करने से रोकता है।

रोकने के आम पेज: एडमिन एरिया, लॉगिन पेज, धन्यवाद पेज, टेस्ट पेज, डुप्लिकेट कंटेंट, सेशन पेज और अस्थायी कंटेंट। इन पेजों को रोकना बॉट को उस कंटेंट पर ध्यान देने को कहता है जो मायने रखता है।

robots.txt में क्या नहीं रोकना चाहिए

जिन पेजों को आप रैंक कराना चाहते हैं उन्हें न रोकें। अपना ब्लॉग सेक्शन या मुख्य कंटेंट एरिया न रोकें। पेज ठीक से रेंडर करने के लिए ज़रूरी CSS, JavaScript या इमेज फ़ाइलें न रोकें (जब तक आप खास तौर पर इंडेक्सिंग रोकना न चाहें)।

Google सलाह देता है कि CSS, JavaScript और इमेज फ़ाइलें न रोकें, भले आप उन्हें इंडेक्स न कराना चाहें। इन संसाधनों को रोकने से Google आपके पेज ठीक से रेंडर करने और समझने में चूक सकता है।

संवेदनशील जानकारी छिपाने के लिए robots.txt इस्तेमाल न करें। Robots.txt सार्वजनिक है। कोई भी yoursite.com/robots.txt पढ़ सकता है। अगर आप सच में कुछ छिपाना चाहते हैं, तो पासवर्ड सुरक्षा या सर्वर प्रमाणीकरण इस्तेमाल करें, robots.txt नहीं।

robots.txt फ़ाइल कैसे बनाएँ

robots.txt बनाना सरल है। यह सादी टेक्स्ट फ़ाइल है। ज़्यादातर वेबसाइट बिल्डर और CMS प्लेटफ़ॉर्म अपने-आप एक बना देते हैं।

अगर आपके CMS ने नहीं बनाई, तो हाथ से बनाएँ। टेक्स्ट एडिटर खोलें। अपने नियम लिखें। उसे "robots.txt" के नाम से सेव करें ("robots.txt.txt" नहीं)। उसे अपनी साइट की रूट डायरेक्टरी (yoursite.com/robots.txt) में अपलोड करें।

अपनी robots.txt फ़ाइल टेस्ट करें। Google Search Console में जाएँ, अपनी प्रॉपर्टी चुनें, Robots.txt Tester टूल पर जाएँ और अपने नियम पेस्ट करें। Google आपको दिखाएगा कि फ़ाइल क्या रोकती है और क्या इजाज़त देती है। इससे पक्का होता है कि आपके नियम इरादे के मुताबिक काम करते हैं।

आम robots.txt नियम और उदाहरण

यह सबसे आम नियम है: सभी बॉट को किसी खास डायरेक्टरी से रोकना।

User-agent: *
Disallow: /admin/

किसी खास फ़ाइल प्रकार (जैसे PDF) को रोकने का तरीका यह है:

User-agent: *
Disallow: /*.pdf

Google को छोड़कर सभी बॉट को रोकने का तरीका यह है:

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

क्रॉल डिले जोड़ने का तरीका (अनुरोधों के बीच X सेकंड इंतज़ार) यह है:

User-agent: *
Crawl-delay: 10

बॉट को अपने साइटमैप की ओर इशारा करने का तरीका यह है:

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml

robots.txt की ज़रूरी सीमाएँ

Robots.txt सुरक्षा का टूल नहीं है। यह शिष्टाचार की व्यवस्था है। बुरे बॉट, हैकर और हानिकारक क्रॉलर robots.txt को पूरी तरह अनदेखा करते हैं। संवेदनशील डेटा छिपाने या ज़रूरी पेजों की सुरक्षा के लिए इसे इस्तेमाल न करें। उनके लिए पासवर्ड सुरक्षा इस्तेमाल करें।

Robots.txt सर्च नतीजों से बाहर रहने की गारंटी नहीं देता। Google कभी-कभी robots.txt में लिस्ट पेजों को इंडेक्स कर लेता है अगर वे दूसरे इंडेक्स पेजों से लिंक हैं। रोक क्रॉलिंग रोकती है, पर इंडेक्सिंग नहीं अगर पेज कहीं और लिंक है।

Robots.txt noindex नहीं है। अगर आप इंडेक्सिंग पूरी तरह रोकना चाहते हैं, तो robots मेटा टैग या X-Robots-Tag हेडर इस्तेमाल करें, robots.txt नहीं। Robots.txt सिर्फ़ क्रॉलिंग नियंत्रित करता है, इंडेक्सिंग नहीं।

अक्सर पूछे जाने वाले सवाल