क्या आपने अपनी वेबसाइट ऑनलाइन खोजी और वह नतीजों में कहीं नहीं मिली? अगर आपकी वेबसाइट Google या किसी और सर्च इंजन पर नहीं दिख रही, तो वजह लगभग हमेशा इंडेक्सिंग की कुछ जानी-पहचानी दिक़्क़तों में से एक होती है, और उनमें से ज़्यादातर बिना किसी तकनीकी पृष्ठभूमि के ठीक हो सकती हैं। यह लेख बताता है कि साइट का सर्च रिज़ल्ट में न दिखना क्या है, सबसे आम वजहें क्या हैं, अपनी मौजूदा इंडेक्सिंग स्थिति कैसे जाँचें और पेजों को दिखाने के लिए क्या करें।
इस समस्या को ट्रैफ़िक के बड़े सवाल से अलग रखना ज़रूरी है। सर्च रिज़ल्ट में बिल्कुल न दिखना, यानी अपने ब्रांड का नाम खोजने पर भी आपके डोमेन का कोई नतीजा न मिलना, इंडेक्सिंग की समस्या है। इसका मतलब है कि सर्च इंजन ने या तो अभी आपकी साइट क्रॉल नहीं की, या उसे बताया गया है कि उसे शामिल न करे। यह इंडेक्स होने पर भी मुक़ाबले वाले शब्दों पर अच्छी रैंक न मिलने से अलग है। दोनों का नतीजा ट्रैफ़िक न मिलना है, पर उनकी वजहें और हल अलग हैं।
वेबसाइट के सर्च रिज़ल्ट में न दिखने का मतलब क्या है
सर्च इंजन दो चरणों में काम करते हैं। पहले, एक क्रॉलर आपकी साइट पर आकर उसके पेज पढ़ता है। दूसरा, उन पेजों को इंडेक्स में जोड़ा जाता है, जो वेब कंटेंट का बहुत बड़ा डेटाबेस है जिससे सर्च इंजन तब खींचता है जब कोई सर्च करता है। अगर आपकी साइट सर्च रिज़ल्ट में बिल्कुल नहीं दिखती, तो इन तीन में से कुछ हो रहा है: क्रॉलर अभी आपकी साइट पर आया ही नहीं, क्रॉलर आया पर किसी चीज़ ने उसे आपके पेज पढ़ने से रोक दिया, या पेज क्रॉल हुए पर उन्हें इंडेक्स में शामिल होने के लायक़ नहीं माना गया।
इंडेक्स न होने और रैंक न करने के बीच का फ़र्क़ इसलिए मायने रखता है कि हल पूरी तरह अलग हैं। जो साइट इंडेक्स नहीं है, उसे क्रॉलर के लिए पहुँच में लाना और शामिल होने के लिए सबमिट करना होगा। जो साइट इंडेक्स है पर रैंक नहीं करती, उसे बेहतर कंटेंट, ज़्यादा प्रासंगिक कीवर्ड और उसकी ओर इशारा करते बाहरी लिंक चाहिए। रैंकिंग की समस्या को इंडेक्सिंग की समस्या की तरह, या उल्टा, समझना समय बर्बाद करता है और कोई नतीजा नहीं देता। पहला क़दम हमेशा यह पक्का करना है कि आप असल में किस स्थिति में हैं।
आपकी वेबसाइट सर्च रिज़ल्ट में क्यों नहीं दिख रही
किसी भी ऐसी साइट को देखें जो हाल में लॉन्च हुई हो या जिसका सर्च ट्रैफ़िक हाल में आना बंद हुआ हो, तो समस्या के पीछे आपको इन पाँच वजहों में से एक मिलेगी। ये सभी बड़े सर्च इंजन पर लागू होती हैं, क्योंकि क्रॉलिंग और इंडेक्सिंग का बुनियादी तरीक़ा इस पर निर्भर नहीं करता कि आप कौन-सा सर्च इंजन देख रहे हैं।
आपकी वेबसाइट अभी क्रॉल नहीं हुई है
सर्च इंजन क्रॉलर इंटरनेट की हर वेबसाइट पर उसी समय नहीं जाते। वे एक पेज से दूसरे पेज के लिंक फ़ॉलो करते हैं और इस आधार पर दोबारा आने का समय तय करते हैं कि साइट कितनी बार नया कंटेंट छापती है और कितनी दूसरी साइट उससे जुड़ती हैं। बिल्कुल नई वेबसाइट, जिसकी ओर कोई बाहरी लिंक नहीं है और जिसका कोई साइटमैप सबमिट नहीं हुआ, लॉन्च के बाद हफ़्तों या महीनों तक क्रॉल न हो, यह हो सकता है।
नई साइट के सर्च रिज़ल्ट में न दिखने की यह सबसे आम वजह है, और सबसे बेज़रर भी। साइट में कुछ ग़लत नहीं है। क्रॉलर बस अभी वहाँ पहुँचा नहीं। सर्च इंजन के वेबमास्टर टूल से साइटमैप सबमिट करने पर यह इंतज़ार काफ़ी कम हो जाता है, क्योंकि इससे सर्च इंजन को सीधे बता दिया जाता है कि आपकी साइट है और उसके पेज कहाँ हैं।
आपकी साइट सर्च इंजन को रोकने के लिए सेट है
हर वेबसाइट में robots.txt नाम की फ़ाइल होती है जो क्रॉलर को बताती है कि वे किस तक पहुँच सकते हैं और किस तक नहीं। डेवलपमेंट और स्टेजिंग के दौरान इस फ़ाइल में ऐसा नियम जोड़ना आम तरीक़ा है जो सारे क्रॉलर को रोक देता है। इससे अधूरे बने पेज साइट तैयार होने से पहले सर्च रिज़ल्ट में नहीं आते। दिक़्क़त यह है कि यह सेटिंग कभी-कभी साइट लॉन्च होने पर भी वहीं रह जाती है।
जिस robots.txt फ़ाइल में User-agent: * के नीचे Disallow: / की लाइन है, उसका मतलब है कि हर सर्च इंजन क्रॉलर आपकी साइट के हर पेज से रोका गया है। बाहर से साइट बिल्कुल सामान्य दिखती है। साइट पर आने वाले इंसान को सब ठीक दिखता है। लेकिन कोई क्रॉलर अंदर नहीं आ सकता, यानी कोई पेज इंडेक्स नहीं होता, यानी सर्च से कोई ट्रैफ़िक नहीं। साइट के सर्च रिज़ल्ट में न दिखने की यह सबसे असरदार और सबसे आसानी से छूट जाने वाली वजहों में से एक है।
अपना robots.txt ब्राउज़र में yourdomain.com/robots.txt खोलकर जाँचें। अगर उसमें सब कुछ रोकने वाले नियम हैं, तो उन्हें हटाएँ या क्रॉलिंग की इजाज़त देने के लिए अपडेट करें, फिर नया क्रॉल शुरू कराने के लिए अपना साइटमैप दोबारा सबमिट करें।
अलग-अलग पेजों पर noindex का निर्देश है
साइट भर के robots.txt के अलावा, अलग-अलग पेज अपने HTML में ऐसे निर्देश रख सकते हैं जो सर्च इंजन को बताते हैं कि उन्हें इंडेक्स में शामिल न करे। इसे noindex टैग कहा जाता है।
noindex टैग उन पेजों पर जायज़ तरीक़े से इस्तेमाल होते हैं जिन्हें सर्च रिज़ल्ट में नहीं आना चाहिए, जैसे लॉगिन पेज, चेकआउट कन्फ़र्मेशन पेज और इंटरनल सर्च रिज़ल्ट पेज। समस्या तब होती है जब वे ग़लती से पेजों पर लग जाते हैं। यह साइट माइग्रेशन, प्लेटफ़ॉर्म बदलने के दौरान या उन टेम्पलेट से पेज बनाते समय होता है जिनमें noindex डिफ़ॉल्ट रूप से सेट था। आपके होमपेज या ख़ास सर्विस पेजों पर noindex टैग उन पेजों को सर्च रिज़ल्ट में आने से पूरी तरह रोक देगा, चाहे कंटेंट कितना भी अच्छा हो या उनकी ओर कितने भी लिंक जाते हों।
अनजाने में लगे noindex टैग जाँचने के लिए या तो हर पेज का सोर्स कोड देखना पड़ता है, या साइट को ऐसे क्रॉल टूल से चलाना पड़ता है जो इस निर्देश वाले पेजों को चिह्नित करे।
आपकी वेबसाइट की ओर कोई बाहरी लिंक नहीं जाता
क्रॉलर लिंक फ़ॉलो करके पेज खोजते हैं। जिस वेबसाइट की ओर कोई बाहरी लिंक नहीं है, यानी इंटरनेट की कोई और साइट उससे नहीं जुड़ती, वह एक टापू है। क्रॉलर वहाँ तभी पहुँचता है जब साइटमैप सीधे सबमिट किया गया हो या पिछली किसी विज़िट से URL पहले ही उसकी कतार में हो। बहुत नई साइट के लिए किसी भी बाहरी लिंक का न होना खोज और इंडेक्सिंग की प्रक्रिया को काफ़ी धीमा कर देता है।
बाहरी लिंक साख के संकेत का भी काम करते हैं। जिस साइट की ओर किसी भरोसेमंद स्रोत से कोई लिंक नहीं है, वह सर्च इंजन की नज़र में ऐसी चीज़ लगती है जिसे इंडेक्स करना शायद ज़रूरी ही न हो। इसका मतलब यह नहीं कि साइट के सर्च रिज़ल्ट में आने से पहले आपको सैकड़ों लिंक चाहिए। प्रासंगिक, भरोसेमंद स्रोतों से एक-दो लिंक भी नए डोमेन के लिए असली फ़र्क़ ला सकते हैं। यह समस्या हर स्रोत से आने वाले ट्रैफ़िक पर कैसे असर डालती है, इसकी बड़ी तस्वीर के लिए आपकी वेबसाइट पर ट्रैफ़िक क्यों नहीं आ रहा वाला लेख देखें।
आपकी वेबसाइट हाल में लॉन्च हुई है
सब कुछ सही कॉन्फ़िगर होने पर भी नई वेबसाइट को सर्च रिज़ल्ट में दिखने में समय लगता है। क्रॉल का चक्र, इंडेक्सिंग की प्रक्रिया और शुरुआती रैंकिंग का आकलन, सबमें समय लगता है। जो साइट आज साफ़ robots.txt, सबमिट किए साइटमैप, सही मेटा टैग और कुछ बाहरी लिंक के साथ लॉन्च होती है, उसके पेजों को भी किसी क्वेरी पर सर्च रिज़ल्ट में दिखने में चार से बारह हफ़्ते लग सकते हैं।
यह ख़राबी नहीं है। यह सामान्य क्रम है। समयसीमा घटाई जा सकती है पर ख़त्म नहीं की जा सकती। सबसे बुरा नतीजा यह है कि इस इंतज़ार में ऐसे बदलाव कर दिए जाएँ जो सच में दिक़्क़तें बना दें, और फिर पता न चले कि नतीजों से लगातार ग़ायब रहना पुरानी देरी है या बदलावों से आई नई समस्या।
कैसे जाँचें कि आपकी वेबसाइट इंडेक्स है या नहीं
इंडेक्सिंग की स्थिति जाँचने का सबसे तेज़ तरीक़ा है किसी भी बड़े सर्च इंजन में site: ऑपरेटर से अपना डोमेन खोजना। सर्च बार में site:yourdomain.com टाइप करें और एंटर दबाएँ। अगर आपकी साइट के पेज नतीजों में दिखते हैं, तो आपकी साइट इंडेक्स है। अगर कुछ नहीं दिखता, तो आपकी साइट या तो इंडेक्स नहीं है या सिर्फ़ आंशिक रूप से इंडेक्स है।
ज़्यादा ब्योरेवार जाँच सर्च इंजन के वेबमास्टर टूल से हो सकती है। ये प्लेटफ़ॉर्म आपको ठीक-ठीक दिखाते हैं कि कौन-से पेज इंडेक्स हुए हैं, कौन-से क्रॉल हुए पर इंडेक्स नहीं हुए, कौन-से robots.txt या noindex टैग से रोके गए हैं और किनमें क्रॉल एरर हैं। इन टूल की कवरेज रिपोर्ट आपकी इंडेक्सिंग स्थिति की पूरी तस्वीर पाने का सबसे भरोसेमंद तरीक़ा है। यह आपकी साइट के ख़िलाफ़ की गई किसी भी मैन्युअल कार्रवाई को भी दिखाती है, जो सर्च रिज़ल्ट में न दिखने की कम आम पर ज़्यादा गंभीर वजह है।
सर्च इंजन के वेबमास्टर टूल आपको ख़ास URL के लिए इंडेक्सिंग माँगने भी देते हैं, जिससे नए छपे पेजों या हाल में ठीक किए गए उन पेजों के लिए प्रक्रिया तेज़ हो सकती है जो पहले रुके हुए थे।
अपनी वेबसाइट को इंडेक्स कैसे कराएँ
एक बार वजह पहचान लेने के बाद क़दम सीधे हैं। ज़्यादातर इंडेक्सिंग की समस्याओं का सीधा हल होता है, और बदलाव करने के कुछ हफ़्तों में आम तौर पर नतीजे दिखने लगते हैं।
साइटमैप सबमिट करें
साइटमैप एक फ़ाइल है, आम तौर पर XML फ़ॉर्मेट में, जो उन सभी पेजों की सूची देती है जिन्हें आप सर्च इंजन से इंडेक्स कराना चाहते हैं। इसे वेबमास्टर टूल से सबमिट करना सर्च इंजन को यह बताने का सबसे सीधा तरीक़ा है कि आपकी साइट है और क्रॉल शुरू करवाने का भी। अगर आपकी साइट पहले ही क्रॉल हो चुकी है पर कुछ पेज इंडेक्स में नहीं हैं, तो साइटमैप सबमिशन उन पेजों को समीक्षा के लिए सामने लाने में मदद कर सकता है।
देखें कि आपका प्लेटफ़ॉर्म साइटमैप अपने आप बनाता है और नए पेज छपने पर उसे अपडेट करता है या नहीं। अगर हाँ, तो साइटमैप URL (आम तौर पर yourdomain.com/sitemap.xml) जाँचें और उसे वेबमास्टर टूल से सबमिट करें। कंटेंट अपडेट आपकी साइट की सेहत और दिखने पर कैसे असर डालते हैं, इसके बारे में और जानने के लिए अपनी वेबसाइट का कंटेंट कैसे अपडेट करें वाला लेख देखें।
क्रॉल की रोक हटाएँ
अगर आपकी robots.txt फ़ाइल क्रॉलर को रोक रही है, तो पहुँच की इजाज़त देने के लिए उसे अपडेट करें। बदलाव अगली बार क्रॉलर के आने पर लागू होता है। robots.txt अपडेट करने के बाद वेबमास्टर टूल से नया क्रॉल माँगें, ताकि अगली तय विज़िट का इंतज़ार किए बिना बदलाव जल्दी पकड़ा जाए।
अगर अलग-अलग पेजों पर ऐसे noindex टैग हैं जो नहीं होने चाहिए, तो उन टैग को हटाएँ और वेबमास्टर टूल से उन पेजों के दोबारा इंडेक्स होने की माँग करें। जिन पेजों को इंडेक्स नहीं होना चाहिए, जैसे एडमिन पेज, दोहराया कंटेंट और कम काम के पेज, उन पर noindex टैग लगे रहने दें।
कम से कम कुछ बाहरी लिंक बनाएँ
अपनी साइट की ओर इशारा करते थोड़े-से बाहरी लिंक भी दो तरह से मदद करते हैं: वे क्रॉलर को लिंक फ़ॉलो करने के सामान्य तरीक़े से आपके पेज खोजने का रास्ता देते हैं, और सर्च इंजन को संकेत देते हैं कि आपकी साइट वेब पर असली, सक्रिय मौजूदगी है। सबसे आसान स्रोतों से शुरू करें: प्रासंगिक डायरेक्टरी, पेशेवर एसोसिएशन, पार्टनर, सप्लायर या आपके क्षेत्र के प्रकाशन जो उन ब्रांड को लिंक करते हैं जिनका वे ज़िक्र करते हैं।
साइट के सर्च रिज़ल्ट में आने से पहले आपको दर्जनों लिंक बनाने की ज़रूरत नहीं है। नए डोमेन के लिए मुट्ठी भर प्रासंगिक, भरोसेमंद लिंक क्रॉलिंग और इंडेक्सिंग की प्रक्रिया को सामान्य रूप से चलाने के लिए काफ़ी हैं।
टूटे पेज ठीक करें
जो पेज एरर कोड लौटाते हैं, ख़ासकर उन पेजों के लिए 404 एरर जो अब मौजूद नहीं हैं, वे अगर बहुत सारे हों तो क्रॉलर को डोमेन की प्राथमिकता घटाने की वजह दे सकते हैं। हटाए गए पेजों की ओर जाने वाले इंटरनल लिंक ठीक करें, पुराने URL से सही मंज़िल वाले पेजों पर रीडायरेक्ट लगाएँ और अपनी साइट पर एरर लौटाने वाले किसी भी पेज को जाँचें। 404 एरर कैसे काम करते हैं और उन्हें कैसे ठीक करें, इसकी पूरी जानकारी के लिए 404 एरर क्या है और इसे कैसे ठीक करें वाला लेख देखें। टूटे लिंक की जुड़ी समस्या के लिए टूटे लिंक क्या हैं और वे आपकी साइट को कैसे नुक़सान पहुँचाते हैं वाला लेख देखें।
WEMASY इंडेक्सिंग कैसे संभालता है
WEMASY हर साइट के लिए साइटमैप अपने आप बनाता है और पेज छपने पर उसे अपडेट करता है। robots.txt की सेटिंग प्लेटफ़ॉर्म सेटिंग से पहुँच में है, इसलिए डेवलपमेंट मोड की क्रॉल रोक लॉन्च के बाद चालू रह जाने का जोखिम नहीं है। हर पेज में मेटा टैग कंट्रोल शामिल हैं, जिनमें ज़रूरत पड़ने पर अलग-अलग पेजों पर noindex सेट करने की सुविधा भी है, सीधे पेज एडिटर में, कोड छुए बिना।
जो ब्रांड अपनी इंडेक्सिंग स्थिति पर नज़र रखना चाहते हैं, उनके लिए WEMASY का एनालिटिक्स इंटीग्रेशन सर्च इंजन का डेटा सामने लाता है, ताकि आप देख सकें कि किन पेजों को ऑर्गेनिक ट्रैफ़िक मिल रहा है और वे पेज पहचान सकें जो इंडेक्स हैं पर अभी विज़िटर नहीं भेज रहे।
क्या शामिल है यह WEMASY वेबसाइट बिल्डर पर देखें, या प्राइसिंग पेज पर प्लान के विकल्प देखें।
अक्सर पूछे जाने वाले सवाल
वेबसाइट को सर्च रिज़ल्ट में दिखने में कितना समय लगता है?
जिस नई साइट का साइटमैप सबमिट है और जिस पर क्रॉल की कोई रोक नहीं, उसकी शुरुआती इंडेक्सिंग में आम तौर पर एक से चार हफ़्ते लगते हैं। सारे पेजों की पूरी इंडेक्सिंग और चुने हुए कीवर्ड पर रैंकिंग की शुरुआत में आम तौर पर तीन से छह महीने लगते हैं। जिन साइट की ओर ज़्यादा बाहरी लिंक जाते हैं, उन्हें ज़्यादा बार क्रॉल किया जाता है और वे जल्दी इंडेक्स होती हैं। WEMASY के वेबसाइट बिल्डर से आप इसे सीधे अपनी वेबसाइट पर सेट कर सकते हैं।
इंडेक्स होने और सर्च रिज़ल्ट में रैंक करने में क्या फ़र्क़ है?
इंडेक्स होने का मतलब है कि आपका पेज सर्च इंजन के डेटाबेस में है और रिज़ल्ट में दिखने के योग्य है। रैंकिंग का मतलब है कि जब कोई प्रासंगिक शब्द खोजता है तो आपका पेज कहाँ दिखता है। कोई पेज इंडेक्स हो सकता है पर पेज 10 पर रैंक करे, जहाँ उसे कोई काम का ट्रैफ़िक नहीं मिलता। इंडेक्सिंग रैंकिंग की पूर्व शर्त है, पर अकेली इंडेक्सिंग दिखने की गारंटी नहीं देती।
मुझे कैसे पता चलेगा कि मेरी वेबसाइट इंडेक्स है?
किसी भी बड़े सर्च इंजन में site:yourdomain.com खोजें। अगर आपकी साइट के पेज नतीजों में दिखते हैं, तो आपकी साइट इंडेक्स है। कौन-से पेज इंडेक्स हैं, कौन-से रुके हैं और किनमें एरर हैं, इसके ज़्यादा ब्योरेवार हिसाब के लिए सर्च इंजन के वेबमास्टर टूल इस्तेमाल करें। वहाँ की कवरेज रिपोर्ट पूरी तस्वीर देती है।
क्या noindex टैग ग़लती से किसी पेज पर आ सकता है?
हाँ। noindex टैग साइट माइग्रेशन, प्लेटफ़ॉर्म बदलने के दौरान या उन टेम्पलेट से पेज बनाते समय ग़लती से जुड़ सकते हैं जिनमें टैग डिफ़ॉल्ट रूप से सेट था। यह पकड़ना ज़्यादा मुश्किल समस्याओं में से एक है, क्योंकि विज़िटर को पेज बिल्कुल सामान्य दिखता है। सिर्फ़ क्रॉलर या पेज का सोर्स कोड देखने वाला कोई व्यक्ति इसे नोटिस करेगा। पूरी साइट में ग़लती से लगे noindex टैग खोजने का सबसे भरोसेमंद तरीक़ा क्रॉल ऑडिट चलाना है।
क्या robots.txt की रोक ठीक करने से इंडेक्सिंग तुरंत ठीक हो जाती है?
तुरंत नहीं। क्रॉल की रोक हटाने के बाद आपको अगले क्रॉल के होने का इंतज़ार करना पड़ता है। वेबमास्टर टूल से अपना साइटमैप सबमिट करने और क्रॉल माँगने से यह काफ़ी तेज़ हो जाता है। ज़्यादातर मामलों में क्रॉलर माँग के कुछ दिन से एक हफ़्ते के भीतर आ जाते हैं। पेज क्रॉल और प्रोसेस होने के बाद रिज़ल्ट में दिखना शुरू होते हैं, जिसमें उसके बाद कुछ और दिन लग सकते हैं।
मेरी साइट पहले दिख रही थी पर सर्च रिज़ल्ट से ग़ायब हो गई है। क्या हुआ?
जो साइट पहले इंडेक्स थी और रिज़ल्ट से ग़ायब हो गई, वह उस नई साइट से अलग स्थिति है जो कभी इंडेक्स ही नहीं हुई। आम वजहें हैं robots.txt में बदलाव जिससे क्रॉल की रोक लग गई, ग़लती से जुड़ा noindex टैग, नीति उल्लंघन के लिए सर्च इंजन की मैन्युअल कार्रवाई, साइट की क्वालिटी के संकेतों में बड़ी गिरावट, या डोमेन की मियाद ख़त्म होकर दोबारा रजिस्टर होना जिससे साख रीसेट हो गई। पहले वेबमास्टर टूल में मैन्युअल कार्रवाई और कवरेज एरर जाँचें, क्योंकि इनसे सबसे गंभीर वजहें तुरंत पता चल जाती हैं।