सर्च इंजन तीन कदमों में काम करते हैं: क्रॉलिंग पेज खोजती है, इंडेक्सिंग उन्हें सहेजती है, और रैंकिंग हर क्वेरी के लिए सबसे प्रासंगिक नतीजे दिखाती है।
हर बार जब आप कुछ सर्च करते हैं, तो आप ऐसे सिस्टम का इस्तेमाल कर रहे होते हैं जो पहले ही लाखों पेज देख चुका है, उन्हें श्रेणियों में बाँट चुका है और तय कर चुका है कि आपके सवाल का सबसे अच्छा जवाब कौन-से पेज देते हैं। पर यह कैसे होता है? आपके क्वेरी टाइप करने और नतीजे वापस आने के बीच क्या चलता है?
सर्च इंजन के तीन काम हैं। वे इंटरनेट पर मौजूद पेज खोजते हैं। वे विश्लेषण करके सहेजते हैं कि वे पेज किस बारे में हैं। और जब कोई सर्च करता है, तो वे वे पेज लौटाते हैं जो व्यक्ति के ढूँढने की चीज़ से सबसे अच्छा मेल खाते हैं। इन तीन कदमों को क्रॉलिंग, इंडेक्सिंग और रैंकिंग कहते हैं।
क्रॉलिंग पेज कैसे खोजती है
सर्च इंजन किसी पेज को नतीजों में दिखा सके, इससे पहले उसे पता होना चाहिए कि पेज मौजूद है। यहीं क्रॉलिंग आती है। क्रॉलर (जिसे बॉट या स्पाइडर भी कहते हैं) ऑटोमेटेड प्रोग्राम है जो एक पेज से दूसरे पेज के लिंक फ़ॉलो करते हुए वेब पर घूमता है।
जब आप नई वेबसाइट लॉन्च करते हैं, तो वह अपने-आप सर्च नतीजों में नहीं दिखती। सर्च इंजन क्रॉलर को पहले उसे ढूँढना पड़ता है। क्रॉलर पेज दो तरीकों से खोजते हैं। वे उन पेजों के लिंक फ़ॉलो करते हैं जिन्हें वे पहले देख चुके हैं। अगर कोई दूसरी वेबसाइट आपके पेज को लिंक देती है, तो क्रॉलर उस लिंक को फ़ॉलो करके आखिरकार उसे ढूँढ लेगा। वे साइटमैप भी पढ़ते हैं, यानी ऐसी फ़ाइलें जिन्हें आप जमा कर सकते हैं और जो आपकी वेबसाइट के सभी पेज लिस्ट करती हैं। बेहतर क्रॉलिंग के लिए साइटमैप कैसे बनाएँ के बारे में और जानें।
जब क्रॉलर कोई पेज पाता है, तो वह उसे तुरंत रैंक नहीं करता या नतीजों में नहीं दिखाता। वह बस नोट करता है कि पेज मौजूद है। फिर क्रॉलर दूसरे पेजों पर चला जाता है, लगातार नए और अपडेट हुए पेज सर्च इंजन को वापस भेजता हुआ।
क्रॉल बजट मायने रखता है
सर्च इंजन की सीमाएँ होती हैं कि वे किसी भी समय आपकी वेबसाइट के कितने पेज क्रॉल कर सकते हैं। इसे क्रॉल बजट कहते हैं। हज़ारों पेज वाली बड़ी वेबसाइट के हर पेज को शायद एक ही हफ़्ते में क्रॉल न किया जाए। धीमी वेबसाइटें क्रॉल बजट बर्बाद करती हैं क्योंकि क्रॉलर आपकी साइट में आगे बढ़ने की जगह पेज लोड होने का इंतज़ार करने में समय लगाता है। तेज़, अच्छी तरह व्यवस्थित वेबसाइट क्रॉलर को पेजों से कुशलता से गुज़रने में मदद करती है।
इंडेक्सिंग पेज की जानकारी को कैसे व्यवस्थित करके सहेजती है
जब क्रॉलर कोई पेज पा लेता है, तो अगला कदम इंडेक्सिंग है। इंडेक्सिंग पेज का विश्लेषण करके उसके बारे में जानकारी विशाल डेटाबेस में सहेजने की प्रक्रिया है। इंडेक्सिंग को लाइब्रेरी कैटलॉग बनाने की तरह समझें। लाइब्रेरियन किताब को सिर्फ़ शेल्फ़ पर नहीं रखता। वह उसे पढ़ता है, विश्लेषण करता है कि वह किस बारे में है और ऐसी एंट्री बनाता है जो दूसरों को उसे बाद में ढूँढने में मदद करे।
जब कोई पेज इंडेक्स होता है, तो सर्च इंजन कंटेंट, हेडिंग, कीवर्ड और ढाँचे का विश्लेषण करता है। वह देखता है कि पेज कितनी तेज़ लोड होता है, मोबाइल डिवाइस पर काम करता है या नहीं और कौन-से दूसरे पेज उसे लिंक देते हैं। यह सारी जानकारी इंडेक्स में सहेजी जाती है।
हर पेज एक ही तरह इंडेक्स नहीं होता। कुछ पेज इंडेक्सिंग से बाहर रखे जा सकते हैं अगर वे robots.txt फ़ाइल से रोके गए हों या no-index टैग से चिह्नित हों। बहुत कम अनोखे कंटेंट वाले पेज या बहुत धीमे पेज भी इंडेक्स में शायद न आएँ। पेज क्रॉल हो सकता है पर इंडेक्स नहीं। इंडेक्सिंग की समस्याएँ बेहतर समझने के लिए कुछ पेज अच्छा रैंक क्यों नहीं करते पर हमारी गाइड देखें।
इंडेक्सिंग चरणों में होती है
पेज क्रॉल होने के बाद, वह सर्च नतीजों में तुरंत नहीं दिखता। इंडेक्सिंग में पेज और साइट के हिसाब से दिन या हफ़्ते लग सकते हैं। नए पेज शायद तेज़ इंडेक्स हों क्योंकि सर्च इंजन ताज़ा कंटेंट खोजना चाहते हैं। अच्छा कंटेंट छापने के लंबे इतिहास वाली साइटों के पेज अक्सर नई साइटों के पेजों से तेज़ इंडेक्स होते हैं।
रैंकिंग तय करती है कि कौन-से पेज पहले दिखें
जब कोई क्वेरी टाइप करता है, तो सर्च इंजन इंडेक्स के उन सभी पेजों को नहीं दिखाता जो उन शब्दों से मेल खाते हैं। इसकी जगह वह वे पेज लौटाता है जिन्हें वह सबसे प्रासंगिक, सबसे काम के और सबसे भरोसेमंद मानता है। यही रैंकिंग है। सर्च इंजन यह तय करने के लिए 200 से ज़्यादा अलग संकेत देखता है कि कौन-से पेज पहले हों, कौन-से दूसरे और कौन-से शायद दिखें ही नहीं।
उनमें से कुछ संकेत आपके पेज पर हैं। आप जो शब्द इस्तेमाल करते हैं, आप अपने कंटेंट का ढाँचा कैसे बनाते हैं, आपका पेज कितनी तेज़ लोड होता है और फ़ोन पर काम करता है या नहीं, ये सब आपकी रैंकिंग को प्रभावित करते हैं। दूसरे संकेत आपके पेज के बाहर से आते हैं। कितनी दूसरी साइटें आपके पेज को लिंक देती हैं, लोग पेज पाने पर उससे कैसे जुड़ते हैं और आपकी साइट की कुल प्रतिष्ठा, सब मायने रखते हैं।
एक अहम संकेत सर्च का इरादा है। अगर कोई "how to fix a leaky faucet" सर्च करता है, तो सर्च इंजन ऐसे पेज ढूँढता है जो समझाएँ कि यह कैसे करें, नल की मरम्मत के किट बेचने की कोशिश करने वाले पेज नहीं। सर्च इंजन ने सीखा है कि उस वाक्यांश को टाइप करते समय लोग असल में क्या चाहते हैं, और वह वे पेज लौटाता है जो उस इरादे से मेल खाते हैं। इस बारे में और जानने के लिए सर्च इंटेंट और लोग असल में क्या चाहते हैं के बारे में पढ़ें।
रैंकिंग लगातार बदलती रहती है
आपकी रैंकिंग की जगह तय नहीं है। सर्च इंजन अपने रैंकिंग एल्गोरिदम नियमित अपडेट करते हैं। कभी रैंकिंग इसलिए बदलती है कि सर्च इंजन अपने सिस्टम में बदलाव करता है। कभी इसलिए कि प्रतिस्पर्धी बेहतर कंटेंट छापते हैं। कभी आपका अपना पेज सुधरता है और ऊपर चला जाता है। समय के साथ अपनी जगह ट्रैक करने से समझ आता है कि आपकी SEO की कोशिशें काम कर रही हैं या नहीं। आपके प्रतिस्पर्धी ऊपर क्यों रैंक कर सकते हैं और आप इसके बारे में क्या कर सकते हैं, इसके बारे में और जानें।
पूरा चक्र
ये तीन कदम एक बार की घटनाएँ नहीं हैं। क्रॉलर बदलाव और नए कंटेंट की तलाश में बार-बार पेज देखते हैं। जब आप पेज अपडेट करते हैं, तो क्रॉलर वे अपडेट पाते हैं और पेज दोबारा इंडेक्स होता है। रैंकिंग एल्गोरिदम नए डेटा के आधार पर लगातार जगहें दोबारा निकालता है।
इस चक्र की रफ़्तार आपकी साइट की अथॉरिटी पर निर्भर करती है। अच्छे कंटेंट के लंबे इतिहास वाली स्थापित साइटों के पेज ज़्यादा बार क्रॉल और दोबारा इंडेक्स होते हैं। नई साइटों को बदलावों के नतीजों में दिखने के लिए शायद ज़्यादा इंतज़ार करना पड़े। इसीलिए SEO लंबे समय की कोशिश है। आप आज कोई पेज छापकर कल रैंक की उम्मीद नहीं कर सकते। नतीजों में दिखने से पहले सिस्टम को उसे खोजना, इंडेक्स करना और परखना पड़ता है। शुरुआती लोगों की पूरी रणनीति के लिए हमारा शुरुआती लोगों के लिए SEO प्लान फ़ॉलो करें।
अक्सर पूछे जाने वाले सवाल
सर्च इंजन मेरी वेबसाइट कितनी बार क्रॉल करते हैं?
कितनी बार, यह आपकी साइट की उम्र और अथॉरिटी पर निर्भर करता है। नई साइटें शायद हफ़्ते में एक बार या उससे कम क्रॉल हों। ज़्यादा ट्रैफ़िक वाली स्थापित साइटें दिन में कई बार क्रॉल होती हैं। आप अपने Google Search Console खाते में "Crawl Stats" रिपोर्ट के तहत क्रॉल गतिविधि देख सकते हैं। अगर आप चाहते हैं कि क्रॉलर अपडेट जल्दी नोटिस करें, तो URL सीधे Google Search Console को जमा करें। WEMASY वेबसाइट बिल्डर से आप अपनी वेबसाइट पर अपने पेज बना सकते हैं। यहाँ देखें: वेबसाइट बिल्डर।
क्या मैं अपना पेज जल्दी इंडेक्स करवा सकता हूँ?
हाँ, कुछ चीज़ें मदद करती हैं। Google Search Console को साइटमैप जमा करके पक्का करें कि आपका पेज खोजने लायक है। अपनी साइट की स्पीड सुधारें क्योंकि क्रॉलर इंतज़ार में कम और नए पेज खोजने में ज़्यादा समय लगाते हैं। अपने होमपेज या अपनी साइट के दूसरे ऊँची अथॉरिटी वाले पेजों से नए पेजों को लिंक दें। और नियमित ताज़ा कंटेंट छापें ताकि सर्च इंजन आपकी साइट ज़्यादा बार जाँचें।
क्रॉलिंग और इंडेक्सिंग में क्या फ़र्क है?
क्रॉलिंग तब है जब सर्च इंजन किसी पेज पर जाकर उसे पढ़ता है। इंडेक्सिंग तब है जब सर्च इंजन उस पेज की जानकारी सहेजता है ताकि उसे बाद में सर्च नतीजे के रूप में लौटाया जा सके। पेज क्रॉल हो सकता है पर इंडेक्स नहीं, अगर उसमें बहुत कम अनोखा कंटेंट है या आप सर्च इंजन को उसे इंडेक्स न करने को कहते हैं।
क्या साइटमैप गारंटी देता है कि मेरे पेज इंडेक्स होंगे?
नहीं। साइटमैप क्रॉलर को आपके पेज जल्दी ढूँढने में मदद करता है, पर वह Google को उन्हें इंडेक्स करने के लिए मजबूर नहीं करता। सर्च इंजन फिर भी तय करता है कि हर पेज काम का है और इंडेक्स में सहेजने लायक है या नहीं। साइटमैप मददगार है पर गारंटी नहीं।
क्या मैं अपने पेज को इंडेक्स होने से रोक सकता हूँ?
हाँ। आप पेज के हेडर में no-index टैग जोड़ सकते हैं, जो सर्च इंजन को नतीजों में शामिल न करने को कहता है। आप robots.txt से पूरी क्रॉलिंग भी रोक सकते हैं। पर इसमें सावधान रहें क्योंकि इसका मतलब है कि आपका पेज सर्च नतीजों में नहीं दिखेगा, भले वह बाकी तरह अच्छा कंटेंट हो जिसे लोग ढूँढना चाहते हैं।
क्या मोबाइल और डेस्कटॉप वर्शन अलग इंडेक्स होते हैं?
सर्च इंजन अब मोबाइल-फ़र्स्ट इंडेक्सिंग इस्तेमाल करते हैं, जिसका मतलब है कि वे मुख्य रूप से आपके पेज का मोबाइल वर्शन इंडेक्स और रैंक करने के लिए इस्तेमाल करते हैं। अगर आपके मोबाइल पेज में वह कंटेंट गायब है जो डेस्कटॉप वर्शन में है, तो वह गायब कंटेंट इंडेक्स नहीं होगा। पक्का करें कि आपकी मोबाइल साइट में डेस्कटॉप वर्शन जितनी ही क्वालिटी और कंटेंट हो।