सर्च इंजन बॉट आपकी साइट पर लगातार आते हैं। वे पेज क्रॉल करते हैं, लिंक फ़ॉलो करते हैं और अपडेट जाँचते हैं। पर आप यह गतिविधि Google Search Console में नहीं देख सकते। आप इसे सिर्फ़ अपने सर्वर लॉग में देख सकते हैं। सर्वर लॉग आपके सर्वर पर हर अनुरोध दर्ज करते हैं, जिसमें यह शामिल है कि किस बॉट ने किया, कौन-सा पेज क्रॉल किया, कितना समय लगा और क्या रिस्पॉन्स कोड मिला। लॉग विश्लेषण दिखाता है कि सर्च इंजन आपकी साइट के साथ असल में कैसा बर्ताव करते हैं।
सर्वर लॉग क्या हैं?
सर्वर लॉग आपके वेब सर्वर पर हर अनुरोध के रिकॉर्ड हैं। हर लाइन एक अनुरोध दिखाती है। लॉग विज़िटर का IP पता, उन्होंने क्या माँगा, कब माँगा, सर्वर ने कौन-सा रिस्पॉन्स कोड लौटाया और कितना डेटा भेजा गया, यह दिखाता है।
हर होस्टिंग प्रोवाइडर सर्वर लॉग रखता है। आप उन्हें अपने होस्टिंग कंट्रोल पैनल या FTP से देख सकते हैं। आम लॉग फ़ॉर्मेट में Apache एक्सेस लॉग और Nginx लॉग शामिल हैं। ज़्यादातर होस्टिंग प्रोवाइडर आपको विश्लेषण के लिए लॉग डाउनलोड करने देते हैं।
लॉग फ़ाइलें विशाल हो सकती हैं। व्यस्त साइट रोज़ गीगाबाइट के लॉग बनाती है। उनका विश्लेषण करने के लिए टूल चाहिए। आप लाखों लॉग एंट्री हाथ से नहीं पढ़ सकते।
क्रॉलर यूज़र-एजेंट को समझना
हर बॉट यूज़र-एजेंट स्ट्रिंग से अपनी पहचान बताता है। Googlebot Google का क्रॉलर है। Bingbot Bing का क्रॉलर है। Slurp एक और सर्च इंजन का क्रॉलर है। दूसरे सर्च इंजन के अपने बॉट हैं।
आप सिर्फ़ खास क्रॉलर के अनुरोध देखने के लिए लॉग को यूज़र-एजेंट से फ़िल्टर कर सकते हैं। इससे पता चलता है कि हर सर्च इंजन आपकी साइट कितनी बार क्रॉल करता है।
नकली यूज़र-एजेंट से सावधान रहें। बुरे इरादे वाले लोग सर्च इंजन होने का नाटक करते हैं। "Googlebot" कहने वाली यूज़र-एजेंट स्ट्रिंग असल में Googlebot न हो। IP पता जाँचें। असली Googlebot के IP पते Google प्रकाशित करता है।
आप लॉग से क्या सीख सकते हैं
क्रॉल की आवृत्ति: हर सर्च इंजन आपकी साइट कितनी बार क्रॉल करता है? रोज़? हफ़्ते में? दिन में कई बार? क्रॉल की आवृत्ति बताती है कि Google आपकी साइट को कितना महत्व देता है।
क्रॉल पैटर्न: क्रॉलर कौन-से पेज देखता है? क्या वह ज़रूरी पेज ज़्यादा बार क्रॉल करता है? क्या वह गैर-ज़रूरी पेजों पर समय बर्बाद करता है? यह क्रॉल बजट का बँटवारा दिखाता है।
रिस्पॉन्स कोड: क्या पेज 200 (सफलता) लौटाते हैं या एरर? कई 4xx या 5xx एरर समस्याएँ बताते हैं।
क्रॉल की रफ़्तार: बॉट क्रॉल करने में कितना समय बिताता है? तेज़ क्रॉल बताते हैं कि पेज जल्दी लोड होते हैं। धीमे क्रॉल प्रदर्शन की समस्याएँ बताते हैं।
बॉट का व्यवहार: क्या बॉट robots.txt मानते हैं? क्या वे nofollow का सम्मान करते हैं? क्या वे इमेज और CSS क्रॉल करते हैं? यह दिखाता है कि आपका तकनीकी सेटअप सही है या नहीं।
लॉग का विश्लेषण कैसे करें
अपने लॉग डाउनलोड करें। अपने होस्टिंग कंट्रोल पैनल पर जाएँ, लॉग सेक्शन ढूँढें और जिस अवधि का विश्लेषण करना है उसके एक्सेस लॉग डाउनलोड करें।
लॉग विश्लेषण टूल इस्तेमाल करें। लॉग फ़ाइल एनालाइज़र लॉग पार्स कर सकते हैं और जानकारी निकाल सकते हैं। ये टूल यूज़र-एजेंट, IP पते, रिस्पॉन्स कोड और ज़्यादा के हिसाब से फ़िल्टर करते हैं।
क्रॉलर के लिए फ़िल्टर करें। सर्च इंजन बॉट के अनुरोधों पर ध्यान दें। आम यूज़र ट्रैफ़िक छान दें। इससे क्रॉलर का व्यवहार अलग दिखता है।
पैटर्न का विश्लेषण करें। क्रॉल की आवृत्ति के रुझान देखें। क्या क्रॉल बढ़ रहे हैं या घट रहे हैं? क्या एरर दरें बढ़ रही हैं? क्या क्रॉल पैटर्न आपकी उम्मीदों से मेल खाते हैं?
आम लॉग विश्लेषण के नतीजे
ज़रूरी पेजों से ज़्यादा गैर-ज़रूरी पेज क्रॉल हुए। यह साइट के ढाँचे की समस्या बताता है। ज़रूरी पेज ज़्यादा बार क्रॉल होने चाहिए। ज़रूरी पेजों को प्राथमिकता देने के लिए robots.txt या इंटरनल लिंकिंग इस्तेमाल करें।
ऊँची एरर दरें। कई 4xx या 5xx रिस्पॉन्स टूटे पेज या सर्वर की समस्याएँ बताते हैं। क्रॉल होने की क्षमता सुधारने के लिए एरर ठीक करें।
कम क्रॉल आवृत्ति। अगर सर्च इंजन आपकी साइट कम बार क्रॉल करते हैं, तो यह कम अथॉरिटी या खराब कंटेंट क्वालिटी का संकेत हो सकता है। ज़्यादा क्रॉल खींचने के लिए कंटेंट और बैकलिंक सुधारें।
रोके गए पेज क्रॉल करते बॉट। अगर robots.txt पेज रोकता है पर क्रॉलर फिर भी उन्हें माँगते हैं, तो बॉट आपके रोकने के नियम अनदेखा कर रहे हैं। यह आम तौर पर हानिरहित है।
लॉग विश्लेषण की सीमाएँ
लॉग विश्लेषण आपके सर्वर को हुए अनुरोध दिखाता है, पर सारी क्रॉलर गतिविधि नहीं। कुछ सर्च इंजन कैशिंग इस्तेमाल करते हैं। वे शायद हर बार हर URL क्रॉल न करें। कैश किए क्रॉल लॉग में नहीं दिखते।
लॉग विश्लेषण इंडेक्सिंग के फ़ैसले नहीं दिखाता। सिर्फ़ इसलिए कि पेज क्रॉल हुआ, यह नहीं कि वह इंडेक्स हुआ। सर्च इंजन हर समय पेज क्रॉल करके हटाते रहते हैं।
बड़ी लॉग फ़ाइलें संभालना मुश्किल है। व्यस्त साइट विशाल लॉग बनाती है। गीगाबाइट डेटा का विश्लेषण करने के लिए ताकतवर टूल और विशेषज्ञता चाहिए।
लॉग डेटा तकनीकी है। उसके लिए HTTP रिस्पॉन्स, यूज़र-एजेंट स्ट्रिंग और सर्वर के व्यवहार की समझ चाहिए। यह शुरुआती लोगों के लिए आसान नहीं है।
अक्सर पूछे जाने वाले सवाल
मुझे अपने सर्वर लॉग कहाँ मिलेंगे?
आपके होस्टिंग प्रोवाइडर के पास सर्वर लॉग हैं। अपने होस्टिंग कंट्रोल पैनल में लॉग इन करें और Logs या Statistics नाम का सेक्शन ढूँढें। ज़्यादातर प्रोवाइडर आपको कच्चे लॉग डाउनलोड करने देते हैं। कुछ लॉग व्यूअर देते हैं। अगर आपको न मिलें, तो अपने होस्टिंग प्रोवाइडर से संपर्क करें। WEMASY वेबसाइट बिल्डर से आप अपनी वेबसाइट पर अपने पेज बना सकते हैं। यहाँ देखें: वेबसाइट बिल्डर।
सर्वर लॉग कितने पीछे तक जाते हैं?
यह होस्ट के हिसाब से बदलता है। कुछ प्रोवाइडर लॉग 30 दिन रखते हैं, कुछ 90 दिन। एंटरप्राइज़ होस्ट सालों के लॉग रख सकते हैं। अपने होस्टिंग के दस्तावेज़ देखें। अगर आपको पुराने लॉग चाहिए, तो उन्हें नियमित डाउनलोड और आर्काइव करें।
क्या मुझे लॉग का विश्लेषण खुद करना चाहिए या किसी को रखना चाहिए?
ज़्यादातर साइटों के लिए Google Search Console काफ़ी है। लॉग विश्लेषण उन्नत और तकनीकी है। लॉग तभी इस्तेमाल करें जब GSC आपको ज़रूरी जवाब न दे। अगर आप लॉग विश्लेषण करते हैं, तो समर्पित लॉग फ़ाइल एनालाइज़र इस्तेमाल करें। अगर आपके पास विशेषज्ञता नहीं है, तो SEO कंसल्टेंट रखें।
क्या मैं लॉग से बुरे बॉट पहचान सकता हूँ?
हाँ। लॉग बुरे बॉट सहित सभी अनुरोध दिखाते हैं। असामान्य यूज़र-एजेंट स्ट्रिंग, ऊँची रिक्वेस्ट दर या ऐसे क्रॉलिंग पैटर्न देखें जिनका कोई मतलब नहीं बनता। बुरे बॉट अक्सर आपकी साइट जायज़ क्रॉलर से बहुत तेज़ क्रॉल करते हैं। आप उन्हें robots.txt या अपने फ़ायरवॉल से रोक सकते हैं।
क्या लॉग का विश्लेषण मेरी रैंकिंग सुधारने में मदद करता है?
परोक्ष रूप से। लॉग विश्लेषण आपको क्रॉल की समस्याएँ, साइट के ढाँचे की समस्याएँ और प्रदर्शन की रुकावटें समझने में मदद करता है। इन समस्याओं को ठीक करने से आपकी साइट क्रॉलर और यूज़र, दोनों के लिए सुधरती है, जिससे रैंकिंग सुधर सकती है। पर लॉग निदान का टूल हैं, खुद रैंकिंग फ़ैक्टर नहीं।
लॉग और Search Console डेटा में क्या फ़र्क है?
लॉग आपके सर्वर को हुए हर अनुरोध को दिखाते हैं। Search Console दिखाता है कि Google ने उन अनुरोधों के साथ क्या किया (इंडेक्स किया, ठुकराया वगैरह)। लॉग कच्चा डेटा हैं। Search Console डेटा की Google की व्याख्या है। पूरी तस्वीर के लिए दोनों साथ इस्तेमाल करें।