क्रॉल एरर क्या हैं और SEO के लिए उन्हें कैसे ठीक करें?

सर्च इंजन आपकी साइट क्रॉल करने की कोशिश करते हैं और कुछ गलत हो जाता है। कोई पेज 500 एरर लौटाता है। कोई पेज टाइमआउट हो जाता है। कोई पेज पहुँच से बाहर है। ये क्रॉल एरर हैं। वे Google को बताते हैं कि आपकी साइट में समस्याएँ हैं। कई क्रॉल एरर रैंकिंग को नुकसान पहुँचाते हैं और पेजों को इंडेक्स होने से रोकते हैं। आपके पास जितने ज़्यादा क्रॉल एरर होंगे, Google उतने कम पेज क्रॉल करेगा। आपको क्रॉल एरर जल्दी ढूँढकर ठीक करने होंगे।

क्रॉल एरर क्या हैं?

क्रॉल एरर तब होते हैं जब Google कोई पेज क्रॉल करने की कोशिश करता है और उसे कोई समस्या मिलती है। पेज 5xx सर्वर एरर लौटा सकता है। वह टाइमआउट होकर जवाब न दे सकता है। उसे robots.txt रोक सकता है या वह अंतहीन रीडायरेक्ट कर सकता है। कोई भी समस्या जो Google को पेज सफलता से क्रॉल करने से रोके, वह क्रॉल एरर है।

क्रॉल एरर इंडेक्सिंग की समस्याओं से अलग हैं। हो सकता है पेज सफलता से क्रॉल हो पर इंडेक्स न हो (noindex या दूसरी वजहों से)। वह क्रॉल एरर नहीं है। क्रॉल एरर तब है जब खुद क्रॉल फ़ेल हो।

क्रॉल एरर के प्रकार

500 Internal Server Error का मतलब है आपके सर्वर पर कुछ टूटा है। कोई स्क्रिप्ट क्रैश हुई। कोई डेटाबेस क्वेरी फ़ेल हुई। सर्वर अनुरोध प्रोसेस नहीं कर सकता। अपने सर्वर की मूल समस्या ठीक करें।

503 Service Unavailable का मतलब है सर्वर अस्थायी रूप से बंद है। रखरखाव के दौरान यह सामान्य है। जिस वजह से अस्थायी बंदी हुई, उसे ठीक करें।

टाइमआउट का मतलब है पेज को जवाब देने में बहुत समय लगा। Google ने इंतज़ार छोड़ दिया। इसका मतलब आम तौर पर यह है कि आपका सर्वर धीमा या ओवरलोड है। अपना सर्वर ऑप्टिमाइज़ करें या होस्टिंग अपग्रेड करें।

रीडायरेक्ट एरर का मतलब है पेज गलत तरह रीडायरेक्ट होता है। शायद वह खुद पर रीडायरेक्ट होता है (अंतहीन लूप)। शायद वह किसी टूटे पेज पर रीडायरेक्ट होता है। रीडायरेक्ट चेन ठीक करें।

Not found (404) तकनीकी रूप से क्रॉल एरर नहीं है। पेज सही ढंग से 404 लौटाता है। पर अगर यह ज़रूरी पेज है जो मौजूद होना चाहिए, तो जाँचें कि वह 404 क्यों लौटा रहा है।

robots.txt से रोका गया का मतलब है robots.txt क्रॉलिंग रोकता है। यह जानबूझकर (आपने पेज को मकसद से रोका) या गलती से (आपने बहुत ज़्यादा रोक दिया) हो सकता है। अपना robots.txt देखें।

क्रॉल एरर क्यों मायने रखते हैं

क्रॉल एरर सर्च इंजन को बताते हैं कि आपकी साइट में समस्याएँ हैं। अगर सर्च इंजन को कई क्रॉल एरर मिलते हैं, तो वह मान लेता है कि आपकी साइट टूटी है और क्रॉल की आवृत्ति घटा देता है। इसका मतलब है कि कम पेज क्रॉल और इंडेक्स होते हैं।

जो पेज क्रॉल नहीं हो सकते, वे इंडेक्स नहीं हो सकते। अगर कोई ज़रूरी पेज 500 एरर लौटाता है, तो सर्च इंजन उसे क्रॉल करने की कोशिश बंद कर देते हैं और उसे इंडेक्स से हटा देते हैं।

क्रॉल एरर नकारात्मक संकेत बनाते हैं। सर्च इंजन साइट की सेहत को रैंकिंग फ़ैक्टर की तरह इस्तेमाल करते हैं। कई क्रॉल एरर वाली साइट टूटी और अविश्वसनीय दिखती है। आपकी रैंकिंग को नुकसान होता है।

क्रॉल एरर कैसे ढूँढें

अपने सर्च इंजन के वेबमास्टर टूल इस्तेमाल करें (Google के लिए Google Search Console)। Coverage रिपोर्ट क्रॉल एरर दिखाती है। वह उन URL की लिस्ट देती है जिन्हें Google ने क्रॉल करने की कोशिश की पर नाकाम रहा। एरर का प्रकार और हर एरर वाले पेजों की संख्या दिखाई जाती है।

Crawl Stats रिपोर्ट इस्तेमाल करें। यह दिखाती है कि Google ने किन तारीखों पर कितने पेज क्रॉल किए। अगर क्रॉल की मात्रा अचानक गिरती है, तो शायद आपके पास क्रॉल एरर हैं।

URL Inspection टूल इस्तेमाल करें। कोई खास URL डालें और टूल दिखाता है कि वह सफलता से क्रॉल हुआ या नहीं, कब क्रॉल हुआ और उसे कौन-से एरर मिले (अगर कोई हो)।

अपने सर्वर लॉग जाँचें। आपके होस्टिंग प्रोवाइडर के पास एक्सेस लॉग होते हैं जो हर अनुरोध और जवाब दिखाते हैं। 5xx एरर या टाइमआउट देखें।

क्रॉल एरर के आम कारण और सुधार

आपका सर्वर ओवरलोड है। बहुत ज़्यादा अनुरोध टाइमआउट और 503 एरर पैदा करते हैं। ज़्यादा ट्रैफ़िक संभालने के लिए अपनी होस्टिंग अपग्रेड करें या अपना कोड ऑप्टिमाइज़ करें।

आपकी साइट की कोई स्क्रिप्ट टूटी है। PHP एरर या डेटाबेस एरर 500 एरर पैदा करता है। अपने एरर लॉग जाँचें और टूटा कोड ठीक करें।

Robots.txt बहुत सख़्त है। आपने गलती से ज़रूरी पेज रोक दिए। robots.txt देखें और ज़रूरत से चौड़े disallow नियम हटाएँ।

रीडायरेक्ट चेन टूटी हैं। पेज A, B पर रीडायरेक्ट होता है जो C पर रीडायरेक्ट होता है जो टूटा है। रीडायरेक्ट चेन ठीक करके सीधे अंतिम मंज़िल की ओर इशारा करें।

किसी पेज पर noindex टैग है। Google उसे क्रॉल करता है पर noindex की वजह से इंडेक्स नहीं करता। अगर यह जानबूझकर है, तो अनदेखा करें। अगर गलती से है, तो noindex टैग हटाएँ।

क्रॉल एरर ठीक करना

एरर का प्रकार पहचानें। अलग एरर को अलग सुधार चाहिए। 500 एरर को सर्वर सुधार चाहिए। टाइमआउट को प्रदर्शन ऑप्टिमाइज़ेशन चाहिए। रीडायरेक्ट एरर को रीडायरेक्ट सुधार चाहिए।

मूल समस्या ठीक करें। 500 एरर के लिए टूटा कोड या स्क्रिप्ट ठीक करें। टाइमआउट के लिए प्रदर्शन ऑप्टिमाइज़ करें। रीडायरेक्ट के लिए चेन ठीक करें।

सुधार की पुष्टि करें। पेज को दोबारा फ़ेच करने के लिए URL Inspection टूल इस्तेमाल करें। Google उसे दोबारा क्रॉल करेगा और बताएगा कि एरर ठीक हुआ या नहीं।

क्रॉल स्टैट्स पर नज़र रखें। एरर ठीक करने के बाद अपने वेबमास्टर टूल में क्रॉल की मात्रा पर नज़र रखें। सर्च इंजन के ज़्यादा पेज सफलता से क्रॉल करने पर क्रॉल की मात्रा बढ़नी चाहिए।

अक्सर पूछे जाने वाले सवाल