हो सकता है आपकी वेबसाइट Google सर्च में बिल्कुल सही रैंक करती हो। पर इसका मतलब यह नहीं कि AI चैटबॉट आपका कंटेंट ढूंढ सकते हैं, समझ सकते हैं या उसे सिटेशन दे सकते हैं। AI क्रॉलर अलग शेड्यूल पर चलते हैं, अलग सिग्नल को प्राथमिकता देते हैं, और उन्हीं टेक्निकल ग़लतियों पर अटक जाते हैं जिनसे पारंपरिक SEO को नुक़सान नहीं होता। टेक्निकल GEO ऑडिट करने का मतलब है यह जांचना कि आपकी साइट उन AI बॉट के लिए सच में क्रॉल की जा सकती है या नहीं जो अब रेफ़रल ट्रैफ़िक लाते हैं।
इस अध्याय में वह ठीक-ठीक चेकलिस्ट है जिसे आपकी साइट को पास करना चाहिए, ताकि कंटेंट ऑप्टिमाइज़ेशन में निवेश करने से पहले आप AI विज़िबिलिटी की टेक्निकल रुकावटें हटा सकें।
टेक्निकल GEO ऑडिट असल में क्या जांचता है
टेक्निकल GEO ऑडिट पारंपरिक टेक्निकल SEO ऑडिट से अलग है। दोनों क्रॉल होने की क्षमता और स्पीड जांचते हैं। पर GEO ऑडिट ये भी परखते हैं:
- क्या आपने AI क्रॉलर को अपनी साइट खोलने की साफ़ इजाज़त दी है
- क्या AI बॉट JavaScript चलाए बिना आपका कंटेंट पढ़ सकते हैं
- उस बॉट की नज़र से आपके पेज कितनी तेज़ी से लोड होते हैं जो इंतज़ार नहीं करता
- क्या आपका स्ट्रक्चर्ड डेटा शुरुआती HTML में मौजूद है (रेंडरिंग के बाद लोड नहीं होता)
- आपकी साइट URL कैनोनिकलाइज़ेशन, रीडायरेक्ट और इंटरनल लिंकिंग कैसे संभालती है
- क्या आपका कंटेंट ऐसे फ़ॉर्मैट में है जिसे AI निकासी टूल आसानी से पार्स कर सकें
पारंपरिक SEO रैंकिंग पर ध्यान देती है। GEO उन मशीन-लर्निंग सिस्टम द्वारा खोजे जाने पर ध्यान देता है जो सर्च इंजन से अलग ढंग से काम करते हैं।
यह अभी क्यों मायने रखता है
2025 की शुरुआत में AI रेफ़रल ट्रैफ़िक साल-दर-साल 527% बढ़ा। अगर आपकी साइट AI बॉट क्रॉल नहीं कर सकते, तो आप ChatGPT, Perplexity, Claude, Gemini और उस ट्रैफ़िक को भेजने वाले हर दूसरे सिस्टम को दिखाई नहीं देते। टूटी हुई robots.txt फ़ाइल या सिर्फ़ JavaScript वाला कंटेंट आपकी रैंकिंग को ही नुक़सान नहीं पहुंचाता, वह आपकी साइट को AI सिस्टम में पूरी तरह इंडेक्स होने से रोकता है।
नुक़सान कुछ खोए हुए क्लिक का नहीं है। यह ट्रैफ़िक की पूरी श्रेणियां खोने का है, जो पारंपरिक सर्च विज़िटर से पांच गुना दर पर कन्वर्ट होती हैं।
टेक्निकल GEO ऑडिट चेकलिस्ट
यह चेकलिस्ट ज़रूरी बातें समेटती है। अगर आपकी साइट इन सबको पास करती है, तो आपने AI विज़िबिलिटी की मुख्य रुकावटें हटा दी हैं।
कदम 1: पक्का कीजिए कि AI क्रॉलर आपकी साइट खोल सकते हैं
अपनी robots.txt फ़ाइल खोलिए (अपने डोमेन रूट में /robots.txt जोड़िए)। ऐसी कोई भी लाइन ढूंढिए जो AI क्रॉलर को रोक सकती हो।
कई साइटें Disallow: / या User-agent: * Disallow: / जैसे नियमों से ग़लती से ChatGPT के बॉट को रोक देती हैं। अगर आपको सबको रोकने वाले नियम दिखें, तो उन्हें हटाइए। अगर आप कुछ ख़ास AI क्रॉलर को रोकना चाहते हैं, तो वह आपकी मर्ज़ी है, पर सबको रोकना AI विज़िबिलिटी ख़त्म कर देता है।
ख़ास बॉट को निशाना बनाने वाले नियम जांचिए। आम गुनहगार:
User-agent: GPTBot: ChatGPT के क्रॉलर को रोकता हैUser-agent: PerplexityBot: Perplexity को रोकता हैUser-agent: ClaudeBot: Claude को रोकता हैUser-agent: GoogleBot-Extended: Google के AI क्रॉलर को रोकता है
अगर आप AI क्रॉलर को इजाज़त देना चाहते हैं पर अपनी साइट के कुछ हिस्से (जैसे एडमिन पेज) बाहर रखना चाहते हैं, तो ख़ास Allow/Disallow नियम इस्तेमाल कीजिए। सबको रोकने वाला नियम कभी मत लगाइए।
कदम 2: llms.txt बनाइए या जांचिए
यह robots.txt से नया है और ज़्यादातर साइटों में अभी नहीं है। Llms.txt ऐसी फ़ाइल है जो AI सिस्टम को आपकी कंटेंट नीति और पसंदीदा क्रॉलिंग पैरामीटर बताती है। यह /.well-known/llms.txt पर रहती है।
आपकी llms.txt में ये होना चाहिए:
- इस पर साफ़ नीति कि AI सिस्टम आपका कंटेंट खोल सकते हैं या नहीं
- आपकी वेबसाइट का विवरण
- आपकी प्राइवेसी पॉलिसी का लिंक
- इसके निर्देश कि आप अपने कंटेंट को कैसे श्रेय दिलाना चाहते हैं
अगर आपके पास llms.txt है, तो जांचिए कि वह मौजूद है और उसमें सही जानकारी है। अगर नहीं है, तो यह जल्दी की जीत है जो AI सिस्टम को संकेत देती है कि आप समझते हैं वे कैसे काम करते हैं।
कदम 3: पक्का कीजिए कि आपकी साइट सिर्फ़ JavaScript वाली नहीं है
AI क्रॉलर JavaScript नहीं चलाते। वे सिर्फ़ कच्चा HTML देखते हैं। अगर आपकी वेबसाइट सिंगल-पेज एप्लिकेशन है या कंटेंट दिखाने के लिए क्लाइंट-साइड रेंडरिंग पर निर्भर है, तो AI क्रॉलर को खाली पेज दिखेगा।
इसे जांचने के लिए Google Search Console का _blocked_ and _blocked_ टूल इस्तेमाल कीजिए या अपने पेज का HTML सोर्स खोलिए (राइट-क्लिक > View Page Source)। अगर HTML में असली कंटेंट दिखे (पैराग्राफ़ टैग, हेडिंग, टेक्स्ट), तो सब ठीक है। अगर ज़्यादातर स्क्रिप्ट टैग दिखें और कंटेंट नहीं, तो आपकी साइट को सर्वर-साइड रेंडरिंग चाहिए।
अगर यह आप पर लागू होता है, तो अपने डेवलपर के साथ मिलकर ज़रूरी पेज के लिए सर्वर-साइड रेंडरिंग, स्टैटिक जनरेशन या हाइब्रिड तरीक़ा जोड़िए।
कदम 4: रीडायरेक्ट चेन और 404 एरर जांचिए
टूटे रीडायरेक्ट और 404 एरर AI क्रॉलर को वहीं रोक देते हैं। 404 स्टेटस कोड लौटाने वाले पेज ढूंढने के लिए साइट क्रॉलर या Google Search Console इस्तेमाल कीजिए।
हर टूटे पेज के लिए:
- उसे किसी प्रासंगिक मौजूदा पेज पर रीडायरेक्ट कीजिए (अगर कंटेंट कहीं और चला गया हो), या
- टूटा लिंक ठीक कीजिए, या
- अगर पेज की ज़रूरत नहीं रही, तो उसे पूरी तरह हटा दीजिए
रीडायरेक्ट चेन के साथ भी यही कीजिए। अगर पेज A, पेज B पर रीडायरेक्ट होता है और B, पेज C पर, तो उसे सीधे A से C कर दीजिए। AI क्रॉलर रीडायरेक्ट का पीछा करते हैं, पर अतिरिक्त छलांगें क्रॉल बजट बर्बाद करती हैं।
कदम 5: पक्का कीजिए कि आपका XML साइटमैप सही है
आपका XML साइटमैप क्रॉलर को बताता है कि आपकी साइट पर कौन-से पेज हैं। जांचिए कि वह सही है:
- उसे Google Search Console और दूसरे सर्च इंजन के वेबमास्टर टूल में जमा कीजिए
- जांचिए कि उसमें आपके सबसे अहम पेज हैं (आपके सबसे ज़्यादा ट्रैफ़िक वाले पेज वहां होने चाहिए)
- जांचिए कि साइटमैप का हर URL 200 स्टेटस कोड लौटाता है (404 या 302 नहीं)
- अगर साइटमैप बड़ा है (50,000 URL से ज़्यादा), तो साइटमैप इंडेक्स से उसे कई साइटमैप में बांटिए
ग़लत या ग़ायब साइटमैप क्रॉल होने की क्षमता नहीं तोड़ता, पर AI सिस्टम के लिए नया कंटेंट जल्दी खोजना मुश्किल कर देता है।
कदम 6: मोबाइल पर अपनी साइट की स्पीड जांचिए
AI क्रॉलर की टाइमआउट सीमाएं सख़्त होती हैं। अगर बॉट की नज़र से आपका पेज लोड होने में 10-15 सेकंड से ज़्यादा लगाए, तो वे हार मान लेते हैं।
अपने सबसे ज़्यादा ट्रैफ़िक वाले टॉप 10 पेज पर Google PageSpeed Insights चलाइए। ख़ास तौर पर ये जांचिए:
- First Contentful Paint (FCP): टेक्स्ट या इमेज दिखने तक का समय
- Cumulative Layout Shift (CLS): लोड होते समय पेज कितना हिलता है
- Interaction to Next Paint (INP): क्लिक पर प्रतिक्रिया (क्रॉलर के लिए कम अहम, पर फिर भी मायने रखता है)
अगर आपके पेज धीमे हैं, तो सबसे तेज़ जीत ये हैं:
- इमेज कंप्रेस कीजिए (ज़्यादातर साइटें यहां बहुत बैंडविड्थ बर्बाद करती हैं)
- CSS और JavaScript को मिनिफ़ाई कीजिए
- ब्राउज़र कैशिंग चालू कीजिए
- Content Delivery Network (CDN) इस्तेमाल कीजिए
ज़्यादातर साइटों के लिए मोबाइल लोड टाइम 3 सेकंड तक लाने से AI विज़िबिलिटी को प्रभावित करने वाली 80% स्पीड समस्याएं हट जाती हैं।
कदम 7: अपना स्ट्रक्चर्ड डेटा जांचिए
स्ट्रक्चर्ड डेटा (जिसे स्कीमा मार्कअप भी कहते हैं) AI सिस्टम को समझाता है कि आपका कंटेंट किस बारे में है। GEO के लिए आम स्कीमा के प्रकार:
- Article स्कीमा: ब्लॉग पोस्ट और न्यूज़ के लिए
- FAQPage स्कीमा: FAQ कंटेंट के लिए
- HowTo स्कीमा: समझाने वाले कंटेंट के लिए
- Organization स्कीमा: कंपनी की जानकारी के लिए
- Product स्कीमा: ई-कॉमर्स के लिए
- LocalBusiness स्कीमा: स्थानीय ब्रांड के लिए
पक्का कीजिए कि स्ट्रक्चर्ड डेटा आपके शुरुआती HTML में है (JavaScript चलने के बाद लोड नहीं होता)। अपना मार्कअप जांचने के लिए Google का Rich Results Test या Schema.org का वैलिडेटर इस्तेमाल कीजिए।
कदम 8: पक्का कीजिए कि आपकी साइट मोबाइल-रेस्पॉन्सिव है
AI क्रॉलर आपकी साइट हर तरह के डिवाइस पर खोलते हैं, पर मोबाइल को प्राथमिकता देते हैं। अगर आपकी साइट मोबाइल-रेस्पॉन्सिव नहीं है, तो AI सिस्टम को उसे पढ़ने में दिक़्क़त होगी।
अपनी साइट Google के Mobile-Friendly Test से जांचिए। अगर वह फ़ेल हो, तो रेस्पॉन्सिव डिज़ाइन जोड़ने के लिए अपने डेवलपर के साथ काम कीजिए।
कदम 9: URL कैनोनिकलाइज़ेशन की समस्याएं जांचिए
अगर आपके पास कई URL पर डुप्लिकेट कंटेंट है (जैसे example.com, www.example.com, example.com/?utm_source=social वगैरह), तो क्रॉलर को बताने के लिए rel=canonical टैग जोड़िए कि मुख्य वर्शन कौन-सा है।
ये भी जांचिए:
- HTTP बनाम HTTPS (एक चुनिए और सारा ट्रैफ़िक उस पर रीडायरेक्ट कीजिए)
- www बनाम बिना www (एक चुनिए)
- URL के अंत में स्लैश (एक जैसा रखिए)
कैनोनिकलाइज़ेशन क्रॉल होने की क्षमता नहीं तोड़ता, पर क्रॉलर को अपना बजट सही पेज पर लगाने में मदद करता है।
कदम 10: अपनी इंटरनल लिंकिंग ऑडिट कीजिए
AI सिस्टम आपकी साइट का ढांचा और विषयों के आपसी रिश्ते समझने के लिए इंटरनल लिंक इस्तेमाल करते हैं। जांचिए:
- क्या आपके सबसे अहम पेज आपके होमपेज से लिंक हैं?
- क्या एक विषय से जुड़े पेज आपस में लिंक करते हैं?
- क्या एंकर टेक्स्ट बताने वाले हैं? ("GEO के बारे में और जानें" "यहां क्लिक करें" से बेहतर है)
कमज़ोर इंटरनल लिंकिंग क्रॉलिंग नहीं रोकती, पर AI के लिए यह समझना मुश्किल कर देती है कि आपकी साइट किस बारे में है।
अगर आपके पास सिर्फ़ एक घंटा है तो कहां से शुरू करें
अगर समय सीमित है, तो इन्हें इस क्रम में ठीक कीजिए (सबसे बड़ा असर पहले):
- अचानक लगे ब्लॉक के लिए robots.txt जांचिए (5 मिनट)
- पक्का कीजिए कि आपकी साइट सिर्फ़ JavaScript वाली नहीं है (10 मिनट)
- 404 एरर और रीडायरेक्ट चेन ठीक कीजिए (1-2 घंटे)
- अपने टॉप 10 पेज पर मोबाइल स्पीड जांचिए (15 मिनट)
- ज़रूरी पेज प्रकारों पर स्ट्रक्चर्ड डेटा जांचिए (30 मिनट)
- llms.txt बनाइए (15 मिनट)
अगर आप कदम 1-6 पास कर लेते हैं, तो आपने AI क्रॉल होने की मुख्य रुकावटें हटा दी हैं। कदम 7-10 तेज़ खोज और बेहतर समझ के लिए ऑप्टिमाइज़ेशन हैं।
बिना टूल के अपनी साइट कैसे ऑडिट करें
बुनियादी GEO ऑडिट के लिए आपको पेड सॉफ़्टवेयर नहीं चाहिए। एक ब्राउज़र और 30 मिनट ज़्यादातर समस्याएं पकड़ सकते हैं:
- अपनी robots.txt सीधे खोलिए (ब्राउज़र के एड्रेस बार में अपना डोमेन और /robots.txt लिखिए)
- अपने होमपेज का पेज सोर्स देखिए (राइट-क्लिक > View Page Source) और असली कंटेंट खोजिए
- अपना XML साइटमैप खोलिए (उसी तरह) और कुछ URL चुनकर जांचिए कि वे लोड होते हैं
- अपने मुख्य पेज पर Google PageSpeed Insights चलाइए
- ब्राउज़र डेवलपर टूल से मोबाइल रेस्पॉन्सिवनेस जांचिए (F12, फिर डिवाइस टूलबार टॉगल कीजिए)
- स्कीमा मार्कअप जांचने के लिए Google का Rich Results Test इस्तेमाल कीजिए
साइट क्रॉलर (मुफ़्त स्तर) और Google Search Console मुफ़्त हैं और ज़्यादा गहराई से जांचते हैं, पर बड़ी समस्याएं पकड़ने के लिए ये ज़रूरी नहीं।
AI क्रॉलर को सबसे ज़्यादा क्या तोड़ता है
ये ग़लतियां AI क्रॉलर को रोकती हैं:
- Robots.txt सारे क्रॉलर को रोकती है (
Disallow: /और कोई Allow अपवाद नहीं)। हल: सबको रोकने वाला नियम हटाइए या ख़ास Allow नियम जोड़िए। - कंटेंट सिर्फ़ JavaScript चलने के बाद मौजूद होता है। हल: ज़रूरी पेज के लिए सर्वर-साइड रेंडरिंग या स्टैटिक जनरेशन पर जाइए।
- मोबाइल पर पेज 10+ सेकंड में लोड होते हैं। हल: इमेज कंप्रेस कीजिए, कोड मिनिफ़ाई कीजिए, CDN इस्तेमाल कीजिए।
- स्ट्रक्चर्ड डेटा नहीं है या स्कीमा मार्कअप ग़लत है। हल: Google के मार्कअप हेल्पर से अपने मुख्य पेज प्रकारों में स्कीमा जोड़िए।
- अंतहीन रीडायरेक्ट चेन या टूटे लिंक। हल: Google Search Console या साइट क्रॉलर से ऑडिट कीजिए और हर 404 ठीक कीजिए।
इनमें से ज़्यादातर ठीक करना मुश्किल नहीं। बस यह जानना ज़रूरी है कि कहां देखना है।
ऑडिट के बाद असर कैसे मापें
टेक्निकल समस्याएं ठीक करने के बाद असर इनमें दिखता है:
- AI क्रॉलर ट्रैफ़िक: अपने एनालिटिक्स में ChatGPT, Perplexity और दूसरे बॉट से आए ट्रैफ़िक को देखिए
- ब्रांड सिटेशन: ChatGPT, Perplexity और दूसरे AI सिस्टम में अपना ब्रांड नाम सर्च कीजिए। क्या क्रॉल होने की क्षमता ठीक करने के बाद वे आपका ज़िक्र ज़्यादा करते हैं?
- कंटेंट इंडेक्सिंग: पक्का करने के लिए Google Search Console का URL Inspection टूल इस्तेमाल कीजिए कि आपके पेज क्रॉल हो सकते हैं
- खोज में देरी: आप जो नया कंटेंट छापते हैं, AI सिस्टम उसे कितनी जल्दी खोजते हैं? तेज़ क्रॉल क्षमता का मतलब तेज़ खोज
नतीजे तुरंत नहीं दिखेंगे। टेक्निकल सुधारों का असर आमतौर पर 30-60 दिनों में दिखता है। कंटेंट में बदलाव (ज़्यादा स्ट्रक्चर्ड डेटा, बेहतर फ़ॉर्मैटिंग) में 8-12 हफ़्ते लगते हैं।
WEMASY के बारे में
WEMASY का वेबसाइट बिल्डर आपको अपनी वेबसाइट ऑनलाइन बनाने देता है। शुरुआत में आपको ये मिलता है:
- मुफ़्त प्लान: कोई क्रेडिट कार्ड नहीं चाहिए
- मुफ़्त पता: yourbusiness.wemasy.app
- वेबसाइट और ऑनलाइन स्टोर प्लान पर अपना डोमेन जोड़ने की सुविधा
- पेड प्लान 7 दिन मुफ़्त आज़माने का मौक़ा
- कोई कॉन्ट्रैक्ट नहीं, कभी भी कैंसल करें
- अपनी साइट कभी भी डाउनलोड करने की सुविधा
ऊपर की चेकलिस्ट से आप अपनी साइट की टेक्निकल जांच खुद कर सकते हैं। AI क्रॉलर को पूरी विज़िबिलिटी पक्की करने के लिए कंटेंट पर ध्यान दीजिए: साफ़ लेखन, मज़बूत ढांचा और अपने पेज के प्रकार के लिए सही स्कीमा।
WEMASY के एनालिटिक्स और इनसाइट्स टूल से आप देख सकते हैं कि विज़िटर आपकी साइट कैसे इस्तेमाल करते हैं।
अक्सर पूछे जाने वाले सवाल
क्या मुझे AI क्रॉलर को ब्लॉक करना चाहिए?
जब तक आपके पास कोई ख़ास वजह न हो, नहीं। AI क्रॉलर रेफ़रल ट्रैफ़िक भेजते हैं जो पारंपरिक सर्च से 5 गुना दर पर कन्वर्ट होता है। उन्हें ब्लॉक करने का मतलब है वह ट्रैफ़िक खोना। अगर आप ख़ास AI सिस्टम से बाहर रहना चाहते हैं, तो उन्हें robots.txt में ब्लॉक कर सकते हैं, पर हम बड़े वाले (ChatGPT, Perplexity, Claude, Google का AI क्रॉलर) को इजाज़त देने की सलाह देते हैं। WEMASY के वेबसाइट बिल्डर से आप अपनी वेबसाइट बना सकते हैं।
क्या मुझे llms.txt चाहिए?
तुरंत नहीं, पर यह मानक बनता जा रहा है। llms.txt होना AI सिस्टम को संकेत देता है कि आप समझते हैं वे कैसे काम करते हैं और अपने कंटेंट के इस्तेमाल को नियंत्रित करते हैं। इसे बनाने में 15 मिनट लगते हैं और यह प्रतिस्पर्धा में जल्दी का फ़ायदा है।
क्या AI क्रॉलर मेरी JavaScript पढ़ सकते हैं?
नहीं। ज़्यादातर AI क्रॉलर सिर्फ़ कच्चा HTML देखते हैं। अगर आपकी साइट क्लाइंट-साइड रेंडरिंग पर निर्भर है, तो आपका कंटेंट AI को दिखता ही नहीं। आधुनिक वेब एप्लिकेशन के लिए यह अकेली सबसे बड़ी टेक्निकल रुकावट है। अगर यह आप हैं, तो अपने डेवलपर से सर्वर-साइड रेंडरिंग या स्टैटिक जनरेशन के बारे में बात कीजिए।
मुझे GEO ऑडिट कितनी बार करना चाहिए?
हर तिमाही एक अच्छा आधार है। robots.txt और साइट की सेहत हर महीने जांचिए, और हर तीन महीने में पूरा टेक्निकल ऑडिट कीजिए। साइट में बड़े बदलावों (रीडिज़ाइन, बड़े कंटेंट माइग्रेशन) के बाद, विज़िबिलिटी पर असर पड़ने से पहले समस्याएं पकड़ने के लिए एक हफ़्ते के भीतर ऑडिट कीजिए।
कौन-से AI क्रॉलर सबसे ज़्यादा मायने रखते हैं?
ChatGPT का क्रॉलर सबसे ऊंची प्राथमिकता है (सबसे ज़्यादा रेफ़रल ट्रैफ़िक लाता है)। Perplexity दूसरे नंबर पर है। फिर Claude, Google का AI क्रॉलर और Gemini। छोटे AI प्लेटफ़ॉर्म ज़्यादातर साइटों के लिए कम मायने रखते हैं। आपकी robots.txt को सबको इजाज़त देनी चाहिए, जब तक किसी को रोकने की ख़ास वजह न हो।
अगर मेरी साइट ऑडिट में फ़ेल हो जाए तो?
तीन ज़रूरी चीज़ों से शुरू कीजिए: AI क्रॉलर को इजाज़त दीजिए, स्पीड की बड़ी समस्याएं ठीक कीजिए और पक्का कीजिए कि आपका कंटेंट पढ़ा जा सकता है (सिर्फ़ JavaScript वाला नहीं)। ज़्यादातर साइटें इन्हें एक-दो दिन में ठीक कर सकती हैं। बाकी चीज़ें भी मायने रखती हैं, पर वे सुधार हैं। पहले बुनियादी चीज़ें ठीक कीजिए।