आपकी साइट का SSL सर्टिफ़िकेट इंसानी विज़िटर के लिए ठीक चल रहा है। लेकिन GPTBot, ClaudeBot और PerplexityBot जैसे AI क्रॉलर आपका कंटेंट बिल्कुल एक्सेस नहीं कर पा रहे।
ज़्यादातर GEO रणनीतियां robots.txt और कंटेंट ऑप्टिमाइज़ेशन पर ध्यान देती हैं। लेकिन AI क्रॉलर आपकी robots.txt फ़ाइल पढ़ सके, इससे पहले उसे आपके सर्वर के साथ HTTPS हैंडशेक पूरा करना होता है। अगर वह हैंडशेक फ़ेल हो जाए, तो आप कंटेंट को कितना भी ऑप्टिमाइज़ करें, AI को वह दिखेगा ही नहीं।
इस लेख में बताया गया है कि HTTPS और SSL सर्टिफ़िकेट AI विज़िबिलिटी की नींव क्यों हैं। आप जानेंगे कि क्रॉलर पर कौन सी सिक्योरिटी लेयर असर डालती हैं, कौन सी SSL गलतियां AI इंडेक्सिंग रोकती हैं, और यह कैसे जांचें कि सभी बड़े AI प्लेटफ़ॉर्म आपकी साइट तक पहुंच सकते हैं।
HTTPS और SSL सर्टिफ़िकेट क्या हैं
HTTPS यानी HTTP के ऊपर एक सिक्योरिटी लेयर। जब कोई विज़िटर या क्रॉलर आपकी वेबसाइट से जुड़ता है, तो HTTPS उसके ब्राउज़र (या क्रॉलर) और आपके सर्वर के बीच जाने वाले डेटा को SSL (Secure Sockets Layer) या उसके नए रूप TLS (Transport Layer Security) से एन्क्रिप्ट करता है।
SSL सर्टिफ़िकेट वह डिजिटल पहचान-पत्र है जिससे आपका सर्वर साबित करता है कि वह वही है जो होने का दावा करता है। इसमें आपकी साइट का डोमेन नाम, सर्टिफ़िकेट जारी करने वाली संस्था और एक्सपायरी की तारीख होती है। जब कोई क्रॉलर आपकी साइट पर आता है, तो आपका सर्वर पहचान के सबूत के तौर पर सर्टिफ़िकेट दिखाता है। क्रॉलर कोई भी कंटेंट एक्सेस करने से पहले उस सर्टिफ़िकेट की जांच करता है।
नए ब्राउज़र पर इंसानी विज़िटर को यह प्रक्रिया दिखती ही नहीं, उन्हें बस एक हरा लॉक दिखता है। लेकिन अगर आपका सर्टिफ़िकेट न हो, एक्सपायर हो चुका हो, सेल्फ़-साइन्ड हो या आपके डोमेन से मेल न खाता हो, तो हैंडशेक फ़ेल हो जाता है। और वह फ़ेल होना क्रॉलर को पूरी तरह रोक देता है।
AI क्रॉलर को आपके कंटेंट तक पहुंचने के लिए HTTPS क्यों चाहिए
AI क्रॉलर भी Googlebot की तरह HTTP रिक्वेस्ट भेजते हैं। वे लिंक फ़ॉलो करते हैं, पेज लाते हैं और HTML पार्स करते हैं। लेकिन कुछ पुराने क्रॉलर के उलट, सभी आधुनिक AI प्लेटफ़ॉर्म (ChatGPT का क्रॉलर, Perplexity का क्रॉलर, Claude का क्रॉलर) robots.txt पढ़ने या एक भी पेज लाने से पहले एक वैध HTTPS कनेक्शन मांगते हैं।
जब कोई AI क्रॉलर आपकी साइट पर आता है, तो यह होता है। पहले वह TLS से आपके डोमेन के साथ सुरक्षित कनेक्शन बनाने की कोशिश करता है। आपका सर्वर SSL सर्टिफ़िकेट के साथ जवाब देता है। क्रॉलर जांचता है कि सर्टिफ़िकेट असली है और आपके डोमेन से मेल खाता है। यह जांच पास होने पर ही क्रॉलर आपके कंटेंट के लिए असली रिक्वेस्ट भेजता है।
अगर आपका SSL सर्टिफ़िकेट अमान्य या एक्सपायर है, तो क्रॉलर दूसरे चरण पर ही रुक जाता है और आपका कंटेंट कभी नहीं लाता। क्रॉलर की नज़र में आपकी साइट पहुंच से बाहर है। वह कल दोबारा कोशिश नहीं करता। वह आपके डोमेन को एक्सेस न होने वाला मार्क कर देता है और आगे बढ़ जाता है।
यह पारंपरिक SEO से अलग है, जहां Google फ़ेल हुई रिक्वेस्ट को दोबारा आज़माता है और कनेक्शन की अस्थायी दिक्कतों के बाद भी आखिर में कंटेंट इंडेक्स कर लेता है। AI क्रॉलर पहली बार के एक्सेस को लेकर ज़्यादा सख़्त होते हैं। पहली रिक्वेस्ट पर SSL हैंडशेक फ़ेल होने का मतलब अक्सर यह होता है कि इंडेक्सिंग होगी ही नहीं।
SSL सर्टिफ़िकेट की समस्याएं AI क्रॉलर को कैसे रोकती हैं
हर SSL समस्या साफ़ नज़र नहीं आती। सर्टिफ़िकेट तकनीकी रूप से इंस्टॉल हो सकता है, फिर भी कुछ क्रॉलर के लिए वैलिडेट न हो। सबसे आम रुकावटें ये हैं:
एक्सपायर हो चुके सर्टिफ़िकेट
जिस सर्टिफ़िकेट की एक्सपायरी तारीख निकल चुकी हो, वह अमान्य है। क्रॉलर उसे तुरंत ठुकरा देते हैं। कुछ साइट बहुत कम समय (30 से 90 दिन) वाले सर्टिफ़िकेट इस्तेमाल करती हैं और उन्हें अपने आप रिन्यू करती हैं। अगर ऑटोमेशन फ़ेल हो जाए, तो सर्टिफ़िकेट किसी को पता चले बिना एक्सपायर हो जाता है और क्रॉलर का एक्सेस तुरंत बंद हो जाता है।
सेल्फ़-साइन्ड सर्टिफ़िकेट
सेल्फ़-साइन्ड सर्टिफ़िकेट पर किसी भरोसेमंद सर्टिफ़िकेट अथॉरिटी की जगह आपका अपना सर्वर साइन करता है। ब्राउज़र और क्रॉलर सेल्फ़-साइन्ड सर्टिफ़िकेट पर भरोसा नहीं करते, क्योंकि कोई भी ऐसा सर्टिफ़िकेट बनाकर खुद को कोई और बता सकता है। सेल्फ़-साइन्ड सर्टिफ़िकेट डेवलपमेंट या इंटरनल नेटवर्क के लिए ठीक हैं, लेकिन वे पब्लिक क्रॉलर का पूरा एक्सेस रोक देते हैं।
डोमेन मेल न खाना
अगर आपका सर्टिफ़िकेट example.com के लिए जारी हुआ है, लेकिन साइट www.example.com से खोली जाती है (या उल्टा), तो सर्टिफ़िकेट का डोमेन मांगे गए डोमेन से मेल नहीं खाता। क्रॉलर उसे ठुकरा देते हैं। छोटा सा फ़र्क भी गिना जाता है: sub.example.com का SSL सर्टिफ़िकेट तब वैलिडेट नहीं होगा जब क्रॉलर content.example.com का कंटेंट मांगे।
सर्टिफ़िकेट चेन की समस्याएं
SSL सर्टिफ़िकेट एक चेन में रहता है जो एक रूट अथॉरिटी तक जाती है। अगर आपका सर्वर पूरी चेन भेजने के लिए सेट नहीं है (आपके पास एंड-एंटिटी सर्टिफ़िकेट है लेकिन इंटरमीडिएट सर्टिफ़िकेट नहीं), तो क्रॉलर आपकी पहचान की जांच नहीं कर पाएंगे। कुछ क्रॉलर नरमी बरतते हैं और छूटा हुआ इंटरमीडिएट सर्टिफ़िकेट ऑनलाइन ढूंढ लेते हैं। दूसरे कनेक्शन को तुरंत ठुकरा देते हैं।
SNI कॉन्फ़िगरेशन की समस्याएं
Server Name Indication (SNI) एक ही सर्वर को कई HTTPS साइट चलाने देता है, क्योंकि वह पहचान लेता है कि विज़िटर कौन सी साइट मांग रहा है। अगर आपका सर्वर SNI के लिए सेट नहीं है या SNI गलत सेट है, तो आपका डोमेन मांगने वाले क्रॉलर को किसी दूसरे डोमेन का सर्टिफ़िकेट मिल सकता है। इससे वैलिडेशन फ़ेल हो जाता है।
सिक्योरिटी हेडर जो AI क्रॉलर के एक्सेस पर असर डालते हैं
SSL हैंडशेक सफल होने के बाद आपका सर्वर ऐसे सिक्योरिटी हेडर भेज सकता है जो तय करते हैं कि क्रॉलर आपके कंटेंट के साथ कैसे पेश आएं। ये हेडर क्रॉलर को पूरी तरह नहीं रोकते, लेकिन ये असर डालते हैं कि क्रॉलर आपके पेज को कैसे संभालते हैं।
Strict-Transport-Security (HSTS)
HSTS क्रॉलर को बताता है कि आपकी साइट हमेशा HTTPS से खोलें, कभी HTTP से नहीं। यह सिक्योरिटी के लिए अच्छा है और क्रॉलर को नहीं रोकता। लेकिन अगर आप HSTS को बहुत लंबी अवधि के साथ गलत सेट करें और बाद में अमान्य सर्टिफ़िकेट पर चले जाएं, तो ऐसी स्थिति बन जाती है जिसमें क्रॉलर को HTTPS इस्तेमाल करना ही पड़ता है लेकिन वे हैंडशेक पूरा नहीं कर पाते। पक्का करें कि आपने जितनी अवधि तय की है, उतने समय तक आपकी HSTS नीति के साथ वैध सर्टिफ़िकेट रहें।
X-Frame-Options और X-Content-Type-Options
ये हेडर क्रॉलर को बताते हैं कि आपके कंटेंट को कैसे लेना है। ये क्रॉलर को कंटेंट लाने से नहीं रोकते। लेकिन ये असर डाल सकते हैं कि क्रॉलर आपके पेज से जानकारी कैसे पार्स और निकालते हैं।
Content-Security-Policy
CSP हेडर यह सीमित कर सकते हैं कि क्रॉलर आपके पेज से कौन से रिसोर्स ले सकते हैं। अगर आपकी CSP बहुत सख़्त है और बाहरी रिसोर्स रोकती है, तो क्रॉलर आपके पेज पर बताई गई इमेज, स्टाइलशीट या स्क्रिप्ट नहीं ला पाएंगे। इससे HTML नहीं रुकता, लेकिन क्रॉलर जो सिग्नल निकाल सकते हैं वे कम हो जाते हैं।
आम SSL गलतियां और AI इंडेक्सिंग के लिए उनका मतलब
जब कोई AI क्रॉलर आपका SSL सर्टिफ़िकेट वैरिफ़ाई नहीं कर पाता, तो वह एक एरर लॉग करता है। इन एरर को समझने से पता चलता है कि क्या टूटा है। सबसे आम ये हैं:
Certificate expired
आपके SSL सर्टिफ़िकेट की एक्सपायरी तारीख निकल चुकी है। क्रॉलर सर्टिफ़िकेट में एक्सपायरी की तारीख देखकर उसे ठुकरा देते हैं। यह सबसे आसानी से पकड़ में आने और ठीक होने वाली समस्या है। अपने सर्टिफ़िकेट की एक्सपायरी तारीख देखें और उससे पहले रिन्यू करें।
Certificate does not match domain
सर्टिफ़िकेट में लिखा डोमेन नाम उस डोमेन से मेल नहीं खाता जो क्रॉलर मांग रहा है। ऐसा अक्सर तब होता है जब आप नए डोमेन पर जाते हैं लेकिन SSL सर्टिफ़िकेट अपडेट करना भूल जाते हैं, या जब आप सबडोमेन जोड़ते हैं लेकिन आपका सर्टिफ़िकेट सिर्फ़ रूट डोमेन को कवर करता है।
Unable to verify certificate authority
क्रॉलर आपके सर्टिफ़िकेट को किसी भरोसेमंद रूट अथॉरिटी तक वापस नहीं ले जा पाता। ऐसा तब होता है जब सर्टिफ़िकेट किसी अविश्वसनीय अथॉरिटी ने जारी किया हो या आपके सर्वर ने इंटरमीडिएट सर्टिफ़िकेट की पूरी चेन न भेजी हो।
Certificate is revoked
आपकी सर्टिफ़िकेट अथॉरिटी ने किसी सिक्योरिटी घटना या गलत कॉन्फ़िगरेशन की वजह से सर्टिफ़िकेट रद्द कर दिया है। क्रॉलर रद्द होने की स्थिति जांचते हैं और एक्सेस से मना कर देते हैं। यह कम होता है, लेकिन जब होता है तो गंभीर होता है।
AI क्रॉलर के लिए अपना HTTPS सेटअप कैसे जांचें
यह पक्का करने का सबसे अच्छा तरीका कि AI क्रॉलर आपकी साइट तक पहुंच सकें, खुद उसे टेस्ट करना है। ये जांच के कदम एक बड़े टेक्निकल GEO ऑडिट का हिस्सा हैं। HTTPS की समस्याएं खास तौर पर इस तरह जांचें:
ऑनलाइन SSL चेकर इस्तेमाल करें
मुफ़्त ऑनलाइन SSL चेकर टूल आपके SSL सेटअप का पूरा विश्लेषण करते हैं। वे सर्टिफ़िकेट की वैधता, चेन का पूरा होना, TLS वर्ज़न का सपोर्ट और जानी-पहचानी कमज़ोरियां जांचते हैं। अपने डोमेन को ऐसे टूल में चलाएं और जो भी एरर दिखें उन्हें ठीक करें।
curl या wget से टेस्ट करें
टर्मिनल से curl -I https://yourdomain.com चलाएं, या wget को spider मोड में चलाएं। ये टूल वही करते हैं जो एक क्रॉलर करता है। अगर ये SSL एरर के साथ फ़ेल हों, तो क्रॉलर भी फ़ेल होंगे। एरर मैसेज आपको ठीक-ठीक बता देता है कि क्या गलत है।
OpenSSL से जांचें
OpenSSL SSL डायग्नोस्टिक्स का स्टैंडर्ड टूल है। openssl s_client -connect yourdomain.com:443 चलाएं और देखें कि आपका सर्वर कौन सा सर्टिफ़िकेट दिखा रहा है और वह सही तरह वैलिडेट होता है या नहीं।
सर्टिफ़िकेट चेन का पूरा होना जांचें
testssl.sh जैसे टूल से जांचें कि आपका सर्वर पूरी सर्टिफ़िकेट चेन भेज रहा है या नहीं। अगर इंटरमीडिएट सर्टिफ़िकेट गायब हैं, तो उन्हें अपने सर्वर कॉन्फ़िगरेशन में जोड़ें।
अलग-अलग AI प्लेटफ़ॉर्म पर टेस्ट करें
कुछ AI क्रॉलर SSL वैलिडेशन को लेकर दूसरों से ज़्यादा सख़्त होते हैं। ChatGPT, Perplexity, Claude और Google Gemini से ऐसा जवाब मांगकर अपनी साइट टेस्ट करें जिसमें आपका कंटेंट शामिल हो। अगर कोई प्लेटफ़ॉर्म आपकी साइट तक नहीं पहुंच पाता, तो उसके क्रॉलर के डॉक्यूमेंटेशन में देखें कि SSL की कोई खास शर्त तो नहीं है। अलग-अलग AI प्लेटफ़ॉर्म के क्रॉलर अलग तरह से काम करते हैं, इसके बारे में आप हमारी गाइड ChatGPT सर्च ऑप्टिमाइज़ेशन और Perplexity प्लेटफ़ॉर्म ऑप्टिमाइज़ेशन में और जान सकते हैं।
अपनी वेबसाइट पर SSL और AI क्रॉलबिलिटी कैसे जांचें
आप किसी भी प्लेटफ़ॉर्म पर साइट बनाएं, ऊपर बताए कदमों से अपना सर्टिफ़िकेट खुद जांचें। जांचें कि वह वैध है, एक्सपायर नहीं हुआ है और रूट डोमेन और www दोनों को कवर करता है।
यह भी देखें कि पूरी सर्टिफ़िकेट चेन भेजी जा रही है, ताकि क्रॉलर बिना एरर के आपकी पहचान वैरिफ़ाई कर सकें।
अगर आप सर्टिफ़िकेट बदलने वाले हैं, तो HSTS की अवधि समझदारी से रखें। WEMASY के प्लान और उनमें क्या मिलता है, यह जानने के लिए प्राइसिंग पेज देखें।
अक्सर पूछे जाने वाले सवाल
क्या AI क्रॉलर HTTPS और HTTP दोनों सपोर्ट करते हैं?
नहीं। सभी बड़े AI क्रॉलर (GPTBot, ClaudeBot, PerplexityBot) सिर्फ़ HTTPS मांगते हैं। वे HTTP सपोर्ट नहीं करते। HTTP पर चलने वाली साइट तक AI क्रॉलर बिल्कुल नहीं पहुंच सकते। अगर आपकी कोई पुरानी साइट अब भी HTTP पर चल रही है, तो तुरंत HTTPS पर जाएं। AI क्रॉलर के एक्सेस के लिए HTTPS ज़रूरी है। WEMASY के वेबसाइट बिल्डर से आप अपनी वेबसाइट बना सकते हैं।
क्या वाइल्डकार्ड SSL सर्टिफ़िकेट सभी सबडोमेन के लिए काम करता है?
हां। वाइल्डकार्ड सर्टिफ़िकेट (*.example.com) आपके रूट डोमेन के तहत हर सबडोमेन को कवर करता है। अगर आपके पास api.example.com या blog.example.com जैसे सबडोमेन हैं, तो एक वाइल्डकार्ड सर्टिफ़िकेट सबको कवर करता है। लेकिन वाइल्डकार्ड सर्टिफ़िकेट रूट डोमेन (example.com) को खुद कवर नहीं करता, जब तक उसे साफ़ तौर पर शामिल न किया जाए। पक्का करें कि आपका वाइल्डकार्ड सर्टिफ़िकेट वाइल्डकार्ड और रूट डोमेन दोनों को कवर करता है।
क्या AI क्रॉलर HTTP से HTTPS पर SSL रीडायरेक्ट फ़ॉलो करते हैं?
ज़्यादातर करते हैं। अगर आपका सर्वर HTTP रिक्वेस्ट को HTTPS पर रीडायरेक्ट करता है (यह आम कॉन्फ़िगरेशन है), तो AI क्रॉलर रीडायरेक्ट फ़ॉलो करके HTTPS कनेक्शन जारी रखते हैं। लेकिन इससे एक अतिरिक्त कदम जुड़ता है और क्रॉलर के ज़्यादा रिसोर्स लगते हैं। सबसे अच्छा तरीका है HTTP को पूरी तरह बंद करना और सिर्फ़ HTTPS कनेक्शन स्वीकार करना। इससे रीडायरेक्ट का कोई ओवरहेड नहीं रहता और कोई क्रॉलर आपकी साइट के बिना एन्क्रिप्शन वाले वर्ज़न पर नहीं पहुंचता।
मुझे अपना SSL सर्टिफ़िकेट कितनी बार रिन्यू करना चाहिए?
आधुनिक SSL सर्टिफ़िकेट आम तौर पर एक साल चलते हैं। ज़्यादातर होस्टिंग प्रोवाइडर और प्लेटफ़ॉर्म रिन्यूअल अपने आप संभाल लेते हैं। अगर आपका होस्टिंग सेटअप बहुत पुराना नहीं है, तो आपको हाथ से रिन्यू करने की ज़रूरत नहीं। एहतियात के तौर पर एक्सपायरी से 30 दिन पहले का कैलेंडर रिमाइंडर लगा लें, लेकिन ऑटोमैटिक रिन्यूअल से एक्सपायरी की समस्या पूरी तरह रुक जानी चाहिए।
क्या खराब SSL सर्टिफ़िकेट मेरी SEO रैंकिंग को नुकसान पहुंचाएगा?
हां। Google HTTPS मांगता है और बिना वैध HTTPS वाली साइट को कम क्वालिटी का मानता है। एक्सपायर या अमान्य SSL सर्टिफ़िकेट को HTTP साइट जैसा ही माना जाता है और रैंकिंग में उसे सज़ा मिलती है। AI विज़िबिलिटी के लिए असर और भी गंभीर है, क्योंकि AI क्रॉलर एक्सपायर सर्टिफ़िकेट तक पहुंच ही नहीं सकते। आपका कंटेंट कितना भी ऑप्टिमाइज़ हो, वे उसे इंडेक्स नहीं करेंगे।
क्या मैं प्रोडक्शन वेबसाइट के लिए सेल्फ़-साइन्ड सर्टिफ़िकेट इस्तेमाल कर सकता हूं?
नहीं। सेल्फ़-साइन्ड सर्टिफ़िकेट को सभी बड़े क्रॉलर और ब्राउज़र ठुकरा देते हैं। वे सिर्फ़ डेवलपमेंट, टेस्टिंग या ऐसे इंटरनल नेटवर्क के लिए ठीक हैं जहां सर्वर से जुड़ने वाले सभी क्लाइंट आपके कंट्रोल में हों। किसी भी पब्लिक वेबसाइट के लिए भरोसेमंद सर्टिफ़िकेट अथॉरिटी (CA) का जारी किया सर्टिफ़िकेट इस्तेमाल करें। ज़्यादातर सर्टिफ़िकेट अथॉरिटी बुनियादी इस्तेमाल के लिए बहुत सस्ते या मुफ़्त सर्टिफ़िकेट देती हैं।