इंटीग्रेशन जटिल होते हैं। डेटा टूल A से टूल B में जाता है, बदला जा सकता है, छांटा जा सकता है। गलतियां आसानी से होती हैं: कोई फ़ील्ड गलत मैप हो जाता है, कोई फ़िल्टर बहुत सख्त होता है, डेटा टाइप मेल नहीं खाते। खराब डेटा आगे के फ़ैसले बिगाड़ देता है। टेस्टिंग और वैलिडेशन पक्का करते हैं कि इंटीग्रेशन पर भरोसा करने से पहले वे सही चल रहे हैं। इस चैप्टर में बताया गया है कि इंटीग्रेशन कैसे टेस्ट करें और जुड़े सिस्टम में डेटा कैसे जांचें।
इंटीग्रेशन टेस्ट के प्रकार
यूनिट टेस्टिंग
अलग-अलग हिस्सों को टेस्ट करें। उदाहरण: क्या एनालिटिक्स के कन्वर्ज़न इवेंट में सभी ज़रूरी फ़ील्ड (user_id, conversion_type, timestamp) हैं? क्या CRM फ़ील्ड मैपर "type_purchase" (एनालिटिक्स) को सही से "deal_closed" (CRM) में बदलता है?
इंटीग्रेशन टेस्टिंग
शुरू से अंत तक का फ़्लो टेस्ट करें। उदाहरण: एनालिटिक्स में एक कन्वर्ज़न चलाएं, और पक्का करें कि वह अपेक्षित समय में सही डेटा के साथ CRM में दिख जाए।
रिग्रेशन टेस्टिंग
पक्का करें कि बदलाव से मौजूदा काम न बिगड़े। उदाहरण: आपने ईमेल पतों के लिए फ़ील्ड मैपर अपडेट किया। जांचें कि मैपर फ़ोन नंबर के लिए अब भी सही चल रहा है।
डेटा वैलिडेशन की जांचें
वॉल्यूम की जांच: एनालिटिक्स के रोज़ के कन्वर्ज़न CRM से मेल खाने चाहिए (5% के भीतर)। अगर फ़र्क बढ़े, तो जांच करें।
पूर्णता की जांच: हर इवेंट में ज़रूरी फ़ील्ड होने चाहिए। अगर 10% इवेंट में user_id नहीं है, तो यह डेटा क्वालिटी की समस्या है।
एकरूपता की जांच: अगर किसी कन्वर्ज़न में एनालिटिक्स में ईमेल jane@wemasy.com है और CRM में jane.c@wemasy.com, तो यह बेमेल है। जांच करें।
समय की जांच: कन्वर्ज़न अपेक्षित समय में (रियल-टाइम या रोज़ाना) गंतव्य सिस्टम में दिखने चाहिए। अगर डेटा घंटों देर से आए, तो इंटीग्रेशन धीमा हो सकता है।
सटीकता की जांच: कुछ कन्वर्ज़न को शुरू से अंत तक हाथ से जांचें। क्या कन्वर्ज़न स्रोत से गंतव्य तक सही पहुंचा? क्या डेटा की वैल्यू सही हैं?
टेस्टिंग और वैलिडेशन की प्रक्रिया बनाना
लाइव होने से पहले: सैंपल डेटा पर चारों प्रकार के टेस्ट चलाएं। नतीजे लिखकर रखें। दोनों टीमों (एनालिटिक्स और गंतव्य टूल) से मंज़ूरी लें। आगे के रिग्रेशन टेस्ट के लिए टेस्ट केस बनाएं।
लाइव होने के बाद: रोज़ का मिलान: सिस्टम के बीच वॉल्यूम, पूर्णता और एकरूपता की तुलना करें। हर हफ़्ते गहराई से जांच: 10-20 कन्वर्ज़न को शुरू से अंत तक हाथ से देखें। हर महीने समीक्षा: ड्रिफ़्ट, पैटर्न और असामान्य बातें जांचें।
समस्या आने पर: अगर डेटा साफ़ तौर पर गलत हो (जैसे वॉल्यूम में 10 गुना उछाल), तो इंटीग्रेशन रोक दें। जांच करें: क्या बदला? दोबारा शुरू करने से पहले फिर टेस्ट करें।
आम इंटीग्रेशन समस्याएं और उनके हल
समस्या: एनालिटिक्स में कन्वर्ज़न हैं पर CRM में नहीं। कारण: API key की मियाद खत्म, परमिशन बदली, ट्रांसफ़ॉर्मेशन में गलती। हल: लॉग देखें, API key जांचें, फ़ील्ड मैपिंग देखें।
समस्या: वॉल्यूम में फ़र्क (एनालिटिक्स = 100, CRM = 80)। कारण: फ़िल्टर की गलती, CRM में अतिरिक्त वैलिडेशन है जो कुछ इवेंट रिजेक्ट करता है। हल: CRM फ़िल्टर देखें, फ़ील्ड टाइप मेल खाते हैं या नहीं जांचें, वैलिडेशन नियम ठीक करें।
समस्या: डेटा देर से दिखता है (रियल-टाइम की जगह घंटों बाद)। कारण: इंटीग्रेशन स्ट्रीमिंग की जगह बैच प्रोसेसिंग इस्तेमाल करता है। हल: इंटीग्रेशन सेटिंग देखें, और स्ट्रीमिंग उपलब्ध हो तो उस पर जाएं।
डॉक्यूमेंटेशन और गवर्नेंस
हर इंटीग्रेशन को लिखकर रखें: स्रोत, गंतव्य, डेटा के प्रकार, ट्रांसफ़ॉर्मेशन नियम, अपेक्षित देरी, ज़िम्मेदार व्यक्ति (टूटने पर कौन ठीक करेगा)। एक रनबुक बनाएं: अगर इंटीग्रेशन टूटे, तो समस्या खोजने का क्रम क्या है? किससे संपर्क करना है?
ज़िम्मेदारी तय करें: हर इंटीग्रेशन के लिए एक व्यक्ति ज़िम्मेदार हो। वह निगरानी, टेस्ट और समस्याएं ठीक करे। इससे "किसी को पता नहीं" वाली स्थिति नहीं बनती।
लाइव होने से पहले इंटीग्रेशन को कैसे टेस्ट करूं?
स्टेप 1: टेस्ट डेटा भेजें (नकली ईमेल के साथ टेस्ट कन्वर्ज़न, टेस्ट कंपनी के साथ टेस्ट लीड)। स्टेप 2: पक्का करें कि टेस्ट डेटा अपेक्षित समय में गंतव्य सिस्टम में दिखे। स्टेप 3: जांचें कि सारे फ़ील्ड सही हैं (user_id, रकम, तारीख़)। स्टेप 4: स्थिरता देखने के लिए 24-48 घंटे चलाने दें। स्टेप 5: टेस्ट डेटा हटा दें। पास होने पर इंटीग्रेशन प्रोडक्शन के लिए तैयार है।
इंटीग्रेशन टेस्टिंग चेकलिस्ट में क्या-क्या होना चाहिए?
[ ] सभी ज़रूरी फ़ील्ड मौजूद हों, [ ] डेटा टाइप सही हों (ईमेल बनाम फ़ोन), [ ] वैल्यू अपेक्षित दायरे में हों (कीमत > $0), [ ] टाइमस्टैंप सही हों, [ ] सिस्टम के बीच User ID मेल खाए, [ ] कोई डुप्लिकेट न हो, [ ] वॉल्यूम बेसलाइन से मिले (±5%), [ ] देरी मंज़ूर सीमा में हो (SLA के भीतर), [ ] एरर हैंडलिंग काम करे (एरर लॉग हों, चुपचाप न छूटें), [ ] डिलीट रिक्वेस्ट प्रोसेस हों। हर इंटीग्रेशन के हिसाब से बदलें।
इंटीग्रेशन से आए डेटा को कितनी बार जांचूं?
रोज़: वॉल्यूम का मिलान करें, 10 रिकॉर्ड हाथ से जांचें। हर हफ़्ते: गहराई से जांच, किनारे के मामले टेस्ट करें। हर महीने: ट्रेंड देखें, ड्रिफ़्ट जांचें। हर तिमाही: पूरा ऑडिट, पक्का करें कि सारे टेस्ट केस अब भी पास होते हैं। इससे समस्याएं जल्दी पकड़ में आती हैं। अगर आप महीने तक रुकेंगे, तो समस्याएं बढ़ती जाएंगी।
डेटा के मिलान में कितनी गलती स्वीकार्य है?
वॉल्यूम: ±5% (ट्रैकिंग के छोटे फ़र्क आम हैं)। पूर्णता: 98%+ (कुछ फ़ील्ड का गायब होना चलता है)। एकरूपता: 1% से कम (< 1%) बेमेल (ज़्यादातर डेटा मेल खाना चाहिए)। अगर आप इन सीमाओं से ऊपर जाएं, तो जांच करें। 2-3% गलतियां स्वीकार्य हैं, 10%+ टूटे हुए इंटीग्रेशन का संकेत है।
इंटीग्रेशन फ़ेल होने (इंटीग्रेशन टूटकर डेटा भेजना बंद कर दे) को कैसे संभालूं?
तुरंत: इंटीग्रेशन रोकें, संबंधित लोगों को बताएं कि डेटा पुराना है। जांच: लॉग देखें, API key जांचें, कनेक्टिविटी टेस्ट करें। हल: असली कारण ठीक करें (खत्म हुई key, गायब परमिशन, कोड की गलती)। दोबारा शुरू: फिर टेस्ट करें, 24 घंटे ध्यान से देखें। बाद की समीक्षा: यह क्यों टूटा? इसे दोबारा कैसे रोकें? मॉनिटरिंग और अलर्ट जोड़ें।
क्या मैं इंटीग्रेशन टेस्टिंग ऑटोमेट कर सकता हूं?
हां। डेटा वैलिडेशन टूल इस्तेमाल करें, ताकि रोज़ की जांच अपने आप चले। अलर्ट सेट करें: अगर वॉल्यूम में 5% से ज़्यादा फ़र्क (>5%) हो, तो इंजीनियर को अलर्ट मिले। अगर पूर्णता 98% से कम (< 98%) हो, तो अलर्ट। वॉल्यूम और पूर्णता की जांच ऑटोमेट करें, और सटीकता हाथ से जांचें (इसे ऑटोमेट करना मुश्किल है)। ज़्यादातर कंपनियां ऑटोमेटेड जांच और हाथ से समीक्षा दोनों मिलाती हैं।