एट्रिब्यूशन बताता है कि कन्वर्ज़न का क्रेडिट किस चैनल को मिले। लेकिन क्या चैनल सच में कन्वर्ज़न लाता है, या वह वैसे भी हो जाता? इंक्रीमेंटैलिटी टेस्टिंग प्रयोग चलाकर इस सवाल का जवाब देती है: कुछ यूज़र को चैनल दिखाएं (ट्रीटमेंट ग्रुप), बाकियों को न दिखाएं (कंट्रोल ग्रुप), और कन्वर्ज़न रेट का फ़र्क मापें। यही फ़र्क असली अतिरिक्त असर है। इस चैप्टर में इंक्रीमेंटैलिटी टेस्टिंग और उसका इस्तेमाल कब करें, यह बताया गया है।
एट्रिब्यूशन बनाम इंक्रीमेंटैलिटी
एट्रिब्यूशन: जिन लोगों ने कन्वर्ट किया, उन्हें आख़िरी बार किस चैनल ने छुआ? मापना आसान है, पर यह साबित नहीं करता कि कारण वही था।
इंक्रीमेंटैलिटी: अगर हम इस चैनल को पूरी तरह हटा दें, तो कितना रेवेन्यू खोएंगे? इससे कारण साबित होता है और असली असर मापा जाता है।
उदाहरण: 100 लोगों ने कन्वर्ट किया। Google Ads के लास्ट-क्लिक में 60 को क्रेडिट मिला। लेकिन इंक्रीमेंटैलिटी टेस्ट दिखाता है: अगर हम Google Ads न चलाते, तो उन 60 में से 50 फिर भी कन्वर्ट होते (दूसरे चैनलों से)। Google Ads की असली इंक्रीमेंटैलिटी 10 कन्वर्ज़न है, 60 नहीं।
इंक्रीमेंटैलिटी टेस्ट के प्रकार
जगह के आधार पर टेस्टिंग
कुछ इलाकों में विज्ञापन चलाएं (ट्रीटमेंट), बाकियों में नहीं (कंट्रोल)। कन्वर्ज़न रेट की तुलना करें। उदाहरण: सैन फ़्रांसिस्को में Google Ads चलाएं (ट्रीटमेंट), बर्कले में नहीं (कंट्रोल)। अगर सैन फ़्रांसिस्को का कन्वर्ज़न रेट ज़्यादा है, तो विज्ञापन अतिरिक्त असर डाल रहे हैं।
फ़ायदा: सरल, तेज़। नुकसान: इलाकों के फ़र्क से नतीजे उलझ सकते हैं (सैन फ़्रांसिस्को ज़्यादा अमीर है, इसलिए कन्वर्ज़न रेट ऊपर खिसक जाता है)।
होल्डआउट ग्रुप
एक रैंडम 10% (कंट्रोल) को छोड़कर बाकी सबको विज्ञापन दिखाएं। कन्वर्ज़न रेट की तुलना करें: विज्ञापन देखने वाले यूज़र बनाम होल्डआउट यूज़र। फ़र्क ही इंक्रीमेंटैलिटी है।
फ़ायदा: सटीक, उलझाने वाली बातों को काबू करता है। नुकसान: बड़ा बजट चाहिए (असर मापने के लिए हम अपनी 10% ऑडियंस को टारगेट नहीं करते)।
समय के आधार पर टेस्टिंग
कुछ समय अवधि में विज्ञापन चलाएं (ट्रीटमेंट), बाकी में नहीं (कंट्रोल)। उदाहरण: पेड सर्च सोम-गुरु चलाएं, शुक्र-रवि नहीं। कन्वर्ज़न रेट की तुलना करें। अगर सोम-गुरु का रेट ज़्यादा है, तो विज्ञापन अतिरिक्त असर डाल रहे हैं।
फ़ायदा: सरल। नुकसान: हफ़्ते के दिनों का फ़र्क नतीजे उलझाता है (वीकेंड पर कन्वर्ज़न रेट वैसे ही कम रहता है)।
इंक्रीमेंटैलिटी टेस्ट चलाना
स्टेप 1: अनुमान तय करें। "Google Ads बेसलाइन से ऊपर अतिरिक्त कन्वर्ज़न लाता है।"
स्टेप 2: टेस्ट का प्रकार चुनें। होल्डआउट ग्रुप सबसे सटीक है। बजट हो तो वही इस्तेमाल करें।
स्टेप 3: अपने टेस्ट का साइज़ तय करें। फ़र्क पकड़ने के लिए काफ़ी सैंपल चाहिए। अगर बेसलाइन कन्वर्ज़न 5% है और आप 2% की बढ़त पकड़ना चाहते हैं, तो हर ग्रुप में करीब 10,000 चाहिए। किसी सांख्यिकीविद से पूछें या पावर कैलकुलेटर इस्तेमाल करें।
स्टेप 4: टेस्ट 2-4 हफ़्ते चलाएं। लंबे टेस्ट रोज़ के उतार-चढ़ाव से आने वाला फ़र्क घटाते हैं।
स्टेप 5: नतीजों का विश्लेषण करें। क्या फ़र्क सांख्यिकीय रूप से भरोसेमंद है? (p < 0.05)। अगर हां, तो आपने इंक्रीमेंटैलिटी साबित कर दी।
इंक्रीमेंटैलिटी टेस्टिंग की चुनौतियां
खर्च: होल्डआउट ग्रुप का मतलब है जानबूझकर रेवेन्यू खोना (हम अपनी 10% ऑडियंस को टारगेट नहीं करते)। यह सिर्फ़ ज़्यादा खर्च वाले चैनलों के लिए सही है, जहां मिलने वाली जानकारी कीमती हो।
कैनिबलाइज़ेशन: अगर यूज़र को आपका विज्ञापन नहीं दिखता, तो वह ऑर्गेनिक सर्च या डायरेक्ट ट्रैफ़िक से आ सकता है। इंक्रीमेंटैलिटी इसे पकड़ लेती है (यह कंट्रोल ग्रुप के व्यवहार में शामिल है)।
लंबे समय के असर: विज्ञापनों का ब्रांड पर असर कुछ दिन या हफ़्ते बाद दिख सकता है। ज़्यादातर टेस्ट कम समय के होते हैं, इसलिए लंबे समय के असर छूट जाते हैं।
मैं कैसे तय करूं कि इंक्रीमेंटैलिटी टेस्ट चलाऊं या नहीं?
इंक्रीमेंटैलिटी महंगी है (होल्डआउट में पैसा जाता है)। टेस्ट इनके लिए चलाएं: ज़्यादा खर्च वाले चैनल (Google Ads, Facebook Ads), जहां एट्रिब्यूशन साफ़ नहीं है, और जहां बड़े बजट के फ़ैसले हो रहे हैं। इनके लिए न चलाएं: छोटे चैनल, जहां एट्रिब्यूशन साफ़ है। बजट: हर टेस्ट $10k-50k+। इसे सबसे अहम सवालों के लिए रखें।
इंक्रीमेंटैलिटी टेस्ट के लिए कितना सैंपल साइज़ चाहिए?
यह बेसलाइन कन्वर्ज़न रेट और आप कितनी बढ़त पकड़ना चाहते हैं, उस पर निर्भर है। मोटा नियम: हर ग्रुप (कंट्रोल और ट्रीटमेंट) में 5,000-10,000 चाहिए। अगर बेसलाइन 5% है और आप 2% की बढ़त (नया रेट 7%) पकड़ना चाहते हैं, तो हर ग्रुप में करीब 10,000 चाहिए। अपनी स्थिति का सही आंकड़ा पाने के लिए पावर कैलकुलेटर इस्तेमाल करें ('statistical power calculator' सर्च करें)।
इंक्रीमेंटैलिटी टेस्ट कितने समय चलाना चाहिए?
कम से कम 2-4 हफ़्ते (रोज़ का फ़र्क बराबर करने के लिए)। 4-8 हफ़्ते बेहतर है (हफ़्ते के पैटर्न पकड़ में आते हैं)। लंबा टेस्ट = ज़्यादा खर्च पर ज़्यादा भरोसेमंद। अगर आपका सेल्स साइकिल 30 दिन का है, तो पूरा साइकिल पकड़ने के लिए टेस्ट 30+ दिन चलाएं।
क्या मैं इंक्रीमेंटैलिटी टेस्टिंग से चैनल इंटरैक्शन (एक चैनल दूसरे की कैसे मदद करता है) माप सकता हूं?
हां, पर यह ज़्यादा जटिल है। टेस्ट का डिज़ाइन: (1) कंट्रोल (कोई चैनल नहीं), (2) ट्रीटमेंट A (सिर्फ़ चैनल A), (3) ट्रीटमेंट B (सिर्फ़ चैनल B), (4) ट्रीटमेंट A+B (दोनों चैनल)। नतीजों की तुलना करें। अगर A+B > A + B है, तो तालमेल है। इसके लिए बड़े सैंपल और ज़्यादा जटिल विश्लेषण चाहिए।
टेस्टिंग में होल्डआउट ग्रुप और कंट्रोल ग्रुप में क्या फ़र्क है?
होल्डआउट: आपके ग्राहकों का वह हिस्सा जो (जानबूझकर) चैनल नहीं देखता। कंट्रोल ग्रुप: प्रयोग में वह ग्रुप जिसे ट्रीटमेंट नहीं मिलता (तुलना के लिए)। सोच एक ही है, शब्द अलग हैं। होल्डआउट लगातार चलता है (हमेशा का होल्डआउट ग्रुप), जबकि कंट्रोल किसी ख़ास टेस्ट की अवधि के लिए होता है।
मैनेजमेंट को इंक्रीमेंटैलिटी टेस्ट के नतीजे कैसे दिखाऊं?
दिखाएं: बेसलाइन कन्वर्ज़न (5%), ट्रीटमेंट कन्वर्ज़न (6%), बढ़त (1 प्रतिशत अंक, 20% की सापेक्ष बढ़ोतरी)। कॉन्फ़िडेंस इंटरवल दिखाएं: बढ़त 0.5-1.5 प्रतिशत अंक है (हमें इस दायरे पर भरोसा है)। बजट पर असर: अगर इंक्रीमेंटैलिटी एट्रिब्यूशन के दावे से 20% कम है, तो ROI दोबारा निकालें। इससे बेहतर फ़ैसलों के ज़रिए टेस्ट का खर्च सही ठहरता है।