A/B टेस्टिंग एनालिटिक्स: डेटा से चुनें कि कौन सा वैरिएशन बेहतर चलता है

आपके प्रोडक्ट पेज पर एक हेडलाइन है। आपको लगता है कि कोई दूसरी हेडलाइन बेहतर कन्वर्ट कर सकती है। आप अंदाज़ा लगा सकते हैं। या आप अपने आधे विज़िटर को पुरानी हेडलाइन और आधे को नई दिखा सकते हैं, हर एक का कन्वर्ज़न रेट माप सकते हैं, और डेटा को तय करने दे सकते हैं कि कौन सी बेहतर है। यही A/B टेस्टिंग एनालिटिक्स है।

A/B टेस्टिंग वैरिएशन की तुलना करने और जीतने वाले को खोजने के लिए डेटा का इस्तेमाल करती है। यह लेख बताता है कि A/B टेस्ट कैसे काम करते हैं, स्टैटिस्टिकल सिग्निफ़िकेंस का मतलब क्या है, सैंपल साइज़ क्यों मायने रखता है, टेस्टिंग की आम ग़लतियाँ क्या हैं, और टेस्ट करने लायक वैरिएशन कैसे चुनें।

A/B टेस्टिंग (इसे स्प्लिट टेस्टिंग भी कहते हैं) किसी चीज़ के दो वर्शन की तुलना करती है, यह देखने के लिए कि कौन बेहतर चलता है। वर्शन A (कंट्रोल): आपकी मौजूदा हेडलाइन। वर्शन B (वैरिएशन): कोई दूसरी हेडलाइन। आप अपना ट्रैफ़िक 50/50 बाँटते हैं, मापते हैं कि कौन सी हेडलाइन ज़्यादा कन्वर्ट करती है, और विजेता तय करते हैं।

A/B टेस्टिंग जवाब देती है: क्या यह बदलाव सच में बेहतर है या फ़र्क़ बस संयोग है? टेस्टिंग के बिना आप अंदरूनी एहसास पर चलते हैं। टेस्टिंग के साथ आप डेटा पर चलते हैं।

A/B टेस्टिंग क्या है और यह क्या जवाब देती है

A/B टेस्टिंग दो वर्शन की तुलना करती है और मापती है कि किसी ख़ास मेट्रिक पर कौन बेहतर चलता है। क्लिक-थ्रू रेट। कन्वर्ज़न रेट। पेज पर बिताया समय। प्रति विज़िटर रेवेन्यू। आप तब तक टेस्ट चलाते हैं जब तक फ़ैसले के लिए पर्याप्त डेटा न आ जाए।

A/B टेस्ट जवाब देता है: इन वर्शन के बीच का फ़र्क़ असली है या बेतरतीब? क्या यह बदलाव करने लायक है या मुझे कुछ और आज़माना चाहिए? जवाब डेटा से आता है, राय से नहीं।

स्टैटिस्टिकल सिग्निफ़िकेंस कैसे काम करता है

आप दो हेडलाइन टेस्ट करते हैं। हेडलाइन A 10 प्रतिशत कन्वर्ट करती है (1,000 में से 100)। हेडलाइन B 10.5 प्रतिशत कन्वर्ट करती है (1,000 में से 105)। हेडलाइन B बेहतर है। लेकिन क्या यह फ़र्क़ असली है या बस बेतरतीब बदलाव?

स्टैटिस्टिकल सिग्निफ़िकेंस जवाब देता है: अगर इन हेडलाइन के बीच कोई फ़र्क़ नहीं होता, तो सिर्फ़ संयोग से इतना बड़ा फ़र्क़ दिखने की कितनी संभावना है? अगर संभावना बहुत कम है (5 प्रतिशत से कम), तो फ़र्क़ स्टैटिस्टिकली सिग्निफ़िकेंट है। आप भरोसा कर सकते हैं कि वह असली है।

अगर संभावना ज़्यादा है (5 प्रतिशत से ज़्यादा), तो फ़र्क़ बेतरतीब संयोग हो सकता है। आपको उस पर कार्रवाई नहीं करनी चाहिए।

ज़्यादातर टेस्ट में 95 प्रतिशत कॉन्फ़िडेंस चाहिए, यानी फ़र्क़ के बेतरतीब होने की संभावना सिर्फ़ 5 प्रतिशत होनी चाहिए। कुछ टेस्ट में 99 प्रतिशत कॉन्फ़िडेंस चाहिए (बेतरतीब होने की संभावना सिर्फ़ 1 प्रतिशत)।

टेस्टिंग में सैंपल साइज़ क्यों मायने रखता है

आप हेडलाइन B को 20 लोगों पर टेस्ट करते हैं और 20 प्रतिशत कन्वर्ज़न रेट मिलता है (4 कन्वर्ज़न)। हेडलाइन A को 10 प्रतिशत मिला (2 कन्वर्ज़न)। हेडलाइन B बेहतर है, है ना? शायद। या हो सकता है इतने छोटे सैंपल में यह बस संयोग हो।

यही हेडलाइन 10,000 लोगों पर टेस्ट करें। हेडलाइन A को 10,000 में से 1,000 कन्वर्ज़न मिलते हैं (10 प्रतिशत)। हेडलाइन B को 10,000 में से 950 (9.5 प्रतिशत)। अब हेडलाइन A बेहतर है। बड़े सैंपल के साथ संयोग का असर घट जाता है और असली पैटर्न उभर आते हैं।

बड़ा सैंपल साइज़ आपको नतीजे पर ज़्यादा भरोसा देता है। छोटे सैंपल में शोर होता है और वे भरोसे लायक नहीं होते।

A/B टेस्टिंग की आम ग़लतियाँ

टेस्ट को बहुत जल्दी रोक देना: दो दिन बाद आपको एक वैरिएशन जीतता दिखता है। आप जीत घोषित करके उसे चालू कर देते हैं। लेकिन दो हफ़्ते बाद पैटर्न पलट जाता है और असली वर्शन जीत जाता है। शुरुआती डेटा बेतरतीब बदलाव था। टेस्ट को काफ़ी लंबा चलने दें (कम से कम दो हफ़्ते, बेहतर होगा चार)।

एक साथ बहुत सारे टेस्ट चलाना: आप हेडलाइन, बटन का रंग और फ़ॉर्म की लंबाई, सब एक साथ टेस्ट करते हैं। एक वैरिएशन जीतता है पर आपको नहीं पता कि किस चीज़ की वजह से। एक बार में एक ही चीज़ टेस्ट करें।

बेमतलब के बदलाव टेस्ट करना: आप बटन का रंग टेस्ट करते हैं (नीला बनाम थोड़ा गहरा नीला)। स्टैटिस्टिकली सिग्निफ़िकेंट फ़र्क़ दिखाने के लिए इस टेस्ट को 100,000 विज़िटर चाहिए। ऐसे बदलाव टेस्ट करें जो मायने रखते हैं (हेडलाइन बनाम अलग वैल्यू प्रपोज़िशन, नीला बनाम थोड़ा कम नीला नहीं)।

मौसमी असर को अनदेखा करना: आप नवंबर से जनवरी तक टेस्ट चलाते हैं। आपका वैरिएशन जीतता है। पर जनवरी धीमा मौसम है। जब आप इसे पूरे साल चलाते हैं, तो वह हार जाता है। टेस्ट हमेशा कई मौसमों में चलाएँ।

कोरिलेशन को कॉज़ेशन समझ लेना: वर्शन B जीतता है। आप मान लेते हैं कि बदलाव की वजह से जीत मिली। पर आपने टेस्ट के दौरान एक मार्केटिंग कैंपेन भी शुरू किया था। जीत कैंपेन की वजह से आई, वैरिएशन की वजह से नहीं। बाहरी कारकों को क़ाबू में रखें।

क्या टेस्ट करें, यह कैसे चुनें

ऐसे बदलाव टेस्ट करें जिनका असर बड़ा हो सकता है। छोटे बदलाव जीत भी जाएँ तो भी ख़ास फ़र्क़ नहीं डालते। बटन का रंग बदलने से कन्वर्ज़न 0.5 प्रतिशत बढ़ सकता है। हेडलाइन बदलने से कन्वर्ज़न 5 प्रतिशत बढ़ सकता है। पहले बड़े बदलाव टेस्ट करें।

अपनी परिकल्पना से जुड़े बदलाव टेस्ट करें। अगर आपकी परिकल्पना है कि “उलझा हुआ चेकआउट फ़ॉर्म ड्रॉप-ऑफ़ की वजह है,” तो एक सरल फ़ॉर्म टेस्ट करें। बेतरतीब रंग और बटन की जगहें टेस्ट न करें।

बदलाव एक बार में एक टेस्ट करें। अगर आप हेडलाइन, बटन का टेक्स्ट और फ़ॉर्म के फ़ील्ड एक साथ बदलते हैं, तो आप नहीं बता सकते कि सुधार किसकी वजह से हुआ।

A/B टेस्ट के नतीजे कैसे पढ़ें

नतीजा दिखाता है: वैरिएशन A का कन्वर्ज़न रेट 10 प्रतिशत था। वैरिएशन B का कन्वर्ज़न रेट 11 प्रतिशत था। B 10 प्रतिशत बेहतर है (सापेक्ष सुधार)। कॉन्फ़िडेंस लेवल 95 प्रतिशत है, p-value 0.03 के साथ।

इसका मतलब: वैरिएशन B बेहतर है। हमें 95 प्रतिशत भरोसा है कि यह फ़र्क़ असली है, बेतरतीब संयोग नहीं।

अगर कॉन्फ़िडेंस लेवल 85 प्रतिशत है (p-value 0.15), तो नतीजा स्टैटिस्टिकली सिग्निफ़िकेंट नहीं है। आपको विजेता घोषित नहीं करना चाहिए; और डेटा चाहिए।

टेस्टिंग कब जारी रखें और कब रोकें

टेस्टिंग जारी रखें अगर: नतीजा स्टैटिस्टिकली सिग्निफ़िकेंट नहीं है और आप अपने सैंपल साइज़ के लक्ष्य तक नहीं पहुँचे हैं, या आपने कुछ अनपेक्षित सीखा है और और गहराई में जाना चाहते हैं।

टेस्टिंग रोकें अगर: आप स्टैटिस्टिकल सिग्निफ़िकेंस तक पहुँच गए हैं और विजेता घोषित कर सकते हैं, या आपने टेस्ट चार हफ़्ते या उससे ज़्यादा चला लिया है और नतीजे सिग्निफ़िकेंस की ओर नहीं बढ़ रहे। तब वैरिएशन शायद बराबर अच्छे हैं।

अक्सर पूछे जाने वाले सवाल