टेस्ट बहुत जल्दी रोक देना (पीकिंग बायस)
गलती क्या है
सबसे बड़ी गलती: दो हफ़्ते के लिए प्लान किए टेस्ट के नतीजे एक हफ़्ते बाद ही देख लेना।
यह गलती क्यों है
एक हफ़्ते में हर वेरिएशन पर 400 कन्वर्ज़न मिलते हैं। दो हफ़्ते में 800। 400 पर रैंडम शोर ज़्यादा होता है। आपको ऐसे फ़र्क दिखते हैं जो ज़्यादा डेटा आने पर गायब हो जाते हैं।
उदाहरण: पहले हफ़्ते में ट्रीटमेंट का कन्वर्ज़न 9 प्रतिशत है। कंट्रोल का 8 प्रतिशत। 1 प्रतिशत की जीत असली लगती है। आप नतीजे देखकर उत्साहित हो जाते हैं। दूसरे हफ़्ते में ट्रीटमेंट गिरकर 8.5 प्रतिशत पर आ जाता है। कंट्रोल 8 प्रतिशत पर रहता है। आधा प्रतिशत की जीत। यह अब भी स्टैटिस्टिकली सिग्निफ़िकेंट है, लेकिन पहले हफ़्ते के मुकाबले बहुत छोटी है।
अगर आप पहले हफ़्ते पर रुक जाते, तो ट्रीटमेंट का फ़ायदा 50 प्रतिशत बढ़ाकर आंक लेते।
इससे कैसे बचें
टेस्ट शुरू करने से पहले अवधि तय कर लें। दो हफ़्ते सामान्य हैं। इसे लिखकर रखें। बीच में नतीजे न देखें। आखिरी तारीख का कैलेंडर रिमाइंडर लगा लें।
एक साथ कई बदलाव टेस्ट करना
गलती क्या है
आप हेडलाइन बदलते हैं। बटन का रंग बदलते हैं। बटन का टेक्स्ट बदलते हैं। फ़ॉर्म के फ़ील्ड बदलते हैं। एक साथ चार बदलाव।
यह गलती क्यों है
ट्रीटमेंट का कन्वर्ज़न 12 प्रतिशत है। कंट्रोल का 10 प्रतिशत। 2 प्रतिशत की जीत। आप चारों बदलाव लागू कर देते हैं।
एक महीने बाद कन्वर्ज़न गिरकर 9 प्रतिशत हो जाता है। कुछ बिगड़ा है। लेकिन कौन सा बदलाव? हेडलाइन, बटन या फ़ॉर्म? आपने चार चीज़ें बदलीं और नहीं जानते कि किसने नुकसान किया। आप यह नहीं सीख सकते कि कौन सा बदलाव फ़ायदेमंद था और कौन सा नुकसानदेह।
इससे कैसे बचें
सिर्फ़ एक बदलाव करें। पहले सिर्फ़ हेडलाइन बदलें। उसे टेस्ट करें। जीते तो लागू करें। फिर बटन का रंग टेस्ट करें। फिर फ़ॉर्म। एक बार में एक वेरिएबल।
ट्रैकिंग की गलतियाँ और टूटे हुए टेस्ट
गलती क्या है
टेस्ट दो हफ़्ते चलता है। नतीजों में ट्रीटमेंट 5 प्रतिशत से जीत रहा है। आप उसे लागू कर देते हैं। एक महीने बाद पता चलता है कि ट्रैकिंग टूटी हुई थी। कन्वर्ज़न पिक्सेल 90 प्रतिशत विज़िटर्स के लिए फ़ायर ही नहीं हुआ।
यह गलती क्यों है
नतीजे बेकार हैं। लागू करने का फ़ैसला गलत डेटा पर टिका था। आपने इंजीनियरिंग का समय ऐसी चीज़ बनाने में लगाया जो अमान्य नतीजों पर आधारित थी।
इससे कैसे बचें
टेस्ट सेटअप की जाँच करते रहें। एक सादा मैन्युअल फ़्लो चलाकर देखें। क्या इवेंट फ़ायर हो रहा है? ट्रैकिंग लॉग देखें। पक्का करें कि पिक्सेल फ़ायर हो रहा है। विजेता घोषित करने से पहले ट्रैकिंग का ऑडिट करें।
सैंपल साइज़ का काफ़ी न होना
गलती क्या है
आप सिर्फ़ 500 कुल कन्वर्ज़न के साथ टेस्ट चलाते हैं। हर वेरिएशन पर 250। इतने छोटे सैंपल में रैंडम शोर बहुत बड़ा होता है। 5 प्रतिशत के फ़र्क आम हैं। 10 प्रतिशत के फ़र्क भी चौंकाने वाले नहीं हैं।
आपको ट्रीटमेंट कंट्रोल से 5 प्रतिशत ऊपर दिखता है। स्टैटिस्टिकल सिग्निफ़िकेंस नहीं है। आप टेस्ट को अनिर्णायक घोषित कर देते हैं।
यह गलती क्यों है
आपका टेस्ट शुरू से ही कमज़ोर था। आपको पहले ही पता होना चाहिए था कि टेस्ट को एक हफ़्ता नहीं, दो हफ़्ते चाहिए। कमज़ोर टेस्ट समय बर्बाद करते हैं और अनिर्णायक नतीजे देते हैं।
इससे कैसे बचें
शुरू करने से पहले सैंपल साइज़ निकाल लें। आपको कितने कन्वर्ज़न चाहिए? वहाँ तक पहुँचने में टेस्ट को कितना समय लगेगा? अगर टेस्ट में तीन महीने लगेंगे, तो किसी और चीज़ को टेस्ट करने पर सोचें जिसके नतीजे जल्दी मिलें।
बाहरी कारकों को काबू में न रखना
गलती क्या है
आप टेस्ट मंगलवार से गुरुवार तक चलाते हैं। टेस्ट से पहले के नतीजे सोमवार के हैं। टेस्ट के बाद के नतीजे शुक्रवार के हैं। आप शुक्रवार की तुलना सोमवार से करते हैं।
लेकिन शुक्रवार का ट्रैफ़िक सोमवार से अलग होता है। शुक्रवार को वीकेंड वाली आराम की ब्राउज़िंग होती है। सोमवार को कामकाजी दिन की ब्राउज़िंग। अलग ऑडियंस। अलग कन्वर्ज़न रेट। आप फ़र्क का श्रेय टेस्ट को दे देते हैं, जबकि असल में वह ट्रैफ़िक की बनावट का फ़र्क है।
यह गलती क्यों है
आपने बदलाव ट्रैफ़िक की बनावट के फ़र्क के आधार पर लागू किया, ट्रीटमेंट के असर के आधार पर नहीं। जब नई बनावट वाला ट्रैफ़िक आता है, तो नतीजे टिकते नहीं।
इससे कैसे बचें
टेस्ट को इतना लंबा चलाएं कि ट्रैफ़िक की बनावट संतुलित हो जाए। दो हफ़्ते में कामकाजी दिन और वीकेंड दोनों आ जाते हैं। एक हफ़्ता झुका हुआ हो सकता है।
टेस्ट के बीच में हाइपोथीसिस बदलना
गलती क्या है
आप इस हाइपोथीसिस के साथ टेस्ट शुरू करते हैं: छोटा फ़ॉर्म सबमिशन बढ़ाता है।
आधे रास्ते में आपको सपोर्ट से नया डेटा मिलता है। ग्राहक ज़्यादा फ़ील्ड विकल्प चाहते हैं। आप हाइपोथीसिस बदल देते हैं: शायद ज़्यादा फ़ील्ड सच में मदद करें। अब आपके पास एक हाइपोथीसिस के लिए बना टेस्ट है, जिसका विश्लेषण दूसरी हाइपोथीसिस की तरह हो रहा है।
यह गलती क्यों है
नतीजे उलझ जाते हैं। आप बता नहीं सकते कि टेस्ट असल में किस हाइपोथीसिस को परख रहा था। आप उलझी हुई व्याख्या के आधार पर बदलाव लागू कर सकते हैं।
इससे कैसे बचें
टेस्ट शुरू करने से पहले हाइपोथीसिस लिख लें। उस पर टिके रहें। अगर नई जानकारी मिले और आप दूसरी हाइपोथीसिस परखना चाहें, तो पहले मौजूदा टेस्ट पूरा करें। फिर नया टेस्ट चलाएं।
विजेता को लागू न करना
गलती क्या है
टेस्ट खत्म होता है। ट्रीटमेंट जीतता है। आप कहते हैं, “हम बाद में लागू करेंगे।” बाद कभी आता नहीं। टेस्ट से कोई फ़ायदा नहीं हुआ। आपका समय बर्बाद हुआ।
यह गलती क्यों है
विजेता तभी फ़ायदा देते हैं जब उन्हें लागू किया जाए। टेस्टिंग प्रोग्राम तभी बढ़ता है जब आप विजेताओं को लगातार लागू करते हैं। एक भी बिना लागू किया विजेता रफ़्तार और टीम का टेस्टिंग पर भरोसा खत्म कर देता है।
इससे कैसे बचें
टेस्ट चलाने से पहले लागू करने का वादा कर लें। अगर ट्रीटमेंट जीते, तो एक हफ़्ते के अंदर लागू करें। अगर कंट्रोल जीते, तो तुरंत पुराना वर्ज़न वापस लगाएं। विजेताओं को पड़े-पड़े सड़ने न दें।
नतीजों को सेगमेंट में न बाँटना
गलती क्या है
कुल नतीजों में ट्रीटमेंट जीतता है। आप उसे हर जगह लागू कर देते हैं।
लेकिन सेगमेंट देखने पर पता चलता है: डेस्कटॉप पर ट्रीटमेंट जीतता है। मोबाइल पर ट्रीटमेंट हारता है। इंटरनेशनल पर ट्रीटमेंट का कोई असर नहीं है। हर जगह लागू करने से मोबाइल और इंटरनेशनल विज़िटर्स को नुकसान होता है।
यह गलती क्यों है
आपने कुल औसत के लिए ऑप्टिमाइज़ किया, लेकिन कुछ खास सेगमेंट को नुकसान पहुँचाया। मोबाइल ट्रैफ़िक डेस्कटॉप से तेज़ी से बढ़ सकता है। ट्रीटमेंट लागू करके आपने भविष्य में बढ़ने वाले सेगमेंट को चोट पहुँचाई।
इससे कैसे बचें
ग्लोबल विजेता घोषित करने से पहले हमेशा सेगमेंट के नतीजे देखें। विजेता सब पर लागू न हो, यह हो सकता है। जिन सेगमेंट में वह जीतता है, वहाँ लागू करें। जहाँ नहीं जीतता, वहाँ छोड़ दें।
जीत और कारण की दिशा को गड़बड़ा देना
गलती क्या है
टेस्ट दिखाता है कि ट्रीटमेंट कंट्रोल से बेहतर है। आप मान लेते हैं कि ट्रीटमेंट बेहतर है। लेकिन अगर कंट्रोल ही टूटा हुआ हो तो? कंट्रोल का बटन काम नहीं करता। सब लोग उलझ जाते हैं। ट्रीटमेंट का बटन ठीक चलता है। ट्रीटमेंट इसलिए जीतता है कि कंट्रोल टूटा है, इसलिए नहीं कि ट्रीटमेंट अपने आप में बेहतर है।
यह गलती क्यों है
आप गलत सबक सीखते हैं। आपको लगता है कि बटन का स्टाइल जीता, जबकि असल सबक यह था कि “चलता हुआ बटन टूटे हुए बटन से बेहतर है।” आगे की टेस्टिंग के लिए इसके मायने अलग हैं।
इससे कैसे बचें
समझें कि ट्रीटमेंट क्यों जीता। क्या ट्रीटमेंट बेहतर था या कंट्रोल कमज़ोर? दोनों के मायने अलग हैं।
अलग नतीजे की उम्मीद में वही टेस्ट दोहराना
गलती क्या है
पहला टेस्ट: ट्रीटमेंट कंट्रोल से हार जाता है। आप थोड़े बदलाव के साथ फिर कोशिश करते हैं। दूसरा टेस्ट: वही नतीजा। कंट्रोल फिर जीतता है। आप फिर कोशिश करते हैं। तीसरा टेस्ट: वही पैटर्न। कंट्रोल जीतता रहता है।
आप एक ही चीज़ बार-बार टेस्ट कर रहे हैं और हर बार वही नतीजा पा रहे हैं।
यह गलती क्यों है
आप अपना टेस्टिंग बजट ऐसे तरीके पर खर्च कर रहे हैं जो काम नहीं करता। उसी हारने वाली रणनीति को परखते रहने से बेहतर है कि दूसरा तरीका अपनाया जाए।
इससे कैसे बचें
एक ही चीज़ टेस्ट करना बंद करें। दूसरी रणनीति चाहिए। मौजूदा तरीका काम नहीं कर रहा। दूसरे ट्रीटमेंट की तरफ़ मुड़ें।
नतीजों और सीख का रिकॉर्ड न रखना
गलती क्या है
टेस्ट खत्म होता है। नतीजों में विजेता दिखता है। आप उसे लागू कर देते हैं। फिर उसके बारे में भूल जाते हैं।
छह महीने बाद टीम का नया सदस्य पूछता है, “हेडलाइन के बारे में हमने क्या सीखा?” आपके पास कोई रिकॉर्ड नहीं है। फिर से शुरुआत करनी पड़ती है।
यह गलती क्यों है
आप संस्था का ज्ञान खो देते हैं। हर टेस्ट से कुछ सीखना चाहिए। रिकॉर्ड के बिना, टीम के सदस्यों के जाते ही ज्ञान भी चला जाता है।
इससे कैसे बचें
हर टेस्ट का रिकॉर्ड रखें। हाइपोथीसिस। नतीजे। सीख। टीम के साथ साझा करें। संस्था का ज्ञान बनाएं।
अक्सर पूछे जाने वाले सवाल
अगर मैं हफ़्ते में एक बार टेस्ट के नतीजे देखता हूँ, तो क्या यह पीकिंग है?
नहीं, अगर आप दो हफ़्ते की अवधि पर टिके रहते हैं और पहले हफ़्ते के नतीजों के आधार पर अपना व्यवहार नहीं बदलते। आप निगरानी कर रहे हैं, पर जल्दी रोक नहीं रहे। देखना ठीक है। जल्दी रोक देना पीकिंग है। उदाहरण: पहले हफ़्ते में ट्रीटमेंट 9 प्रतिशत, कंट्रोल 8 प्रतिशत। ट्रीटमेंट विजेता लगता है। अभी लागू न करें। पूरे दो हफ़्ते पर टिके रहें। दूसरे हफ़्ते में ट्रीटमेंट 8.8 प्रतिशत और कंट्रोल 8 प्रतिशत हो सकता है। छोटा फ़र्क सामने आता है। अगर आप पहले हफ़्ते पर रुक जाते, तो फ़ायदा 50 प्रतिशत बढ़ाकर आंक लेते। अवधि पर टिके रहें, चाहें तो हर हफ़्ते देखें, पर शुरुआती नतीजों पर कदम न उठाएं। WEMASY के वेबसाइट बिल्डर से आप यह सीधे अपनी वेबसाइट पर सेट कर सकते हैं।
क्या मैं एक साथ दो मिलते-जुलते टेस्ट चला सकता हूँ (अलग इलाकों में अलग हेडलाइन)?
हाँ, अगर इलाके सच में अलग हैं और आप उनकी आपस में तुलना नहीं कर रहे। US ट्रैफ़िक पर हेडलाइन A बनाम B टेस्ट करें। EU ट्रैफ़िक पर हेडलाइन C बनाम D टेस्ट करें। ये अलग टेस्ट हैं। साथ-साथ टेस्ट करना ठीक है। लेकिन इलाकों के पार A की तुलना C से न करें, क्योंकि ऑडियंस की बनावट अलग है। अलग इलाकों की ऑडियंस अलग दर से कन्वर्ट होती है। US में बेसलाइन 12 प्रतिशत हो सकती है। EU में 8 प्रतिशत। US में हेडलाइन A जीतती है। EU में हेडलाइन C जीतती है। आप यह नतीजा नहीं निकाल सकते कि हेडलाइन A हर जगह बेहतर है, क्योंकि इलाकों की बेसलाइन अलग हैं। साथ-साथ टेस्ट करें, पर विश्लेषण अलग-अलग करें।
अगर नतीजों में कोई सिग्निफ़िकेंट फ़र्क नहीं दिखता, तो क्या मान लूँ कि दोनों ट्रीटमेंट एक जैसे हैं?
नहीं। मानें कि फ़र्क साफ़ नहीं है। हो सकता है वे एक जैसे हों। हो सकता है अलग हों, पर फ़र्क पकड़ने के लिए और डेटा चाहिए था। उदाहरण: कंट्रोल पर 500 कन्वर्ज़न। ट्रीटमेंट पर 505 कन्वर्ज़न। 1 प्रतिशत का फ़र्क। 88 प्रतिशत कॉन्फिडेंस। सिग्निफ़िकेंट नहीं। आप यह नहीं कह सकते कि वे एक जैसे हैं। बस इतना कह सकते हैं कि फ़र्क साफ़ नहीं है। विकल्प: ज़्यादा डेटा के लिए टेस्ट को और लंबा चलाएं। या अगर ट्रीटमेंट को लागू करना कंट्रोल से आसान है, तो ट्रीटमेंट अपना लें, क्योंकि सबसे बुरी हालत में वे एक जैसे हैं और सबसे अच्छी में ट्रीटमेंट बेहतर है। अगर कंट्रोल आसान है, तो कंट्रोल रखें।
अगर मेरे टेस्ट में सिग्निफ़िकेंट नतीजा आता है पर अंदाज़े से वह गलत लगता है, तो?
अंदाज़े पर नहीं, आँकड़ों पर भरोसा करें। गणित अंदाज़े से ज़्यादा समझदार है। अगर आँकड़े कहते हैं कि नतीजा असली है (95 प्रतिशत कॉन्फिडेंस), तो शायद वह असली ही है। आपका अंदाज़ा गलत हो सकता है। आपका अंदाज़ा सीमित अनुभव पर टिका है। आँकड़े हज़ारों विज़िटर के डेटा पॉइंट पर टिके हैं। आँकड़ों के आधार पर लागू करें। उदाहरण: आपको लगता है कि लाल बटन नीले बटन से बेहतर चलता है। टेस्ट दिखाता है कि नीला बटन साफ़ तौर पर जीतता है। आपका अंदाज़ा गलत था। नीला बटन लागू करें। अपने अंदाज़े पर भरोसा करके टेस्ट डेटा को अनदेखा करते, तो लाल बटन लागू होता और कन्वर्ज़न को नुकसान होता।
क्या मैं कई छोटे बेमतलब नतीजों को जोड़कर एक बड़ा सिग्निफ़िकेंट नतीजा बना सकता हूँ?
नहीं। हर टेस्ट अपने आप में अलग है। आप अनिर्णायक टेस्ट जोड़कर एक निर्णायक नतीजा नहीं बना सकते। पहला टेस्ट 85 प्रतिशत कॉन्फिडेंस से ट्रीटमेंट को विजेता बताता है। दूसरा टेस्ट उसी ट्रीटमेंट को 80 प्रतिशत कॉन्फिडेंस से विजेता बताता है। क्या दोनों मिलाकर 95 प्रतिशत कॉन्फिडेंस हो गया? नहीं। आँकड़े इस तरह काम नहीं करते। हर टेस्ट स्वतंत्र है। उन्हें जोड़ना आँकड़ों के हिसाब से बेतुका है। शुरू से सही साइज़ और सही पावर वाला टेस्ट चलाएं। या तो आपके पास सिग्निफ़िकेंस है, या नहीं है।
अगर टेस्ट में किसी सेगमेंट के लिए नतीजा मज़बूत है पर कुल मिलाकर कमज़ोर, तो मैं क्या लागू करूँ?
सेगमेंट के लिए तभी लागू करें जब उस सेगमेंट में मज़बूत नतीजा स्टैटिस्टिकली सिग्निफ़िकेंट हो। अगर सेगमेंट छोटा है (ट्रैफ़िक का 10 प्रतिशत), तो सिग्निफ़िकेंस की सीमा तक पहुँचना कठिन होता है। सेगमेंट में फ़ॉल्स पॉज़िटिव हो सकता है। सिर्फ़ कुल नतीजे नहीं, उस सेगमेंट का सिग्निफ़िकेंस अलग से जाँचें। उदाहरण: कुल टेस्ट में ट्रीटमेंट 9 प्रतिशत और कंट्रोल 8.9 प्रतिशत है। मुश्किल से सिग्निफ़िकेंट। लेकिन डेस्कटॉप सेगमेंट में ट्रीटमेंट 10 प्रतिशत और कंट्रोल 8 प्रतिशत है। डेस्कटॉप पर 2 प्रतिशत की जीत। डेस्कटॉप के लिए मज़बूत और सिग्निफ़िकेंट। मोबाइल सेगमेंट में ट्रीटमेंट 8 प्रतिशत और कंट्रोल 8 प्रतिशत है। कोई फ़र्क नहीं। सिर्फ़ डेस्कटॉप के लिए लागू करें। मोबाइल के लिए लागू न करें। अलग सेगमेंट के लिए अलग ट्रीटमेंट सबसे अच्छे होते हैं।