पहला स्टेप: ठोस बातों के साथ हाइपोथेसिस लिखें
अस्पष्ट हाइपोथेसिस फेल होती है
ऐसे नहीं: चेकआउट बदलने से कन्वर्जन बेहतर होगा।
ठोस हाइपोथेसिस जीतती है
बेहतर: हमें लगता है कि चेकआउट को पांच स्टेप की प्रोसेस से एक पेज के फ़ॉर्म में बदलने से कम से कम तीन प्रतिशत ज़्यादा खरीदारी पूरी होगी, क्योंकि फ़ॉर्म लंबा लगने पर ग्राहक छोड़ देते हैं।
हाइपोथेसिस में यह बताना चाहिए। आप क्या बदल रहे हैं। आपको क्यों लगता है कि इससे मदद मिलेगी। आप किस मेट्रिक में सुधार की उम्मीद करते हैं। कितना।
अस्पष्ट हाइपोथेसिस से अस्पष्ट नतीजे मिलते हैं। ठोस हाइपोथेसिस को टेस्ट किया जा सकता है।
दूसरा स्टेप: शुरू करने से पहले सैंपल साइज़ तय करें
गणित मायने रखता है
असली फ़र्क देखने के लिए आपको कितने विज़िटर चाहिए।
फ़ॉर्मूला। हर वेरिएशन के लिए आपको कम से कम पांच सौ कन्वर्जन चाहिए। इसलिए दो वर्ज़न टेस्ट करने पर कुल एक हज़ार।
अपने टेस्ट की अवधि निकालें
अगर आपका कन्वर्जन दो प्रतिशत है और महीने में दो हज़ार विज़िटर आते हैं, तो आपको महीने में चालीस कन्वर्जन मिलते हैं। पांच सौ कन्वर्जन तक पहुंचने में बारह महीने लगते हैं। टेस्ट समय पर पूरा नहीं होगा।
अगर आपका कन्वर्जन दस प्रतिशत है और महीने में पांच हज़ार विज़िटर आते हैं, तो आपको महीने में पांच सौ कन्वर्जन मिलते हैं। एक हज़ार तक पहुंचने में दो महीने लगते हैं। टेस्ट जल्दी पूरा हो जाता है।
अपनी टाइमलाइन पहले से जानें
कम कन्वर्जन रेट वाली वेबसाइटों को लंबे टेस्ट चाहिए। ज़्यादा कन्वर्जन वाली वेबसाइटें जल्दी पूरा कर लेती हैं।
सैंपल साइज़ कैलकुलेटर इस्तेमाल करें। अपना कन्वर्जन रेट और ट्रैफ़िक डालें। कैलकुलेटर बताता है कि टेस्ट में कितना समय लगेगा।
अगर टेस्ट तीन महीने से ज़्यादा लेता है, तो सोचें। क्या यह बदलाव तीन महीने इंतज़ार करने लायक है। या हमें कुछ और टेस्ट करना चाहिए जो जल्दी पूरा हो।
तीसरा स्टेप: टेस्ट का ट्रैफ़िक बंटवारा चुनें
पचास-पचास मानक है
पचास प्रतिशत कंट्रोल को दें। पचास प्रतिशत ट्रीटमेंट को।
सतर्क बंटवारा नतीजे धीमे करता है
कुछ लोग नब्बे-दस का बंटवारा करते हैं। नब्बे प्रतिशत मौजूदा अच्छे वर्ज़न को, दस प्रतिशत उस नए वर्ज़न को जिसके बारे में वे पक्के नहीं हैं। यह सतर्क तरीका है, लेकिन टेस्ट को धीमा करता है।
पचास-पचास मानक है। सबसे तेज़ नतीजे।
चौथा स्टेप: चलाने से पहले टेस्ट की अवधि तय करें
टाइमलाइन पर टिके रहें
कम से कम एक हफ़्ता। सामान्य तौर पर दो हफ़्ते। बहुत ज़्यादा ट्रैफ़िक वाली साइटों के लिए एक महीना।
टेस्ट के दौरान अवधि तय न करें। पहले तय करें। इसे लिख लें। इस पर टिके रहें।
जल्दी झांकने से टेस्ट खराब हो जाते हैं
जल्दी झांकने से टेस्ट खराब हो जाते हैं। आप एक हफ़्ते बाद नतीजे देखते हैं। लगता है कि ट्रीटमेंट जीत रहा है। आप टेस्ट रोक देते हैं। आप इसे लागू कर देते हैं। बाद में आपको पता चलता है कि नतीजे असली नहीं थे। आपने कुछ ऐसा लागू कर दिया जो असल में काम नहीं करता था।
पूरी अवधि चलाएं।
पांचवां स्टेप: ट्रीटमेंट में बदलाव करें
सिर्फ़ एक बदलाव
सिर्फ़ एक बदलाव। कई बदलाव नहीं।
अगर आप चेकआउट को सरल बनाने का टेस्ट कर रहे हैं, तो फ़ॉर्म सरल करें। रंग, कॉपी और लेआउट एक साथ न बदलें। एक समय में एक वेरिएबल।
इसे साफ़ दिखने वाला रखें
बदलाव साफ़ दिखना चाहिए। विज़िटर्स को फ़र्क महसूस होना चाहिए। अगर बदलाव इतना छोटा है कि विज़िटर्स को दिखता ही नहीं, तो टेस्ट काम नहीं करेगा।
छठा स्टेप: टूल में टेस्ट सेट करें
अपना प्लेटफ़ॉर्म चुनें
टेस्टिंग प्लेटफ़ॉर्म इस्तेमाल करें।
इंस्टॉल और कॉन्फ़िगर करें
इसे अपनी वेबसाइट से जोड़ें। ट्रैकिंग कोड इंस्टॉल करें। यह आमतौर पर कोड की एक लाइन या प्लगइन इंस्टॉल होता है।
वर्ज़न और मेट्रिक बनाएं
कंट्रोल वर्ज़न बनाएं। यह मौजूदा वर्ज़न है।
ट्रीटमेंट वर्ज़न बनाएं। अपना बदलाव लागू करें।
ट्रैफ़िक स्प्लिट सेट करें। हर एक को पचास प्रतिशत।
अवधि सेट करें। दो हफ़्ते या जितनी आपने तय की हो।
सफलता की मेट्रिक सेट करें। आप क्या माप रहे हैं। चेकआउट पूरा होना। फ़ॉर्म सबमिट होना। पेज स्क्रॉल।
सातवां स्टेप: बिना झांके इसे चलने दें
इस इच्छा को रोकें
यह मुश्किल है। नतीजे देखने की इच्छा रोकें।
कुछ दिनों बाद के नतीजे बेमतलब होते हैं। छोटे सैंपल में रैंडम उतार-चढ़ाव बहुत बड़ा होता है। आपको ऐसे नतीजे दिखेंगे जो बाद में गायब हो जाते हैं।
कैलेंडर रिमाइंडर लगाएं
नतीजे ठीक अंतिम तारीख पर देखें। उससे पहले नहीं।
टेस्ट खत्म होने की तारीख का कैलेंडर रिमाइंडर लगाएं। तब देखें।
आठवां स्टेप: नतीजों का सही विश्लेषण करें
स्टैटिस्टिकल सिग्निफ़िकेंस देखें
टेस्ट खत्म होता है। आप नतीजे देखते हैं। ट्रीटमेंट ने ग्यारह प्रतिशत पर कन्वर्ट किया। कंट्रोल ने दस प्रतिशत पर। ट्रीटमेंट बेहतर है। सही?
लेकिन क्या यह स्टैटिस्टिकली सिग्निफ़िकेंट था। क्या यह असली है या किस्मत।
कॉन्फ़िडेंस इंटरवल या p-value देखें। कॉन्फ़िडेंस पंचानवे प्रतिशत से ऊपर होना चाहिए या p-value शून्य दशमलव शून्य पांच से नीचे।
स्टैटिस्टिकल सिग्निफ़िकेंस का मतलब
अगर स्टैटिस्टिकल सिग्निफ़िकेंस हां कहता है, तो नतीजा असली है। ट्रीटमेंट लागू करें।
अगर स्टैटिस्टिकल सिग्निफ़िकेंस ना कहता है, तो नतीजा साफ़ नहीं है। किस्मत हो सकती है। असली भी हो सकता है, लेकिन ज़्यादा समय चाहिए था। टेस्ट और लंबा चलाएं या कोई दूसरा बदलाव आज़माएं।
नौवां स्टेप: लागू करें और दर्ज करें
अगर ट्रीटमेंट जीतता है
अगर ट्रीटमेंट जीतता है, तो उसे हमेशा के लिए लागू करें।
जो सीखा उसे दर्ज करें। आपको क्यों लगा कि यह काम करेगा। क्या हुआ। आप आगे क्या टेस्ट करेंगे।
प्लेबुक बनाएं। समय के साथ पैटर्न उभरते हैं। आप सीखते हैं कि आपके ऑडियंस के लिए क्या काम करता है।
अगर कंट्रोल जीतता है
अगर कंट्रोल जीतता है, तो बदलाव वापस ले लें।
दर्ज करें कि कंट्रोल क्यों जीता। शायद आपकी हाइपोथेसिस गलत थी। शायद बदलाव इतना नज़र नहीं आया। शायद ऑडियंस को बदलाव पसंद नहीं आया।
हारा हुआ टेस्ट भी सीख है।
पहले टेस्ट की आम गलतियां
टेस्ट बहुत कम चलाना
एक हफ़्ते बाद आप बेसब्र हो जाते हैं। आप रोक देते हैं। नतीजे अभी असली नहीं हैं।
कई बदलाव एक साथ टेस्ट करना
आपने फ़ॉर्म, बटन और कॉपी तीनों बदल दिए। फ़ॉर्म जीत गया, लेकिन फ़ॉर्म की वजह से या बटन की वजह से। अब आपको नहीं पता।
सिग्निफ़िकेंस की शर्त न रखना
ट्रीटमेंट एक प्रतिशत बेहतर है। किस्मत हो सकती है। आप इसे लागू कर देते हैं। बाद में वह टिकता नहीं।
सब पर टेस्ट करना
आप बदलाव को लेकर घबराए हुए हैं। आप नब्बे प्रतिशत मौजूदा और दस प्रतिशत नए पर टेस्ट करते हैं। टेस्ट बहुत लंबा चलता है।
लागू करने के लिए प्रतिबद्ध न होना
टेस्ट खत्म होता है। ट्रीटमेंट जीत जाता है। आप कहते हैं, हम बाद में लागू करेंगे। आप कभी नहीं करते। टेस्ट से कोई वैल्यू नहीं बनी।
विजेताओं को बाकियों से क्या अलग करता है
ज़्यादा स्मार्ट टेस्टिंग नहीं
ज़्यादा स्मार्ट टेस्टिंग नहीं। लगातार टेस्टिंग।
जीतने वाला पैटर्न
विजेता कंपनियां टेस्ट चलाती हैं। नतीजे आते हैं। वे तुरंत लागू कर देती हैं। वे अगला टेस्ट चलाती हैं।
वे टेस्टिंग प्रोग्राम के लिए प्रतिबद्ध होती हैं। एक बार के टेस्ट नहीं। लगातार चलने वाली टेस्टिंग। महीना दर महीना।
वे अंदरूनी जानकारी बनाती हैं। पचास टेस्ट के बाद वे अपने ऑडियंस को जानती हैं। जानती हैं कि क्या काम करता है। जानती हैं कि क्या नहीं। वे प्रतिस्पर्धियों से तेज़ आगे बढ़ती हैं।
चक्रवृद्धि ग्रोथ
एक बार टेस्ट करें, कुछ नहीं होता। पचास बार टेस्ट करें, सब कुछ बदल जाता है।
अक्सर पूछे जाने वाले सवाल
अगर मुझे बीच में पता चले कि टेस्ट खराब है तो क्या करूं। जैसे ट्रैकिंग काम करना बंद कर दे। क्या मुझे दोबारा शुरू करना चाहिए?
हां। खराब टेस्ट बेकार होता है। नए सिरे से दोबारा शुरू करें। अगर ट्रैकिंग खराब है तो आपके पास असली डेटा नहीं है। इसीलिए आप टेस्ट को बीच-बीच में देखते हैं (बार-बार नहीं, लेकिन कम से कम एक बार)। गड़बड़ी जल्दी पकड़ें। WEMASY के वेबसाइट बिल्डर से आप इसे सीधे अपनी वेबसाइट पर सेट कर सकते हैं।
अगर टेस्ट चलते समय नई जानकारी आए, तो क्या मैं अपनी टेस्ट हाइपोथेसिस बदल सकता हूं?
नहीं। टेस्ट शुरू होने से पहले हाइपोथेसिस लिखें। उसी पर टिके रहें। अगर टेस्ट के बीच हाइपोथेसिस गलत लगे, तो उसे नोट कर लें। लेकिन टेस्ट मूल हाइपोथेसिस के साथ ही पूरा करें। नई हाइपोथेसिस के साथ नया टेस्ट बाद में चलाएं।
अगर ट्रीटमेंट साफ़ तौर पर बुरा है, तो क्या मैं टेस्ट जल्दी रोक सकता हूं?
सिर्फ़ तब, जब वह कुछ तोड़ रहा हो। अगर ट्रीटमेंट एरर पैदा कर रहा है, तो रोक दें। वरना नहीं। भले ही आप बड़े अंतर से हार रहे हों, पूरी अवधि चलाएं। जानें कि वह क्यों हारा। उस सीख का इस्तेमाल करें।
अगर स्टैटिस्टिकल सिग्निफ़िकेंस ना कहता है पर मुझे लगता है कि नतीजा असली है, तो मैं क्या करूं?
टेस्ट दोबारा चलाएं। वही बदलाव। लेकिन ज़्यादा अवधि के लिए या ज़्यादा ट्रैफ़िक के साथ। अगर नतीजा असली है, तो वह फिर दिखेगा। अगर नहीं दिखता, तो अंदाज़ा गलत था और गणित सही था।
नतीजों में मैं कैसे जानूं कि कौन सा वेरिएशन कंट्रोल है और कौन सा ट्रीटमेंट?
आपका टेस्टिंग टूल उन्हें लेबल करेगा। शुरू करने से पहले पक्का कर लें कि आपको पता है कौन सा कौन सा है। स्क्रीनशॉट ले लें। कंट्रोल वर्ज़न A है। ट्रीटमेंट वर्ज़न B है। जब नतीजे आएं, तो अपने नोट्स देखें।
क्या मुझे अपने बॉस को बताना चाहिए कि मैं टेस्ट चला रहा हूं, या सिर्फ़ नतीजे दिखाने चाहिए?
उन्हें बताएं। वे समझेंगी कि टेस्टिंग में समय लगता है। उम्मीदें तय करें। टेस्टिंग में दो हफ़्ते लगते हैं। अगर ट्रीटमेंट जीतता है तो हम लागू करेंगे। अगर नहीं, तो हम कुछ और आज़माएंगे। पारदर्शिता से तब कोई हैरानी नहीं होती जब आप वह बदलाव लागू नहीं करते जिसकी उन्हें उम्मीद थी।