मैंने वर्षों पहले के आँकड़ों का अध्ययन किया है और यह सब भूल गया हूँ इसलिए ये कुछ विशिष्ट की तुलना में सामान्य वैचारिक प्रश्नों की तरह लग सकते हैं लेकिन यहाँ मेरा मुद्दा है।
मैं एक ई-कॉमर्स वेबसाइट के लिए UX डिजाइनर के रूप में काम करता हूं। हमारे पास एक ए / बी परीक्षण ढांचा है जो वर्षों पहले बनाया गया था जिस पर मुझे संदेह है।
जिस मीट्रिक पर हम अपने सभी निर्णय लेते हैं, उसे रूपांतरण के रूप में जाना जाता है, और यह उन उपयोगकर्ताओं के प्रतिशत पर आधारित है जो साइट पर जाते हैं, कुछ खरीद कर समाप्त करते हैं।
इसलिए हम ग्रीन से ब्लू तक खरीदें बटन के रंग को बदलना चाहते हैं।
नियंत्रण वह है जो हमारे पास पहले से है, ग्रीन बटन जहां हमें पता है कि हमारी औसत रूपांतरण दर क्या है। प्रयोग ग्रीन बटन को ब्लू बटन से बदल रहा है।
हम सहमत हैं कि 95% महत्व आत्मविश्वास का स्तर है जिससे हम खुश हैं और हम प्रयोग को चालू करते हैं, इसे छोड़ देते हैं।
जब उपयोगकर्ता साइट पर जाते हैं, तो पर्दे के पीछे 50/50 मौका होता है, उन्हें नियंत्रण संस्करण (हरा बटन) बनाम प्रयोग संस्करण (नीला बटन) में भेजा जाएगा।
, दिनों के बाद प्रयोग को देखने के बाद, मुझे ३००० के नमूने के आकार के साथ प्रयोग के रूप में रूपांतरण में १०.२% वृद्धि हुई है (१५०० पर नियंत्रण जा रहा है, प्रयोग के लिए १५००) और ९९.२% का एक सांख्यिकीय महत्व है। बहुत अच्छा मुझे लगता है।
प्रयोग जारी है, नमूना आकार बढ़ता है और फिर मुझे 98.1% के महत्व के साथ रूपांतरण में + 9% की वृद्धि दिखाई देती है। ठीक है, प्रयोग को अधिक समय तक चालू रखें और अब प्रयोग केवल ९ ५% के सांख्यिकीय महत्व के साथ रूपांतरण में सिर्फ ५% की वृद्धि दिखाता है, रूपरेखा के साथ मुझे ९ ५% तक पहुंचने से पहले मुझे ४६०० नमूनों की आवश्यकता है?
किस बिंदु पर प्रयोग निर्णायक है?
यदि मैं एक नैदानिक परीक्षण प्रक्रिया के बारे में सोचता हूं जहां आप पहले से नमूना आकार पर सहमत हैं और प्रयोग पूरा करने पर आप जो भी मीट्रिक का 99% महत्व के 10% सुधार देखते हैं, तो यह निर्णय लिया जाता है कि वह दवा तब बाजार में जाती है। लेकिन तब अगर उन्होंने 4000 लोगों पर प्रयोग किया और वे जो कुछ भी मीट्रिक का 5% सुधार केवल 92% महत्वपूर्ण देखते हैं, तो उस दवा को बाजार में जाने की अनुमति नहीं दी जाएगी।
क्या हमें पहले से एक नमूना आकार पर सहमत होना चाहिए और एक बार जब नमूना आकार तक पहुँच जाता है और बंद हो जाता है तो परिणाम से खुश होना चाहिए यदि प्रयोग बंद करने के बिंदु पर महत्व 99% था?