ए / बी टेस्टिंग कंपनी द्वारा दूसरे दिन एक वेबिनार ने अपने रेजिडेंट "डेटा साइंटिस्ट" को समझाया कि आपको प्रयोग को फिर से चलाकर अपने परिणामों को मान्य करना चाहिए। आधार यह था, यदि आप 95% आत्मविश्वास का चयन करते हैं, तो झूठे सकारात्मक के 5% (1/20) होने की संभावना है। यदि आप अपने प्रयोग को समान बाधाओं के साथ फिर से चलाते हैं, तो अब एक 1/400 है (मुझे लगता है कि उन्होंने इसे 0.05 ^ 2 = 1/400 के रूप में निर्धारित किया है)
क्या यह एक मान्य कथन है? (यानी, "दो बार चलाएं, दो सांख्यिकीय महत्व जीतता है = झूठी सकारात्मक की 1/400 संभावना")? क्या यह आपके महत्व स्तर को बढ़ाने के लिए एक बेहतर दृष्टिकोण रहा होगा?
एक व्यवसाय के दृष्टिकोण से, मेरे पास जो चिंता है, प्रयोग को फिर से चलाने से, आप अधिक उपयोगकर्ताओं को एक अवर पृष्ठ (उपचार) के लिए उजागर कर रहे हैं, और इस तरह संभावित बिक्री पर खो रहे हैं।