ए / बी परीक्षण: जेड-टेस्ट बनाम टी-टेस्ट बनाम ची स्क्वायर बनाम फिशर सटीक परीक्षण

Question

मैं एक साधारण ए / बी टेस्ट से निपटने के दौरान एक विशिष्ट परीक्षण दृष्टिकोण का चयन करके तर्क को समझने की कोशिश कर रहा हूं - (बाइनरी रिस्पॉन्स (परिवर्तित या नहीं) के साथ दो बदलाव / समूह। उदाहरण के रूप में मैं नीचे दिए गए डेटा का उपयोग करूंगा।

Version  Visits  Conversions
A        2069     188
B        1826     220

शीर्ष जवाब यहाँ बहुत अच्छा है और z, टी और ची वर्ग परीक्षण के लिए अंतर्निहित मान्यताओं से कुछ के बारे में बात करती है। लेकिन मुझे जो भ्रम हो रहा है वह यह है कि विभिन्न ऑनलाइन संसाधन अलग-अलग दृष्टिकोणों का हवाला देंगे, और आपको लगता है कि एक बुनियादी ए / बी परीक्षण के लिए मान्यताओं को बहुत अधिक होना चाहिए?

1. उदाहरण के लिए, यह लेख z- स्कोर का उपयोग करता है :
2. यह आलेख निम्न सूत्र का उपयोग करता है (जो मुझे यकीन नहीं है कि यह zscore गणना से अलग है?)

3. यह पत्र टी परीक्षण का संदर्भ देता है (पृष्ठ 152):

तो इन विभिन्न दृष्टिकोणों के पक्ष में क्या तर्क दिया जा सकता है? किसी की प्राथमिकता क्यों होगी?

एक और उम्मीदवार में फेंकने के लिए, उपरोक्त तालिका को 2x2 आकस्मिक तालिका के रूप में फिर से लिखा जा सकता है, जहां फिशर का सटीक परीक्षण (पी 5) इस्तेमाल किया जा सकता है

              Non converters  Converters  Row Total
Version A     1881            188         2069  
Versions B    1606            220         1826
Column Total  3487            408         3895

लेकिन इस थ्रेड के अनुसार फिशर का सटीक परीक्षण केवल छोटे नमूना आकार (कट ऑफ क्या है?) के साथ किया जाना चाहिए।

और फिर वहाँ युग्मित टी और जेड परीक्षण, एफ परीक्षण (और लॉजिस्टिक प्रतिगमन है, लेकिन मैं अभी के लिए इसे छोड़ना चाहता हूं) .... मुझे लगता है कि मैं अलग-अलग परीक्षण दृष्टिकोणों में डूब रहा हूं, और मैं सिर्फ सक्षम होना चाहता हूं। इस सरल ए / बी परीक्षण मामले में विभिन्न तरीकों के लिए किसी प्रकार का तर्क दें।

उदाहरण डेटा का उपयोग करके मुझे निम्नलिखित पी-मान मिल रहे हैं

1. https://vwo.com/ab-split-test-significance-calculator/ 0.001 (z- स्कोर) का एक पी-मूल्य देता है

2. http://www.evanmiller.org/ab-testing/chi-squared.html (ची स्क्वायर टेस्ट का उपयोग करके) 0.00259 का पी-मान देता है

3. और आर fisher.test(rbind(c(1881,188),c(1606,220)))$p.valueमें 0.002785305 का पी-मूल्य देता है

मुझे लगता है कि सभी बहुत करीब हैं ...

वैसे भी - बस ऑनलाइन परीक्षण में उपयोग करने के लिए दृष्टिकोण पर कुछ स्वस्थ चर्चा की उम्मीद है जहां नमूना आकार आमतौर पर हजारों में होते हैं, और प्रतिक्रिया अनुपात अक्सर 10% या उससे कम होते हैं। मेरी आंत मुझे ची-स्क्वायर का उपयोग करने के लिए कह रही है, लेकिन मैं इसका जवाब देने में सक्षम होना चाहता हूं कि मैं इसे करने के तरीकों की दूसरी भीड़ पर क्यों चुन रहा हूं।

Comments

$z$$t$

मुझे यह प्रदर्शन काफी मददगार लगा। जो दिखाता है कि अनुपातों के लिए z परीक्षण अनिवार्य रूप से 2x2 आकस्मिक तालिका पर समरूपता के ची-वर्ग परीक्षण के बराबर है। rinterested.github.io/statistics/chi_square_same_as_z_test.html

— yueyanw

Answer 1

हम विभिन्न कारणों से और विभिन्न परिस्थितियों में इन परीक्षणों का उपयोग करते हैं।

1. $z$$z$$z$$z$

2. $t$$t$$t$$t$$z$

$z$$t$

3. $z$$t$$z$

4. $p$$p$$p$

मैं नमूना आकारों पर चर्चा करता रहता हूं - अलग-अलग संदर्भ आपको अलग-अलग मीट्रिक देंगे जब आपके नमूने काफी बड़े होते हैं। मुझे बस एक सम्मानित स्रोत मिलेगा, उनके नियम को देखें, और अपना परीक्षण उस परीक्षण को खोजने के लिए लागू करें जिसे आप चाहते हैं। मैं "आस-पास की दुकान" नहीं बोलूंगा, इसलिए बोलने के लिए, जब तक आपको एक नियम नहीं मिल जाता है जो आपको "पसंद है।"

$z$$t$

इसका कोई मतलब भी है क्या? उम्मीद है की यह मदद करेगा!

Comments

विस्तृत उत्तर के लिए धन्यवाद! मैं इसके बारे में विस्तार से जाने वाला हूं - मुझे यकीन है कि मेरे पास कुछ सवाल होंगे!

— एल Xandor

क्या आप आगे बता सकते हैं कि ची-स्क्वायर्ड और फिशर सटीक परीक्षण एक प्रभाव की दिशा को कैसे इंगित नहीं करते हैं? यदि सभी ह्रासमान आँकड़े परीक्षण चारों ओर एक विश्वास स्तर प्रदान करते हैं कि क्या दो नमूने सेट अलग-अलग आबादी या एक ही आबादी से खींचे गए हैं, तो यह गणितीय सिद्धांत के बारे में क्या है जो आपको यह नहीं कहने देगा कि दिशात्मक अंतर का अर्थ मानों में होगा (बी समूह) उच्च स्कोर है)?

— क्रिस एफ

स्पष्टता के लिए, चि-स्क्वेर्ड परीक्षण और फिशर का सटीक परीक्षण एक ही काम कर रहे हैं लेकिन पी-मूल्य की गणना थोड़ा अलग तरीके से की जाती है। (यह ची-चुकता के तहत एक अनुमान है और फिशर के तहत एक सटीक गणना है।) मैं ची-वर्ग को संबोधित करूंगा और यह फिशर के लिए सामान्यीकरण करेगा। यहां मुद्दा ही आधार है। "यदि सभी ह्रासमान आँकड़े परीक्षण एक आत्मविश्वास स्तर प्रदान करते हैं कि क्या दो नमूने खींचे गए हैं ..." - यही नहीं ची-स्क्वॉड परीक्षण करता है। ची-चुकता परीक्षण के लिए अशक्त परिकल्पना यह है कि कोई संगति और वैकल्पिक परिकल्पना नहीं है ...

— मैट ब्रेम्स

... यह है कि दो श्रेणीबद्ध चर के बीच कुछ संबंध है। आप केवल एक संघ के अस्तित्व के लिए परीक्षण कर रहे हैं और एक निश्चित दिशा को पूर्व-निर्दिष्ट नहीं कर रहे हैं। (वहाँ कुछ कम ज्ञात आँकड़े हैं जो एक निश्चित संबंध को निर्दिष्ट करते हैं, इसलिए यह संभव है; हालाँकि यह नहीं है कि ची-स्क्वेर्ड परीक्षण करने के लिए डिज़ाइन किया गया है।) इसके बाद अनुमान लगाने के लिए कि एक विशेष दिशात्मक संबंध है। एक पी-मूल्य जो एक संघ के अस्तित्व के लिए सिर्फ परीक्षण करने के लिए डिज़ाइन किए गए परिकल्पनाओं के एक अलग सेट के तहत गणना की गई थी, एक गलती होगी।

— मैट ब्रेम्स

$H_0: \mu = 0$$H_A: \mu \neq 0$$t$$p$$\mu$$\mu$$H_0: \mu \leq 0$$H_A: \mu > 0$$p$$\alpha=0.05$$\mu$

Answer 2

3 तरह के परीक्षण के लिए आप आमतौर पर 3 अलग-अलग परीक्षणों के बजाय एक एनोवा का उपयोग करते हैं। कई परीक्षण से पहले कृपया बोनफेरोनि सुधार पर भी जाँच करें। कृपया इस https://www.google.com/search?q=testing+multiple+means&rlz=1C1CHBD_enIN817IN817&oq=testing+multiple+means+&aqs-chrome..69i57j69i60l3j69i61j0.35jj0jj7&ource=7&ource=7 का उपयोग करें।