स्वतंत्र नमूने टी-टेस्ट: क्या डेटा को वास्तव में बड़े नमूना आकारों के लिए वितरित करने की आवश्यकता है?

Question

मान लें कि मैं परीक्षण करना चाहता हूं कि क्या दो स्वतंत्र नमूनों के अलग-अलग साधन हैं। मुझे पता है कि अंतर्निहित वितरण सामान्य नहीं है ।

यदि मैं सही ढंग से समझता हूं, तो मेरा परीक्षण सांख्यिकीय मतलब है , और बड़े पर्याप्त नमूना आकारों के लिए, सामान्य रूप से नमूना वितरित नहीं होने पर भी सामान्य रूप से वितरित किया जाना चाहिए। तो इस मामले में एक पैरामीट्रिक महत्व परीक्षण वैध होना चाहिए, है ना? मैंने इसके बारे में परस्पर विरोधी और भ्रमित करने वाली जानकारी पढ़ी है इसलिए मैं कुछ पुष्टि (या स्पष्टीकरण क्यों मैं गलत हूं) की सराहना करूंगा।

इसके अलावा, मैंने पढ़ा है कि बड़े नमूना आकारों के लिए, मुझे टी-स्टेटिस्टिक के बजाय जेड-स्टेटिस्टिक का उपयोग करना चाहिए। लेकिन व्यवहार में, टी-वितरण केवल सामान्य वितरण में परिवर्तित हो जाएगा और दो आँकड़े समान होने चाहिए, नहीं?

संपादित करें : नीचे कुछ स्रोत हैं जो z- परीक्षण का वर्णन कर रहे हैं। वे दोनों कहते हैं कि आबादी को सामान्य रूप से वितरित किया जाना चाहिए:

यहां , यह कहता है कि "जेड-टेस्ट के प्रकार के बावजूद, यह माना जाता है कि जिन आबादी से नमूने खींचे गए हैं वे सामान्य हैं।" और यहां , जेड-टेस्ट के लिए आवश्यकताओं को "दो सामान्य रूप से वितरित लेकिन स्वतंत्र आबादी, known के रूप में जाना जाता है" के रूप में सूचीबद्ध किया गया है।

Comments

आप जो कह रहे हैं वह समझ में आता है। आप नमूना साधनों के वितरण में सामान्यता मानने के लिए केंद्रीय सीमा प्रमेय का उपयोग कर रहे हैं। इसके अलावा, आप टी-टेस्ट का उपयोग कर रहे हैं क्योंकि आपके पास जनसंख्या विचरण नहीं है, और आप नमूना विचरण के आधार पर इसका अनुमान लगा रहे हैं। लेकिन क्या आप इनमें से किसी भी परस्पर विरोधी स्रोतों को लिंक या पोस्ट कर सकते हैं?

— एंटनी परेला

आपके जवाब का धन्यवाद! यहाँ उदाहरण के लिए, z के परीक्षण के लिए आवश्यकताओं के रूप में "दो सामान्य रूप से वितरित लेकिन स्वतंत्र आबादी, σ में जाना जाता है" सूचीबद्ध होते हैं, तो वे जनसंख्या के वितरण, मतलब नहीं के बारे में बात कर रहे हैं - कि क्या गलत है?

— लिसा

@AntoniParellada मैंने मूल पोस्ट में कुछ स्रोतों को शामिल किया है!

— लिसा

विकिपीडिया

— एंटोनी पारेलाडा

यदि मूल आबादी सामान्य होने का पता चलता है, तो हमारे पास एक आदर्श, अस्थिर स्थिति है। हालाँकि, सीएलटी अक्सर वहाँ होता है, विशेष रूप से बड़े नमूनों में, आपके लिंक किए गए कागज पर इंगित शर्तों के इस बहुत लंबे क्रम के आधार पर बचने के लिए।

— एंटोनी परेला

Answer 1

मुझे लगता है कि यह सीएलटी की एक सामान्य गलतफहमी है। न केवल CLT का संरक्षण प्रकार II त्रुटि (जिसका किसी ने यहां उल्लेख नहीं किया है) से कोई लेना-देना नहीं है, लेकिन यह अक्सर तब लागू नहीं होता है जब आपको जनसंख्या परिवर्तन का अनुमान लगाना चाहिए। जब नमूना गैर-गाऊसी होता है, तो नमूना विचलन एक बड़े पैमाने पर ची-चुकता वितरण से बहुत दूर हो सकता है, इसलिए नमूना आकार हजारों से अधिक होने पर भी सीएलटी लागू नहीं हो सकता है। कई वितरणों के लिए एसडी फैलाव का एक अच्छा उपाय भी नहीं है।

वास्तव में सीएलटी का उपयोग करने के लिए, दो चीजों में से एक सही होना चाहिए: (1) नमूना मानक विचलन सही अज्ञात वितरण के लिए फैलाव के माप के रूप में काम करता है या (2) सही जनसंख्या मानक विचलन ज्ञात है। बहुत बार ऐसा नहीं होता है। और n = 20,000 का उदाहरण CLT से "काम" के लिए बहुत छोटा है, इस साइट पर कहीं और चर्चा किए गए लॉगऑनॉर्मल डिस्ट्रीब्यूशन से नमूने खींचने से आता है।

नमूना मानक विचलन एक फैलाव उपाय के रूप में "काम करता है" यदि उदाहरण के लिए वितरण सममित है और इसमें पूंछ नहीं है जो गॉसियन वितरण से भारी हैं।

मैं अपने किसी भी विश्लेषण के लिए CLT पर निर्भर नहीं रहना चाहता।

Comments

CLT एक लाल हेरिंग का एक सा हो सकता है। ऐसा अक्सर हो सकता है कि नमूना माध्य का एक निश्चित रूप से गैर-सामान्य वितरण होता है और नमूना SD आकार में काफी गैर-ची होता है, लेकिन फिर भी टी-स्टैटिस्टिक्स को छात्र टी वितरण (दोनों के बीच निर्भरता के कारण भाग में) से उपयोगी माना जाता है। सांख्यिकी)। क्या यह मामला किसी भी स्थिति में मूल्यांकन किया जाना चाहिए। हालाँकि, क्योंकि CLT परिमित नमूनों के बारे में बहुत कम दावा करता है (और कहता है कि उनके बारे में कुछ भी मात्रात्मक नहीं है), वितरण मान्यताओं के समर्थन में इसका आह्वान आमतौर पर अमान्य है।

— whuber

क्या यह कहना उचित होगा कि हम चर्चा कर रहे हैं (और मेरे मामले में सीख रहे हैं) एक प्रक्रिया (एक टी-परीक्षण के साथ अज्ञात वितरण से दो नमूना साधनों की तुलना) जो हर जगह दैनिक आधार पर (और संभवतः नासमझी) की जाती है, हालांकि इसकी औचित्य कमजोर हो सकता है? और, क्या व्यवहार में सीएलटी का कोई उपयोग किया जाता है, जो कि सहनीय / स्वीकार्य होगा, भले ही वह आदर्श न हो?

— एंटोनी परेलाडा

-statistic बहुत बार एक वितरण से बहुत दूर है कि है वितरण जब डेटा एक गैर गाऊसी वितरण से आते हैं। और हां मैं यह कहूंगा कि टीस्ट का उपयोग करने का औचित्य सबसे अधिक चिकित्सकों की तुलना में कमजोर है। इसलिए मैं अर्ध-और गैर-पैरामीट्रिक तरीके पसंद करता हूं। $t$$t$$t$

— फ्रैंक हरेल

सीएलटी वास्तव में एक स्पर्शोन्मुख कथन है, और जब अधिकांश लोग इसे लागू करते हैं मुझे संदेह है कि उनके सिर में विचार वास्तव में बेरी-एसेन प्रमेय की तरह कुछ है (उनका मानना ​​है कि सामान्यता के लिए अभिसरण एक "उचित" दर पर होता है, और इसलिए उनका नमूना आकार "काफी अच्छा है")। लेकिन इससे भी थोड़ा अधिक परिष्कृत तर्क टी-टेस्ट की वैधता के बारे में गलत निष्कर्ष निकाल सकता है। मुझे आश्चर्य है कि अगर यह इस बात पर ध्यान देने / जोर देने के लायक है कि बेरी-एसेन CLT के लिए अपमानजनक अपील को "बचा" नहीं है।

— सिल्वरफिश

@FrankHarrell "आप क्या मतलब है" नमूना मानक विचलन सच अज्ञात वितरण के लिए फैलाव के एक उपाय के रूप में काम करता है "? यह उपयोगी होगा यदि आपने अपने उत्तर में एक संक्षिप्त स्पष्टीकरण (संभवतः सिर्फ एक वाक्य) जोड़ा है।

— mark999

Answer 2

मैं टिप्पणी करने के लिए इस पैराग्राफ को छोड़ रहा हूं ताकि समझ में आए: मूल आबादी में सामान्यता की धारणा बहुत प्रतिबंधात्मक है, और इसे नमूना वितरण पर ध्यान केंद्रित करने के लिए क्षमा किया जा सकता है, और विशेष रूप से बड़े नमूनों के लिए केंद्रीय सीमा प्रमेय के लिए धन्यवाद।

टेस्ट लागू करना शायद एक अच्छा विचार है अगर (जैसा कि आमतौर पर होता है) आपको जनसंख्या भिन्नता का पता नहीं होता है, और आप इसके बजाय नमूना संस्करण का अनुमान लगाने वालों के रूप में उपयोग कर रहे हैं। ध्यान दें कि एक समान रूपांतरों के एफ परीक्षण के साथ समरूप रूपांतरों की धारणा को एफ परीक्षण के साथ परीक्षण करने की आवश्यकता हो सकती है - मेरे पास गीथहब पर कुछ नोट हैं ।$t$

जैसा कि आप उल्लेख करते हैं, नमूना वितरण बढ़ने पर टी-वितरण सामान्य वितरण में परिवर्तित हो जाता है, क्योंकि यह त्वरित आर प्लॉट प्रदर्शित करता है:

लाल में एक सामान्य वितरण की पीडीएफ है, और बैंगनी में, आप वितरण के पीडीएफ के "वसा पूंछ" (या भारी पूंछ) में प्रगतिशील परिवर्तन देख सकते हैं क्योंकि स्वतंत्रता की डिग्री बढ़ जाती है जब तक कि यह अंत में इसके साथ मिश्रित नहीं होती है सामान्य भूखंड।$t$

इसलिए बड़े नमूनों के साथ एक z- परीक्षण लागू करना ठीक होगा।

---

मेरे प्रारंभिक उत्तर के साथ मुद्दों को संबोधित करना। धन्यवाद, ओपी के साथ आपकी मदद के लिए ग्लेन_ बी (व्याख्या में संभावित नई गलतियां पूरी तरह से मेरी हैं)।

1. टी सांख्यिकी वितरण में असमानता के कारण वितरण की स्थिति:

वन-सैंपल v। टू-सैंपल (युग्मित और अप्रकाशित) के लिए सूत्रों में एक तरफ जटिलताएं छोड़ते हुए, सामान्य t स्टेटिस्टिक एक नमूना माध्य की तुलना में जनसंख्या माध्य के मामले में ध्यान केंद्रित करता है:

$\text{t-test}= \Large \frac{\bar X-\mu}{\frac{s}{\sqrt{n}}}=\large\frac{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}}{\sqrt{\frac{s^2}{\sigma^2}}} =\displaystyle \large\frac{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}}{\sqrt{\frac{\frac{\sum_{x=1}^n(X - \bar{X})^2}{n-1}}{\sigma^2}}} \tag1$

यदि माध्य और विचरण साथ एक सामान्य वितरण का अनुसरण करता है :$X$$\mu$$\sigma^2$

1. का अंश ।$(1)$ $\sim N(1,0)$
2. का हर का वर्गमूल हो जाएगा (स्केल किया गया चि), चूंकि जैसा कि यहां प्राप्त हुआ है ।$(1)$ ( n - 1 ) एस 2 / σ 2 ~ χ 2 n - $\frac{s^2/\sigma^2}{n-1}\sim\frac{1}{n-1}\,\,\chi^2_{n-1}$$(n-1)s^2/\sigma^2\sim\chi^2_{n-1}$
3. न्यूमरेटर और भाजक स्वतंत्र होना चाहिए।

इन कॉन्डिटों के तहत ।$\text{t-statistic} \sim t(df=n-1)$

2. केंद्रीय सीमा प्रमेय:

नमूना के नमूना वितरण की सामान्यता के प्रति झुकाव का मतलब है कि नमूना आकार में वृद्धि जनसंख्या के सामान्य न होने पर भी अंश के सामान्य वितरण को सही ठहरा सकती है। हालांकि, यह अन्य दो स्थितियों को प्रभावित नहीं करता है (हर के हर और भाजक का वितरण।

लेकिन सभी खो नहीं गए हैं, इस पोस्ट में चर्चा की गई है कि कैसे स्लटज़्की प्रमेय एक वितरण के लिए असममित अभिसरण का समर्थन करता है, भले ही हर का वितरण न हो।

3. मजबूती:

पेपर पर "ए मोर रियलिस्टिक लुक ऑन रॉबस्टनेस एंड टाइप II एरर प्रॉपर्टीज द टी टेस्ट टू डिपार्टमेंट्स टू पॉपुलेशन नॉर्मलिटी" सॉविलोव्स्की एस एस और ब्लेयर आरसी इन साइकोलॉजिकल बुलेटिन, 1992, वॉल्यूम। 111, नंबर 2, 352-360 , जहां उन्होंने कम आदर्श या अधिक "वास्तविक दुनिया" (कम सामान्य) वितरण शक्ति और प्रकार I त्रुटियों के लिए परीक्षण किया, निम्नलिखित दावे पाए जा सकते हैं: "प्रकार के संबंध में रूढ़िवादी प्रकृति के बावजूद मैं इनमें से कुछ वास्तविक वितरणों के लिए टी परीक्षण में त्रुटि करता हूं, विभिन्न प्रकार की उपचार स्थितियों और नमूना आकारों का अध्ययन करने के लिए शक्ति के स्तर पर बहुत कम प्रभाव था। शोधकर्ता थोड़ा बड़ा नमूना आकार का चयन करके सत्ता में मामूली नुकसान की भरपाई आसानी से कर सकते हैं " ।

" प्रचलित दृश्य से प्रतीत होता है कि स्वतंत्र-नमूने टी परीक्षण काफी मजबूत है, टाइप I त्रुटियों के रूप में इनफ़ॉफ़र, गैर-गाऊसी जनसंख्या आकार के लिए इतने लंबे समय तक (ए) नमूना आकार बराबर या लगभग इतना है, (बी) नमूना आकार काफी बड़े हैं (बॉन्यू, 1960, 25 से 30 के नमूने के आकार का उल्लेख करते हैं), और (सी) परीक्षण एक-पुच्छ के बजाय दो-पूंछ हैं। ध्यान दें कि जब ये स्थितियां मिलती हैं और नाममात्र अल्फा और वास्तविक अल्फा के बीच अंतर करते हैं। आमतौर पर, विसंगतियां उदारवादी प्रकृति की बजाय रूढ़िवादी होती हैं। "

लेखक विषय के विवादास्पद पहलुओं पर बल देते हैं, और मैं प्रोफेसर हर्ले द्वारा उल्लिखित लॉगऑनॉर्मल वितरण के आधार पर कुछ सिमुलेशन पर काम करने के लिए उत्सुक हूं। मैं गैर-पैरामीट्रिक तरीकों (जैसे मान-व्हिटनी यू परीक्षण) के साथ कुछ मोंटे कार्लो तुलना के साथ भी आना चाहूंगा। इसलिए यह प्रगति पर है ...

---

सिमुलेशन:

डिस्क्लेमर: क्या निम्न प्रकार से इन अभ्यासों में से एक है "इसे स्वयं साबित करना" एक तरह से या कोई अन्य। परिणामों का उपयोग सामान्यीकरण बनाने के लिए नहीं किया जा सकता है (कम से कम मेरे द्वारा नहीं), लेकिन मुझे लगता है कि मैं कह सकता हूं कि इन दोनों (शायद त्रुटिपूर्ण) एमसी सिमुलेशन परिस्थितियों में टी परीक्षण के उपयोग के रूप में बहुत हतोत्साहित नहीं करते हैं। का वर्णन किया।

टाइप I एरर:

टाइप I त्रुटियों के मुद्दे पर, मैंने Lognormal वितरण का उपयोग करके एक मोंटे कार्लो सिमुलेशन चलाया। बड़े नमूनों ( ) को क्या माना जाता है इसे निकालने से कई बार पैरामीटर और साथ एक असामान्य वितरण से , मैंने टी-मान और पी-वैल्यू की गणना की जिसके परिणामस्वरूप अगर हम साधनों की तुलना करते हैं इन नमूनों में से, सभी एक ही आबादी से उत्पन्न होते हैं, और सभी एक ही आकार के होते हैं। Lognormal को टिप्पणियों और वितरण के दाईं ओर के तिरछेपन के आधार पर चुना गया था:μ = 0 σ = $n=50$$\mu=0$$\sigma=1$

वास्तविक प्रकार I त्रुटि दर का एक महत्व स्तर सेट करना4.5 $5\%$$4.5\%$ , बहुत बुरा नहीं ...

वास्तव में प्राप्त टी परीक्षणों के घनत्व का प्लॉट टी-वितरण के वास्तविक पीडीएफ को ओवरलैप करने के लिए लग रहा था:

सबसे दिलचस्प हिस्सा टी परीक्षण के "भाजक" को देख रहा था, वह हिस्सा जो ची-स्क्वायड वितरण का पालन करने वाला था:

$$(n-1)s^2/\sigma^2=98\,\frac{(49 \, (\text{SD}_A^2 + \text{SD}_A^2))/98} {(e^{\sigma^2}-1) \, e^{2\mu+\sigma^2}}$$

यहाँ हम इस विकिपीडिया प्रविष्टि में सामान्य मानक विचलन का उपयोग कर रहे हैं :

$$S_{X_1X_2}=\sqrt{\frac{(n_1 -1)\,S_{X_1}^2 + (n_2 -1)\,S_{X_2}^2}{n_1+n_2-2}}$$

और, आश्चर्यजनक रूप से (या नहीं) प्लॉट सुपरइम्पोज़्ड ची-स्क्वॉयर पीडीएफ के विपरीत था:

टाइप II त्रुटि और पावर:

रक्तचाप का वितरण लॉग-सामान्य संभव है , जो एक सिंथेटिक परिदृश्य सेट करने के लिए बेहद आसान है, जिसमें तुलनात्मक समूह नैदानिक ​​प्रासंगिकता की दूरी से औसत मूल्यों में अलग हैं, एक नैदानिक ​​अध्ययन में रक्तचाप के प्रभाव का परीक्षण करना कहते हैं डायस्टोलिक बीपी पर ध्यान केंद्रित करने वाली दवा, एक महत्वपूर्ण प्रभाव को एमएमएचजी की औसत बूंद माना जा सकता है (लगभग एमएमएचजी का एक एसडी चुना गया था):$10$$9$

इन काल्पनिक समूहों के बीच टाइप I त्रुटियों के लिए एक अन्यथा समान मोंटे कार्लो सिमुलेशन पर तुलनात्मक परीक्षण चल रहा है, और महत्व स्तर के साथ हम प्रकार II त्रुटियों के साथ समाप्त होते हैं, और केवल की शक्ति ।0.024 % 99 $5\%$$0.024\%$$99\%$

कोड यहाँ है ।

Comments

मुझे लगता है कि यह सीएलटी की एक सामान्य गलतफहमी है। न केवल CLT का संरक्षण प्रकार II त्रुटि (जिसका किसी ने यहां उल्लेख नहीं किया है) से कोई लेना-देना नहीं है, लेकिन यह अक्सर तब लागू नहीं होता है जब आपको जनसंख्या परिवर्तन का अनुमान लगाना चाहिए। जब नमूना गैर-गाऊसी होता है, तो नमूना विचलन एक बड़े पैमाने पर ची-चुकता वितरण से बहुत दूर हो सकता है, इसलिए नमूना आकार हजारों से अधिक होने पर भी सीएलटी लागू नहीं हो सकता है। कई वितरणों के लिए एसडी फैलाव का एक अच्छा उपाय भी नहीं है।

— फ्रैंक हरेल

प्रोफेसर हैरेल, अगर यह गलत है तो मैं पद को छोडकर खुश रहूंगा। यह बहुत अच्छी तरह से एक बहुत ही गलतफहमी हो सकती है। मैं सुझाव दे रहा था कि नमूने के वितरण के लिए लागू सीएलटी का मतलब है कि नमूनों की उत्पत्ति के वितरण की परवाह किए बिना, बड़े नमूनों में, जेड-टेस्ट या टी-टेस्ट के साथ साधनों की तुलना मान्य है। यह सही नहीं है?

— एंटोनी परेलाडा

यह सही होगा अगर (1) नमूना मानक विचलन सही अज्ञात वितरण के लिए फैलाव की माप के रूप में काम करता है या (2) वास्तविक जनसंख्या मानक विचलन ज्ञात है। बहुत बार ऐसा नहीं होता है। और के एन = 20,000 किया जा रहा है एक उदाहरण के लिए अब तक भी "काम" करने के लिए CLT के लिए छोटे lognormal वितरण से नमूने ड्राइंग से आता है। इन बिंदुओं के बारे में गलतफहमी 20 साल के अनुभव के साथ आंकड़ों में पीएचडी के बीच व्याप्त है।

— फ्रैंक हरेल

मुद्दा, लिसा, यह है कि क्या आपको साधनों की तुलना करने की आवश्यकता है या आप केवल दो आबादी के स्थानों की तुलना करना चाहते हैं। कुछ अनुप्रयोगों में ब्याज एक माध्य या राशि पर केंद्रित होता है, जिसे कुछ अन्य पैरामीटर द्वारा प्रतिस्थापित किया जाता है। यह विशेष रूप से ऐसा मामला है जहां जनसंख्या स्वाभाविक रूप से संचयी मात्रा है, जैसे कि धन या पर्यावरण संदूषण।

— व्हीबेर

एंटोनी, मजबूती पर आपका अंतिम खंड काफी उपयुक्त है। मैंने सॉविलोस्की और ब्लेयर द्वारा वर्णित उन लोगों के समान कई अध्ययन किए हैं, और कई और अधिक पढ़े हैं, और इसलिए संदेह है कि उनके निष्कर्ष बहुत विशेष प्रकार के डेटा तक सीमित होना चाहिए। टी परीक्षण बुरी तरह से विफल रहता है, विशेष रूप से शक्ति के संदर्भ में, अत्यधिक तिरछी वितरण की उपस्थिति में। वर्षों से मुझे जो आश्चर्य हुआ है वह यह है कि यह सामान्यता से अन्य प्रस्थानों के लिए वास्तव में काफी मजबूत है, इस बात के लिए कि मुझे दावों में कुछ वैधता दिखाई देती है कि यह एक गैर-प्रक्रियात्मक प्रक्रिया है।

— whuber