सामान्यता के लिए सभी परीक्षण शून्य परिकल्पना को क्यों अस्वीकार करेंगे?

Question

कोलगोमोरोव-स्मिरनोव परीक्षण, शापिरो परीक्षण, आदि .... सभी इस परिकल्पना को खारिज करते हैं कि वितरण सामान्य है। फिर भी जब मैं सामान्य मात्रा और हिस्टोग्राम की साजिश करता हूं, तो डेटा स्पष्ट रूप से सामान्य होता है। शायद इसलिए कि परीक्षणों की शक्ति अधिक है?

नमूना आकार लगभग 650 है। तो क्या इनमें से कम से कम एक परीक्षण शून्य परिकल्पना को अस्वीकार करने में विफल नहीं होना चाहिए?

परिणाम:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

Comments

साइट पर आपका स्वागत है। बिजली वास्तव में एक मुद्दा हो सकता है। क्या आप अपने परिणाम पोस्ट कर सकते हैं, ताकि हम अधिक विशिष्ट हो सकें?

— स्टैस्क

हिस्टोग्राम या क्वांटाइल्स को देखकर बहुत सटीकता के साथ सामान्यता का आकलन करना लगभग असंभव है। इन परीक्षणों में से पहले तीन एक संभावना प्लॉट (सामान्य qq प्लॉट) में विचलन को मापते हैं, इसलिए यह प्लॉट कितना रैखिक दिखता है?

— whuber

Answer 1

सामान्यता परीक्षण समय की बर्बादी है और आपके उदाहरण से पता चलता है कि क्यों। छोटे नमूनों के साथ, सामान्यता परीक्षण में कम शक्ति होती है, इसलिए सांख्यिकीय मॉडल का उपयोग करने के बारे में निर्णय एक प्राथमिक ज्ञान के आधार पर करने की आवश्यकता होती है । इन मामलों में अशक्तता को अस्वीकार करने में विफलता यह साबित नहीं करती है कि अशक्त जनसंख्या स्तर पर भी लगभग सही है।

जब आपके पास बड़े नमूने होते हैं, तो सामान्य परीक्षण हास्यास्पद रूप से शक्तिशाली हो जाते हैं, लेकिन वे आपको कुछ भी नहीं बताते हैं जो आप पहले से नहीं जानते थे। कोई वास्तविक मात्रा है वास्तव में सामान्य रूप से वितरित। सामान्य वितरण सिर्फ एक गणितीय अमूर्तता है जो बहुत सारे मामलों में एक अच्छा पर्याप्त सन्निकटन है। इसका सबसे सरल प्रमाण यह है कि कोई वास्तविक मात्रा नहीं है (कम से कम कोई भी जो मैं सोच भी नहीं सकता हूं) कि कोई वास्तविक संख्या इसके मूल्य के रूप में ले सकती है । उदाहरण के लिए, ब्रह्मांड में केवल बहुत सारे अणु हैं। मुद्रा आपूर्ति में केवल इतने डॉलर हैं। प्रकाश की गति परिमित है। कंप्यूटर केवल एक सीमित आकार की संख्याओं को संग्रहीत कर सकते हैं, इसलिए भले ही किसी चीज़ में सभी वास्तविक संख्याओं का समर्थन हो, आप इसे माप नहीं पाएंगे।

मुद्दा यह है कि आप पहले से ही जानते थे कि आपका डेटा बिल्कुल सामान्य रूप से वितरित नहीं किया गया था, लेकिन सामान्यता परीक्षण आपको यह बताता है कि डेटा कितना सामान्य है। वे आपको पूरी तरह से कोई संकेत नहीं देते हैं कि क्या आपका डेटा लगभग सामान्य रूप से वितरित किया जाता है जैसे कि सांख्यिकीय अनुमान पद्धति जो सामान्यता मानती है, सही उत्तर देगी। विडंबना यह है कि सामान्य परीक्षण (जैसे टी-परीक्षण और एनोवा) जो मानते हैं कि सामान्यता बड़े नमूना आकारों में गैर-सामान्यता के लिए अधिक मजबूत है।

Comments

आपके उत्तर के बाद, मैंने एक प्रश्न पोस्ट किया कि गैर-सामान्यता का एक अच्छा सूचकांक क्या है: आँकड़े.स्टैकएक्सचेंज.com / questions / 16646/ ... कोई विचार?

— जेरोमे एंग्लीम

दुनिया में कभी भी मात्रा निर्धारित होने के बारे में: डेटा को असतत रूप से वितरित नहीं किया जा सकता है, भी?

— xmjx

कंप्यूटर के मुद्दे पर एक और टिप्पणी: कृपया ध्यान दें कि कंप्यूटर में दशमलव संख्याओं को संग्रहीत करने के लिए अक्सर प्रयुक्त तंत्र में छोटी संख्याओं और बड़ी संख्याओं की सीमा के लिए एक अलग ग्रैन्युलैरिटी होती है। इसलिए उन संख्याओं के बीच न्यूनतम अंतर जो कंप्यूटर स्टोर करने में सक्षम है, छोटी संख्या के लिए छोटा है और बड़ी संख्या के लिए बड़ा है। एक कंप्यूटर के लिए, 100000.1 और 100000.2 समान हो सकते हैं जबकि 0.1 और 0.2 नहीं हैं। (सिर्फ एक उदाहरण - वास्तविक दुनिया में यह उतना बुरा नहीं है।)

— xmjx

@xmjx: असतत डेटा लगभग सामान्य रूप से वितरित किया जा सकता है , जिसका अर्थ है कि यह लगभग किसी भी व्यावहारिक उद्देश्य के लिए पर्याप्त है। हालांकि, सिद्धांत में किसी भी असतत वितरण सामान्यता के लिए कुछ परीक्षणों को विफल कर देगा यदि नमूना आकार काफी बड़ा है। सामान्य वितरण निरंतर है और इसके आसपास कोई रास्ता नहीं है।

— dsimcha

@dsimcha लेकिन सामान्य वितरण केवल एक संभावना घनत्व फ़ंक्शन है जो असतत चर के दिए गए बिन में टिप्पणियों की संख्या की भविष्यवाणी कर सकता है। इसलिए, मैं समझ सकता हूं कि आपने कहा था कि "कोई वास्तविक चर बिल्कुल सामान्य रूप से वितरित नहीं किया गया है और यही कारण है कि सामान्यता परीक्षण कुछ बिंदु पर विफल हो जाएगा"। लेकिन "असतत डेटा को आम तौर पर वितरित नहीं किया जा सकता क्योंकि यह निरंतर नहीं है" मुझे कुछ संदर्भ चाहिए। मुझे वास्तव में उस तरह के सामान में दिलचस्पी है। यहां लड़ाई शुरू नहीं करना चाहता।

— xmjx

Answer 2

यह मुझे आश्चर्यचकित नहीं करता है --- एक बड़े पर्याप्त नमूना आकार के साथ, किसी भी अच्छे परीक्षण को शून्य परिकल्पना को अस्वीकार करना चाहिए, जब तक कि डेटा जनरेट वितरण सही मायने में (और बिल्कुल) सामान्य न हो।

परिकल्पना परीक्षण के साथ, एक आम तौर पर "शक्तिशाली" परीक्षण खोजने में दिलचस्पी होती है, जो एक ऐसा परीक्षण है जो अशक्त परिकल्पना से बहुत कम विचलन पा सकता है, जितना संभव हो उतना कम डेटा।

आकार, 20, 50, 100, 200 के सबसम्प्लिमेंट के साथ परीक्षण चलाने का प्रयास करें और देखें कि परीक्षण किस आकार को अस्वीकार करना शुरू करते हैं। यह देखना आसान है कि क्या एक हिस्टोग्राम सममित है और आम तौर पर घंटी के आकार का है, लेकिन वितरण की पूंछ आंखों के आकलन के लिए कठिन हैं। शायद डेटा में आउटलेयर हैं जो परीक्षण को अस्वीकार करने का कारण बन रहे हैं? यदि वहाँ हैं, तो देखें कि क्या होता है जब आप उन्हें बाहर निकालते हैं।

Comments

जवाब के लिए धन्यवाद। उद्देश्य परीक्षण कर रहा है कि क्या अवशिष्ट सामान्य हैं। मुझे लगता है कि एक सामान्य-मात्रात्मक भूखंड को देखते हुए और यह देखते हुए कि क्या यह y = x पर है सबसे अच्छा शर्त है?

— रोबी

@ रोबी यदि आप सिर्फ यह जानने में रुचि रखते हैं कि आपके अवशेष सामान्य हैं, तो एक दृश्य निरीक्षण ठीक होना चाहिए। वितरण के सांख्यिकीय परीक्षण के लिए वास्तव में आवश्यक नहीं है - जैसा कि नोट किया गया है, यह सामान्यता से किसी भी विचलन को लेने जा रहा है, यहां तक ​​कि एक भी जो वास्तव में मायने नहीं रखता है।

— फोमाइट

@EpiGrad मैं असहमत हूं। सामान्यता के लिए टेस्ट में बेहद कम शक्ति होती है। मेरा जवाब ऊपर देखिए। दूसरी ओर संपादित करें , प्रतिगमन गैर-सामान्यता के लिए बहुत मजबूत है, इसलिए मैं सहमत हूं कि यदि यह सामान्य दिखता है, तो आप शायद उस उद्देश्य के लिए ठीक हैं।

— डेविड जे। हैरिस

@ डेविड जे हैरिस: "कुख्यात कम शक्ति"? 650 के नमूने के आकार के लिए? यह मेरे द्वारा पढ़ी या अनुभव की गई हर चीज के विपरीत है। क्या आपके पास एक प्रशस्ति पत्र है?

— whuber

@ डेविड जे.रिस मुझे लगता है कि एक बड़े नमूने के कारण कोर, कम शक्ति या सहज महत्व है, सामान्य धारणा की नियमित परीक्षा के लिए संपूर्ण अभ्यास अनावश्यक है।

— फोमाइट

Answer 3

संभावित कारण यह है कि आपका डेटा बहुत थोड़ा गैर-सामान्य है और आपके नमूना का आकार यह प्रकट करने के लिए पर्याप्त बड़ा है।

यदि वितरण वास्तव में सामान्य है, तो यह आमतौर पर इन परीक्षणों को पारित करना चाहिए, जैसा कि निम्नलिखित आर उदाहरण में किया गया है, जहां सभी लेकिन एक परीक्षण पास किया गया है।

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

आप एक qqplot करना चाहते हैं और यदि यह एक सीधी रेखा के करीब है तो आप इसे अपने उद्देश्यों के लिए सामान्यता के करीब होने के रूप में मान सकते हैं। यह उन उद्देश्यों पर निर्भर करता है।

Comments

प्रयोजनों के परीक्षण के लिए यह देखना है कि क्या रेखीय प्रतिगमन में अवशिष्ट सामान्य हैं।

— रॉबी

@Robbie। जाहिरा तौर पर वे नहीं हैं, लेकिन वे इस बात के लिए पर्याप्त करीब हो सकते हैं कि वे ज्यादा मायने नहीं रखते। Qqplot का प्रयास करें।

— हेनरी

Pearson chi वर्ग परिणाम ऐसा लगता है कि डेटा सामान्य रूप से वितरित नहीं किया गया है। बस केह रहा हू। ऐसे परिणाम के साथ क्या करना है?

— xmjx

@xmjx: ज्यादा नहीं - यदि आप 0.05 मानदंड लागू करते हैं, तो आपको 5% समय के लिए एक सकारात्मक सकारात्मक राशि मिलने पर आश्चर्य नहीं करना चाहिए।

— हेनरी

@ मुझे पता है। मेरा क्या मतलब है: किसी भी सामान्यता परीक्षण को चुनने के लिए किसी एक को चुनने की संभावना है जो "महत्वपूर्ण" कहेगा। तो क्या बैटरी चलाना बेहतर है और फिर ... क्या? औसत? बहुमत के साथ जाएं वोट?

— xmjx

Answer 4

मुझे dsimcha के जवाब से असहमत होने दें: "सामान्यता परीक्षण समय की बर्बादी है और आपका उदाहरण क्यों दिखाता है।" सामान्यता परीक्षण कभी भी बेकार नहीं होता है, आप हमेशा अपने डेटा से सीख सकते हैं। इसके अलावा, कुछ विश्लेषण (यानी एनोवा, प्रतिगमन, आदि) करने से पहले आपको कुछ शर्तों का परीक्षण करना होगा। रिश्तेदार बड़े नमूना आकार प्लॉट (क्यूक्यूप्लॉट, हिस्टोग्राम) के साथ परीक्षण करने के लिए बेहतर हैं। ऐसे मामलों में, विज़ुअलाइज़ेशन मल्टीमॉडल व्यवहार और इतने पर के बारे में अधिक जानकारी देता है।

एनोवा और प्रतिगमन बड़े नमूना आकार का व्यवहार करते समय गैर-सामान्यता के लिए मजबूत होते हैं लेकिन मुख्य प्रकार का डेटा जो समस्याओं का कारण होता है वह मल्टीमॉडल डेटा नमूने हैं।

छोटे नमूने के आकार के साथ कोलगोमोरोव-स्मिर्नोव परीक्षण मुख्य रूप से अपनी संवेदनशीलता के कारण सबसे अच्छा विकल्प है।

Answer 5

मैं अब तक पोस्ट किए गए अन्य उत्तरों से थोड़ा असहमत होने जा रहा हूं: सामान्यता के लिए इन परीक्षणों में बहुत कम शक्ति है, यहां तक ​​कि अपेक्षाकृत बड़े नमूना आकारों के साथ, कम से कम कुछ प्रकार के विचलन के लिए।

यहाँ एक त्वरित उदाहरण है। मैंने दो मानदंडों का एक मिश्रण तैयार किया है जिनके साधन पूरे एसडी द्वारा अलग किए जाते हैं।

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

यह देखते हुए कि यह सामान्यता से विचलन का "पता लगाएगा" 5% उस समय भी जब यह वास्तव में सामान्य था, यह बहुत प्रभावशाली नहीं है।

यहां एक और उदाहरण दिया गया है: मैं दो मानक विचलन के आकार की सीमा में एक समान शोर जोड़ता हूं। यह एक बिल्कुल गैर-सामान्य है।

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

फिर से, सामान्यता से बहुत बड़े प्रस्थान के लिए बेहद कम शक्ति।

क्या आप वाकई qqplot को सही ढंग से पढ़ रहे हैं? क्या आप इसे अपलोड कर सकते हैं ताकि हम इसे देख सकें?

दूसरी ओर संपादित करें , प्रतिगमन गैर-सामान्यता के लिए काफी मजबूत है, इसलिए मैं सहमत हूं कि दृश्य निरीक्षण अधिकांश उद्देश्यों के लिए पर्याप्त होने की संभावना है।

Comments

$0$$73/25$$75/25$