कोलमोगोरोव-स्मिरनोव परीक्षण को समझना आर

Question

मैं कोलमोगोरोव-स्मिरनोव परीक्षण फ़ंक्शन (दो नमूने, दो तरफा) के आउटपुट को समझने की कोशिश कर रहा हूं। यहाँ एक सरल परीक्षण है।

x <- c(1,2,2,3,3,3,3,4,5,6)
y <- c(2,3,4,5,5,6,6,6,6,7)
z <- c(12,13,14,15,15,16,16,16,16,17)

ks.test(x,y)

#   Two-sample Kolmogorov-Smirnov test
#
#data:  x and y
#D = 0.5, p-value = 0.1641
#alternative hypothesis: two-sided
#
#Warning message:
#In ks.test(x, y) : cannot compute exact p-value with ties

ks.test(x,z)

#Two-sample Kolmogorov-Smirnov test

#data:  x and z
#D = 1, p-value = 9.08e-05
#alternative hypothesis: two-sided
#
#Warning message:
#In ks.test(x, z) : cannot compute exact p-value with ties


ks.test(x,x)

#Two-sample Kolmogorov-Smirnov test

#data:  x and x
#D = 0, p-value = 1
#alternative hypothesis: two-sided
#
#Warning message:
#In ks.test(x, x) : cannot compute exact p-value with ties

यहां कुछ चीजें हैं जो मुझे समझ नहीं आ रही हैं।

1. से मदद , ऐसा लगता है कि पी-मूल्य परिकल्पना को संदर्भित करता है var1=var2। हालाँकि, यहाँ इसका मतलब यह होगा कि परीक्षण कहता है ( p<0.05):

   ए। ऐसा नहीं कह सकते X = Y;

   ख। कह सकते हैं कि X = Z;

   सी। ऐसा नहीं कह सकते X = X()

दिखने के अलावा कि x अपने आप से अलग है (!), यह मेरे लिए भी काफी अजीब है x=z, क्योंकि दो वितरणों में शून्य ओवरलैपिंग का समर्थन है। वो कैसे संभव है?

2. परीक्षण की परिभाषा के अनुसार, Dदो प्रायिकता वितरण के बीच अधिकतम अंतर होना चाहिए, लेकिन उदाहरण के लिए मामले में (x,y)यह होना चाहिए D = Max|P(x)-P(y)| = 4(मामले में जब P(x), P(y)सामान्यीकृत नहीं हैं) याD=0.3 (यदि वे सामान्यीकृत हैं)। क्यों डी उससे अलग है?

3. मैंने जानबूझकर कई संबंधों के साथ एक उदाहरण बनाया है , क्योंकि मैं जिस डेटा के साथ काम कर रहा हूं उसमें बहुत सारे समान मूल्य हैं। यह परीक्षण को भ्रमित क्यों करता है? मैंने सोचा कि यह एक संभाव्यता वितरण की गणना करता है जो दोहराया मूल्यों से प्रभावित नहीं होना चाहिए। कोई उपाय?

Answer 1

केएस परीक्षण को दो स्वतंत्र नमूनों के "समता" को एक निरंतर वितरण (सहायता पृष्ठ राज्यों के रूप में) से परीक्षण करने पर प्राप्त किया जाता है। यदि ऐसा है तो संबंधों की संभावना आश्चर्यजनक रूप से छोटी होनी चाहिए (यह भी कहा गया है)। परीक्षण आँकड़ा ईसीडीएफ के दो नमूनों में से अधिकतम दूरी है। यदि एक ही वितरण से दो नमूने खींचे गए थे, तो पी-मान एक परीक्षण के रूप में उच्च या उच्चतर देखने की संभावना है। (यह "संभावना नहीं है कि var1 = var2"। और इसके अलावा, 1-p_value वह संभावना भी नहीं है।) उच्च पी-मान कहते हैं कि आप नहीं कर सकते।एक अंतर के लिए सांख्यिकीय समर्थन का दावा करते हैं, लेकिन कम पी-मान समता का सबूत नहीं हैं। कम पी-मान निम्न नमूना आकारों (जैसा कि आपका उदाहरण प्रदान करता है) या दिलचस्प लेकिन छोटे अंतर की उपस्थिति के साथ हो सकता है, जैसे कि सुपरिम्पोज्ड थरथरानवाला गड़बड़ी। यदि आप बड़ी संख्या में संबंधों के साथ स्थितियों के साथ काम कर रहे हैं, तो यह सुझाव देता है कि आपको एक परीक्षण का उपयोग करने की आवश्यकता हो सकती है जो आपके डेटा की स्थिति को अधिक बारीकी से फिट करता है।

मेरे संबंध क्यों मान्यताओं का उल्लंघन थे, इसका स्पष्टीकरण यह दावा नहीं था कि संबंधों ने परिणामों को अमान्य कर दिया था। अभ्यास में केएस परीक्षण के सांख्यिकीय गुण अपेक्षाकृत प्रतिरोधी या उस धारणा की विफलता के लिए मजबूत हैं। केएस परीक्षण के साथ मुख्य समस्या यह है कि मैं देख रहा हूं कि यह अत्यधिक सामान्य है और परिणामस्वरूप एक दिलचस्प प्रकृति के सार्थक मतभेदों की पहचान करने के लिए संचालित है। केएस परीक्षण एक बहुत ही सामान्य परीक्षण है और इसमें अधिक विशिष्ट परिकल्पना के लिए कम शक्ति है।

दूसरी ओर, मैं केएस-टेस्ट (या "इससे भी अधिक शक्तिशाली" एंडरसन डार्लिंग या लिलियर्स (स्प? टेस्ट) भी देखता हूं, "परिस्थितियों में" सामान्यता "का परीक्षण किया जाता है, जहां इस तरह का परीक्षण पूरी तरह से अनुचित है, जैसे कि परीक्षण के लिए। फिट होने से पहले एक प्रतिगमन मॉडल में भविष्यवाणियों के रूप में इस्तेमाल किए जा रहे चर की सामान्यता। एक व्यक्ति वैध रूप से अवशेषों की सामान्यता का परीक्षण करना चाहता है क्योंकि मॉडलिंग सिद्धांत में ऐसा माना जाता है। फिर भी अवशेषों की सामान्यता से मामूली प्रस्थान आमतौर पर परिणामों की वैधता को चुनौती नहीं देते हैं। सांख्यिकीय महत्व के बारे में निष्कर्ष पर "गैर-सामान्यता" के महत्वपूर्ण प्रभाव की जांच के लिए मजबूत तरीकों का उपयोग करना बेहतर होगा।

शायद आपको किसी स्थानीय सांख्यिकीविद् से सलाह लेनी चाहिए? यह सांख्यिकीय प्रश्न को थोड़ा और सटीक रूप से परिभाषित करने में आपकी सहायता कर सकता है और इसलिए यदि वास्तव में कोई मौजूद है तो अंतर की पहचान करने का बेहतर मौका है। यह "प्रकार II त्रुटि" का परिहार होगा: अंतर के निष्कर्ष का समर्थन करने में विफल जब ऐसा अंतर मौजूद हो।

Comments

बहुत अच्छा। यह ज्ञानवर्धक हो सकता है: असतत डेटा वाले कोलमोगोरोव-स्मिरनोव: आर में dgof :: ks.test का उचित उपयोग क्या है?

— Stephan Kolassa

मैंने एक ही उदाहरण के साथ dgof::ks.test(x,y,simulate.p.value=TRUE, B=1000)और Matching::ks.boot(x,y, nboots=1000)( sekhon.berkeley.edu/matching/ks.boot.html ) दोनों का परीक्षण किया है । दोनों डी और गणना की गई पी-मान दोनों मामलों में बिल्कुल समान हैं। इससे मुझे लगता है कि शायद केएस इतना बुरा नहीं है, तब भी जब किसी के पास कई संबंध हैं और विधि काम करने की गारंटी नहीं है? केएस मुझे पसंद है इसका कारण यह है कि पैरामीट्रिक नहीं है, अर्थात मुझे नमूनों के लिए वितरण की आवश्यकता नहीं है।

— नॉनकोर्ट जूल

हालांकि, मैं अभी भी डी के मूल्यों की समझ नहीं बना सकता हूं। मुझे लगा कि यह यहां के रूप में sqrt (m * n / (m + n)) के रूप में एक पूर्ववर्ती हो सकता है , लेकिन यह बना देगा D(x,y) = sqrt(100/20)*0.3=0.67, जो अभी भी अलग है।

— नॉनकोर्ट जूल

Answer 2

डी की गणना करने के लिए ( ks.testकोड से):

ks.test(x,y)

    Two-sample Kolmogorov-Smirnov test

data:  x and y
D = 0.5, p-value = 0.1641
alternative hypothesis: two-sided

alternative <- "two.sided"
x <- x[!is.na(x)]
n <- length(x)
  y <- y[!is.na(y)]
  n.x <- as.double(n)
  n.y <- length(y)
  w <- c(x, y)
  z <- cumsum(ifelse(order(w) <= n.x, 1/n.x, -1/n.y))
  z <- z[c(which(diff(sort(w)) != 0), n.x + n.y)] #exclude ties
  STATISTIC <- switch(alternative, two.sided = max(abs(z)), 
                      greater = max(z), less = -min(z))
  STATISTIC

[1] 0.5