95 वें प्रतिशत की गणना: सामान्य वितरण, आर क्वांटाइल और एक्सेल दृष्टिकोण की तुलना करना

मैं निम्नलिखित डेटासेट पर 95 वीं प्रतिशतक की गणना करने की कोशिश कर रहा था। मैं इसे करने के कुछ ऑनलाइन संदर्भों में आया था।

दृष्टिकोण 1: नमूना डेटा के आधार पर

पहले एक मुझसे कहता है प्राप्त करने के लिए TOP 95 Percentडेटासेट के और फिर चुनें MINया AVGपरिणामी सेट की। निम्नलिखित डेटासेट के लिए ऐसा करना मुझे देता है:

AVG: 29162
MIN: 0

दृष्टिकोण 2: सामान्य वितरण मान लें

दूसरा एक का कहना है कि 95 वां चतुर्थांश मतलब ऊपर लगभग दो मानक है (जो मैं समझता हूँ) और मैं प्रदर्शन किया:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

दृष्टिकोण 3: आर क्वांटाइल

मैं R95 प्रतिशत प्राप्त करता था:

> quantile(data$V1, 0.95)
79515.2

दृष्टिकोण 4: एक्सेल का दृष्टिकोण

अंत में, मैं इस एक के पार आया , जो बताता है कि एक्सेल कैसे करता है। विधि का सारांश इस प्रकार है:

दिए गए Nमानों {v[1], v[2], ...}और pthसेटाइल की गणना करने की आवश्यकता को देखते हुए , निम्न कार्य करें:

गणना l = p(N-1) + 1
विभाजित करें lपूर्णांक और दशमलव घटकों मेंl = k + d
आवश्यक मान की गणना करें V = v[k] + d(v[k+1] - v[k])

यह तरीका मुझे देता है 79515.2

मूल्यों में से कोई भी मेल नहीं खाता है, हालांकि मुझे विश्वास है कि आर का मूल्य सही है (मैंने इसे ecdf प्लॉट से भी देखा है)। मेरा लक्ष्य किसी दिए गए डाटासेट से मैन्युअल रूप से (केवल AVGऔर STDEVकार्यों का उपयोग करके ) 95 वें प्रतिशत की गणना करना है और वास्तव में निश्चित नहीं है कि यहां क्या हो रहा है। क्या कोई मुझे बता सकता है कि मैं कहाँ गलत हो रहा हूँ?

r dataset quantiles sql

— किंवदंती
स्रोत

आपको पहले दृष्टिकोण को फिर से लिखना होगा: यह "मानों के शीर्ष 5% ले सकता है और उनमें से सबसे कम मिल सकता है", इस मामले में 79586, या "नीचे 95% ले लो और उनमें से अधिकतम खोजें", इस मामले में 79535.

— हेनरी

जवाबों:

पहला दृष्टिकोण पूरी तरह से गलत है और इसका 95 वें प्रतिशत से कोई लेना-देना नहीं है, मेरी राय में।

दूसरा दृष्टिकोण एक धारणा के आधार पर प्रतीत होता है कि डेटा सामान्य रूप से वितरित किया जाता है, लेकिन यह औसत से ऊपर 1.645 मानक विचलन होना चाहिए, न कि 2 मानक विचलन, और ऐसा लगता है जैसे आपको यह एहसास हुआ। यह एक खराब तरीका है यदि डेटा सामान्य रूप से वितरित नहीं किया गया है।

यदि आप स्वयं 95 वाँ प्रतिशत बनाना चाहते हैं, तो संख्याओं को सबसे छोटे से क्रमबद्ध करें और मान ज्ञात करें कि 95% डेटा उस मान से नीचे है। संभवतः डेटा बिंदुओं के बीच किसी प्रकार के प्रक्षेप का उपयोग करता है। एक साधारण सन्निकटन हो सकता हैsort(data$V1)[0.95*length(data$V1)] ।

@Macro की टिप्पणी के बाद संपादित किया गया।

— mark999
स्रोत

आपके समाधान के data$V1लिए पूर्व-सॉर्ट किए जाने की आवश्यकता होगी । अधिक आम तौर पर, sort(data$V1)[.95*length(data$V1)]आप चाहते हैं कि सन्निकटन होगा। हालाँकि, यदि .95*length(data$V1)कोई पूर्णांक नहीं है sort(data$V1), तो यह अनुक्रमणिका के निकटतम पूर्णांक पर गोल हो जाएगा , इसलिए यह सन्निकटन हमेशा उस स्थिति में कम आंका जाएगा।

— मैक्रों

आपके कमेंट के लिए धन्यवाद। मुझे कम आंकने के बारे में पता था, यही कारण है कि मैंने इसे एक साधारण सन्निकटन कहा, लेकिन मैं छंटाई को शामिल करना भूल गया। मैं उत्तर संपादित करूँगा।

— mark999

यहाँ @ mark999 के उत्तर के पूरक के लिए कुछ बिंदु दिए गए हैं।

विकिपीडिया पर प्रतिशतक पर एक लेख है जहाँ यह ध्यान दिया जाता है कि प्रतिशतक की कोई मानक परिभाषा मौजूद नहीं है। हालाँकि, कई सूत्र चर्चा में हैं।
क्रॉफोर्ड, जे।; Garthwaite, पी और स्लिक, डी पर प्रतिशतक तंत्रिका मनोविज्ञान में मानदंडों: रिपोर्टिंग परीक्षण स्कोर की प्रतिशतक रैंक से अधिक अनिश्चितता मात्र निर्धारण के लिए मानकों और तरीकों प्रस्तावित क्लीनिकल Neuropsychologist, मनोविज्ञान प्रेस, 2009, 23, 1173-1195 ( मुफ्त पीडीएफ ) चर्चा एक मनोविज्ञान मानदंड संदर्भ के भीतर प्रतिशत की गणना।

निम्नलिखित आर में कुछ चीजों की खोज करता है:

डेटा प्राप्त करें और आर मात्रात्मक फ़ंक्शन की जांच करें

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) दिखाता है कि आर में नौ अलग-अलग मात्रात्मक आकलन एल्गोरिदम हैं।
अन्य आउटपुट 9 एल्गोरिदम के लिए अनुमानित मूल्य और उस डेटा का अनुपात दिखाता है जो अनुमानित मूल्य से कम या बराबर है (यानी, सभी मान 95% के करीब हैं)।

सामान्य वितरण संभालने के साथ तुलना करें

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

नमूना माध्य और मानक विचलन के आधार पर एक सामान्य वितरण के 95 वें प्रतिशत के लिए बहुत अलग मूल्य का अनुमान लगाया गया है।
अनुमानित मूल्य नमूना डेटा के 84 वें प्रतिशत के आसपास है।
नीचे दिए गए कथानक से पता चलता है कि डेटा स्पष्ट रूप से सामान्य रूप से वितरित नहीं किया गया है, और इस प्रकार सामान्यता मानने के आधार पर अनुमान लंबे समय से बंद हो रहे हैं।

साजिश (घनत्व (x))

यहाँ छवि विवरण दर्ज करें

— जेरोमी एंग्लिम
स्रोत

बहुत अच्छा जवाब दिया है। मैं केवल इतना ही जोड़ूंगा कि मुझे ऐसा लगता है कि ज्यादातर मामलों में, 9 अनुमानों के बीच अंतर इतना छोटा है कि बहुत कम मायने रखता है।

— पीटर फ्लोम - मोनिका

क्वांटाइल्स पर विकिपीडिया लेख प्रतिशत पर एक से बेहतर है

— हेनरी

यहाँ कुछ गलत है क्योंकि R को 75500 और 75600 के बीच संख्या देनी चाहिए। क्या 1345 में से कुछ मान खो गए हैं?

— हेनरी

@ हेनरी इसके लिए धन्यवाद। प्रश्न पर इनपुट के लिए प्रदर्शित लाइनों की संख्या को कम करने के अपने प्रयास में, मैंने केवल कुछ लाइनों पर सी (...) कमांड रखा। परिणामस्वरूप मुझे लगता है कि मुझे कमांड लाइन की लंबाई सीमा के कुछ रूप का सामना करना पड़ा जो कुछ डेटा को काट रहा था। मैंने पहले कभी इस मुद्दे को नहीं देखा क्योंकि आमतौर पर मैं एक अलग फ़ाइल में ऐसा डेटा होता। मैंने अपनी स्क्रिप्ट और आउटपुट को अपडेट कर दिया है ताकि c (...) कमांड अब १२० लाइनों तक फैला हो; देखें जिस्ट gist.github.com/1102127

— जेरोमी एंग्लीम

+1 अतिरिक्त जानकारी के लिए धन्यवाद। बस जब आप इसे पोस्ट करते हैं, तो जिज्ञासा से बाहर मैं क्यूक्यू-प्लॉट का उपयोग करके वितरण को देख रहा था और उसी निष्कर्ष पर पहुंच गया। आपके समय के लिए शुक्रिया।

— किंवदंती