एक सामान्य वितरण के मापदंडों का अनुमान लगाना: औसत के बजाय मंझला?

सामान्य वितरण के मापदंडों का अनुमान लगाने के लिए सामान्य दृष्टिकोण का मतलब और नमूना मानक विचलन / विचरण का उपयोग करना है।

हालांकि, अगर कुछ आउटलेयर हैं, तो माध्यिका और माध्यिका से मध्य विचलन बहुत अधिक मजबूत होना चाहिए, है ना?

कुछ डेटा सेट पर मैंने कोशिश की, सामान्य वितरण द्वारा अनुमानित क्लासिक की तुलना में काफी बेहतर फिट निर्माण करने के लिए लगता है मतलब का उपयोग करते हुए और आरएमएस विचलन। $\mathcal{N}(\text{median}(x), \text{median}|x - \text{median}(x)|)$ $\mathcal{N}(\hat\mu, \hat\sigma)$

क्या इसका कोई कारण है? यदि आप मानते हैं कि डेटा सेट में कुछ आउटलेर हैं, तो क्या माध्यिका का उपयोग नहीं ? क्या आप इस दृष्टिकोण के लिए कुछ संदर्भ जानते हैं? Google पर त्वरित खोज से मुझे ऐसे उपयोगी परिणाम नहीं मिले, जो यहां पर मध्यस्थों के उपयोग के लाभों पर चर्चा करते हैं (लेकिन जाहिर है, "सामान्य वितरण पैरामीटर अनुमान मेडियन" खोज शब्दों का एक बहुत विशिष्ट सेट नहीं है)।

मंझला विचलन, क्या यह पक्षपातपूर्ण है? क्या मुझे इसे गुणा करना चाहिए $\frac{n-1}{n}$ पूर्वाग्रह को कम करने के लिए?

क्या आप अन्य वितरणों जैसे गामा वितरण या घातीय रूप से संशोधित गाऊसी वितरण के लिए समान मजबूत पैरामीटर अनुमान दृष्टिकोण जानते हैं (जो पैरामीटर अनुमान में Skewness की आवश्यकता है, और आउटलेरर्स वास्तव में इस मूल्य को गड़बड़ कर देते हैं)?

— एरच शूबर्ट
स्रोत

यदि आपके पास आउटलेयर हैं, तो हो सकता है कि आपका वितरण वास्तव में गॉसियन सामान्य न हो। यह आपके सवाल का जवाब नहीं देता है, लेकिन, आईएमओ, यह एक संभावना है जो हमेशा मनोरंजन करना चाहिए।

— sds

मेरे पास एक सरल, स्वच्छ, गणितीय वितरण नहीं है। मेरे पास वास्तविक डेटा है, जो प्रकृति द्वारा गड़बड़ है। कोई भी वितरण सही नहीं होगा, क्योंकि आप स्थिति को विश्लेषणात्मक रूप से नहीं संभाल सकते। और आउटलेर्स वास्तव में मेरी रुचि है। :-)

— एरच शूबर्ट

जवाबों:

एक उदाहरण है कि एक दूषित गाऊसी वितरण से तैयार किए गए डेटा को शामिल करने के उदाहरण में, आपको बजाय का उपयोग करके डेटा के थोक का वर्णन करने वाले मापदंडों का बेहतर अनुमान मिलेगा जहां है: $\text{mad}$ $\text{med}|x-\text{med}(x)|$ $\text{mad}(x)$

mad = 1.4826 \times med | x - med (x) |

$\text{mad}=1.4826\times\text{med}|x-\text{med}(x)|$

- वे, एक स्थिरता कारक है जिसे यह सुनिश्चित करने के लिए डिज़ाइन किया गया है कि जब अनियंत्रित है - मूल रूप से गॉस (वाकर) द्वारा बनाया गया था , एच। (1931))। $(\Phi^{-1}(0.75))^{-1}=1.4826$

E (mad (x)^{2}) = Var (x)

$\text{E}(\text{mad}(x)^2)=\text{Var}(x)$

x

$x$

मैं इस मामले में नमूना माध्य के बजाय का उपयोग नहीं करने का कोई कारण नहीं सोच सकता । की कम दक्षता (गौसियन में!) आपके उदाहरण में का उपयोग नहीं करने का एक कारण सकता है । हालांकि, लिए समान रूप से मजबूत और अत्यधिक कुशल विकल्प मौजूद । उनमें से एक है $\text{med}$ $\text{mad}$ $\text{mad}$ $\text{mad}$ $Q_n$ । इस अनुमान के पास कई अन्य फायदे हैं। यह आउटलेर्स के लिए बहुत ही असंवेदनशील है (वास्तव में पागल के रूप में लगभग असंवेदनशील है)। पागल के विपरीत, यह स्थान के अनुमान के आसपास नहीं बनाया गया है और यह नहीं मानता है कि डेटा के अनियंत्रित हिस्से का वितरण सममित है। पागल की तरह, यह ऑर्डर के आँकड़ों पर आधारित है, ताकि आपके नमूने के अंतर्निहित वितरण के कुछ पल न होने पर भी यह हमेशा अच्छी तरह से परिभाषित हो। पागल की तरह, इसका एक सरल स्पष्ट रूप है। पागल की तुलना में भी अधिक, मुझे आपके द्वारा वर्णित उदाहरण में बजाय नमूना मानक विचलन का उपयोग करने का कोई कारण नहीं दिखता है ( बारे में अधिक जानकारी के लिए रूसेव्यू और क्राउक्स 1993 देखें )। $Q_n$ $Q_n$

अपने आखिरी सवाल, विशेष मामले के बारे में के रूप में जहां , तो $x\sim\Gamma(\nu,\lambda)$

med (x) \approx λ (ν - 1 / 3)

$\text{med}(x)\approx\lambda(\nu-1/3)$

तथा

mad (x) \approx λ \sqrt{ν}

$\text{mad}(x)\approx\lambda\sqrt{\nu}$

(दोनों मामलों में सन्निकटन अच्छे हो जाते हैं जब ) $\nu>1.5$

\hat{ν} = {(\frac{med (x)}{mad (x)})}^{2}

$\hat{\nu}=\left(\frac{\text{med}(x)}{\text{mad}(x)}\right)^2$

तथा

\hat{λ} = \frac{mad (x)^{2}}{med (x)}

$\hat{\lambda}=\frac{\text{mad}(x)^2}{\text{med}(x)}$

चेन और रुबिन (1986) को पूर्ण व्युत्पत्ति के लिए देखें।

जे। चेन और एच। रुबिन, 1986. गामा और पॉइसन वितरण, स्टेटिस्ट के माध्य और माध्य के बीच अंतर के लिए सीमा। Probab। लेट।, 4, 281-283।
पीजे रूससी और सी। क्रौक्स, 1993. अमेरिकन स्टैटिस्टिकल एसोसिएशन, वॉल्यूम के मेडियन निरपेक्ष विचलन जर्नल के विकल्प। 88, नंबर 424, पीपी। 1273-1283
वॉकर, एच। (1931)। सांख्यिकीय विधि के इतिहास में अध्ययन। बाल्टीमोर, एमडी: विलियम्स एंड विल्किंस कंपनी पीपी। 24-25।

— user603
स्रोत

Φ^{- 1} (0.75)^{- 1} \approx 1.4826

$\Phi^{-1}(0.75)^{-1} \approx 1.4826$ - क्या यह उपयोग करने के लिए मूल्य है, या दो आक्रमणों में से एक अतिरिक्त है?

— एरच Schubert

@ErichSchubert: आप सही कह रहे हैं: मैं दूसरा उलटा भूल गया .. सही किया।

— user603

+1। लेकिन मुझे लगता है कि आप "दक्षता कारक" का गलत चित्रण करते हैं: यह अनुरूप नहीं है

n / (n - 1)

$n/(n-1)$ प्रसरण के लिए कारक क्योंकि उत्तरार्द्ध सार्वभौमिक है जबकि आपका कारक केवल सामान्य वितरण के लिए विशिष्ट है: एक अलग वितरण को ध्यान में रखते हुए, आपको अपने कारक को बदलना होगा। यह अंतर एक महत्वपूर्ण कारण है कि भिन्नताओं और एसडी ने एमएडी की तुलना में इतने अधिक आवेदन देखे हैं।

— whuber

@ वाउचर: इसके लिए धन्यवाद, मुझे अब मेरे वाक्य का एहसास है 'यह आत्मा में समान है ' आसानी से गलत समझा जा सकता है। मैंने उसे हटा दिया।

— user603

मैंने एक्सटॉर्नल पार्ट को एक अलग प्रश्न बना दिया है : ysts.stackexchange.com/questions/48907/… लेकिन मेरे पास आपके लिए एक और है: लॉग-अप वितरण - लॉग को लागू करके संभाल, फिर सामान्य वितरण के साथ आगे बढ़ें?

— एरच Schubert

यदि आप जोर देते हैं, तो डेटा कुछ छोटे अनुपातों के अलावा सामान्य हैं, मध्य और औसत निरपेक्ष विचलन सकल त्रुटियों के लिए मजबूत होंगे, लेकिन गैर-आउटसॉलिंग डेटा में जानकारी का बहुत कुशल उपयोग नहीं करेंगे।

यदि आपको पता था कि कुछ प्राथमिकताओं के आधार पर बाध्यता होती है, तो आप उस अनुपात को ट्रिम कर सकते हैं और मानक विचलन को जीत सकते हैं । एक विकल्प जिसके लिए इस तरह के ज्ञान की आवश्यकता नहीं होती है , वह स्थान और संबंधित मात्रा के लिए एम-आकलनकर्ताओं का उपयोग करना होगा । दक्षता में लाभ यदि आपकी धारणा सही है (जैसे कि डेटा वास्तव में सामान्य रूप से एक छोटे प्रतिशत आउटलेर्स से अलग है) कुछ परिस्थितियों में पर्याप्त हो सकता है।

माध्य विचलन मानक विचलन के अनुमान के रूप में पक्षपाती है - लेकिन ऐसा नहीं है $\frac{n}{n-1}$ समायोजन; अनुचित नमूना माध्य वर्ग विषमतापूर्वक विचरण के लिए जा रहा है, लेकिन नमूना माध्य निरपेक्ष विचलन asymptotically जनसंख्या मानक विचलन पर नहीं जा रहा है; आपको निरंतरता प्राप्त करने के लिए इसे स्थिर रूप से गुणा करना होगा । आपके द्वारा किए जाने के बाद यह अभी भी छोटे-से-सैंपल को उसी अर्थ में पक्षपाती करता है जैसे कि अनुचित माध्य वर्ग।

— Glen_b -Reinstate मोनिका
स्रोत