मानक विचलन के पीछे अंतर्ज्ञान

Question

मैं मानक विचलन की बेहतर सहज समझ हासिल करने की कोशिश कर रहा हूं।

जो मुझे समझ में आया है, वह उस डेटा सेट के माध्य से सेट किए गए डेटा में टिप्पणियों के सेट के अंतर के औसत का प्रतिनिधि है। हालांकि यह वास्तव में मतभेदों के औसत के बराबर नहीं है क्योंकि यह अर्थ से आगे टिप्पणियों का अधिक भार देता है।

मान लें कि मेरी निम्नलिखित जनसंख्या है -$\{1, 3, 5, 7, 9\}$

माध्य ।$5$

अगर मुझे मिलने वाले निरपेक्ष मूल्य के आधार पर मैं प्रसार का माप लेता हूं

$$\frac{\sum_{i = 1}^5|x_i - \mu|}{5} = 2.4$$

अगर मुझे मिलने वाले मानक विचलन का उपयोग करते हुए प्रसार का एक माप लिया जाता है

$$\sqrt{\frac{\sum_{i = 1}^5(x_i - \mu)^2}{5}} = 2.83$$

मानक विचलन का उपयोग करने का परिणाम बड़ा होता है, जैसा कि अपेक्षित होता है, क्योंकि अतिरिक्त वजन से यह माध्य से आगे के मूल्यों को देता है।

लेकिन अगर मुझे सिर्फ यह बताया गया कि मैं 5 की औसत से आबादी के साथ काम कर रहा था $5$और 2.83 का एक मानक विचलन था, $2.83$तो मैं कैसे अनुमान लगाऊंगा कि आबादी में कुछ मूल्यों जैसे $\{1, 3, 5, 7, 9\}$ ? ऐसा लगता है कि $2.83$ का आंकड़ा बहुत ही मनमाना है ... मुझे नहीं लगता कि आप इसे कैसे समझा सकते हैं। क्या $2.83$ अर्थ है कि मूल्य बहुत विस्तृत हैं या वे सभी कसकर अर्थ के आसपास गुथे हुए हैं ...

जब आपको एक बयान के साथ प्रस्तुत किया जाता है कि आप $5$ और 2.83 के मानक विचलन के साथ एक आबादी के साथ काम कर रहे हैं $2.83$, तो इससे आपको जनसंख्या के बारे में क्या पता चलता है?

Comments

यह प्रश्न संबंधित है (हालांकि समरूप नहीं है) आँकड़ो के लिए ।stackexchange.com/q/81986/3277 और इससे आगे जुड़ा हुआ।

— tnnphns

यह आपको माध्य (RMS दूरी) से एक 'विशिष्ट' दूरी बताता है। क्या है कि 'बड़े' या 'छोटे' अपने मानदंडों पर निर्भर करता है। यदि आप इंजीनियरिंग सहिष्णुता को मापने की कोशिश कर रहे हैं तो यह बहुत बड़ा हो सकता है। अन्य संदर्भों में समान मानक विचलन को काफी छोटा माना जा सकता है।

— Glen_b -Reinstate मोनिका

Answer 1

मेरा अंतर्ज्ञान यह है कि मानक विचलन है: डेटा के प्रसार का एक उपाय।

आपके पास एक अच्छा बिंदु है कि क्या यह चौड़ा है, या तंग यह इस बात पर निर्भर करता है कि डेटा के वितरण के लिए हमारी अंतर्निहित धारणा क्या है।

कैविएट: जब आपके डेटा का वितरण माध्य के आसपास सममित होता है और सामान्य वितरण की तुलना में भिन्नता होती है, तो प्रसार का एक उपाय सबसे अधिक सहायक होता है। (इसका मतलब है कि यह लगभग सामान्य है।)

इस मामले में जहां डेटा लगभग सामान्य है, मानक विचलन की एक विहित व्याख्या है:

• क्षेत्र: नमूना माध्य +/- 1 मानक विचलन, डेटा का लगभग 68% होता है
• क्षेत्र: नमूना मतलब +/- 2 मानक विचलन, डेटा का लगभग 95% होता है
• क्षेत्र: नमूना माध्य +/- 3 मानक विचलन, डेटा का लगभग 99% होता है

( विकी में पहले ग्राफिक देखें )

इसका मतलब यह है कि यदि हम जानते हैं कि जनसंख्या का औसत 5 है और मानक विचलन 2.83 है और हम मानते हैं कि वितरण लगभग सामान्य है, तो मैं आपको बताऊंगा कि मैं यथोचित रूप से निश्चित हूं कि यदि हम (एक महान) कई अवलोकन करते हैं, तो केवल 5% होगा 0.4 = 5 - 2 * 2.3 से छोटा या 9.6 = 5 + 2 * 2.3 से बड़ा हो।

ध्यान दें कि हमारे विश्वास अंतराल पर मानक विचलन का प्रभाव क्या है? (अधिक प्रसार, अधिक अनिश्चितता)

इसके अलावा, सामान्य मामले में जहां डेटा लगभग सामान्य नहीं है, लेकिन फिर भी सममित है, आप जानते हैं कि इसके लिए कुछ मौजूद हैं :$\alpha$

• क्षेत्र: नमूना मतलब +/- मानक विचलन, डेटा का लगभग 95% होता है$\alpha$

आप या तो उप-नमूने से सीख सकते हैं , या मान सकते हैं और यह आपको अक्सर अपने सिर में गणना करने के लिए अंगूठे का एक अच्छा नियम देता है कि भविष्य में क्या उम्मीद की जाए, या नई टिप्पणियों में से किसके रूप में माना जा सकता है बाहरी कारकों के कारण। (हालांकि चेतावनी को ध्यान में रखें!)α = $\alpha$$\alpha=2$

मैं यह नहीं देखता कि आप इसकी व्याख्या कैसे करेंगे। क्या २. Does३ का अर्थ है कि मूल्य बहुत विस्तृत हैं या वे सभी कसकर अर्थ के आसपास गुथे हुए हैं ...

मुझे लगता है कि "व्यापक या तंग" पूछने वाले प्रत्येक प्रश्न में यह भी होना चाहिए: "किसके संबंध में?"। एक सुझाव संदर्भ के रूप में एक प्रसिद्ध वितरण का उपयोग करने के लिए हो सकता है। संदर्भ के आधार पर इस बारे में सोचना उपयोगी हो सकता है: "क्या यह एक सामान्य / पॉइज़न की तुलना में बहुत व्यापक, या तंग है?"।

संपादित करें: टिप्पणियों में एक उपयोगी संकेत के आधार पर, दूरी को मापने के रूप में मानक विचलन के बारे में एक और पहलू।

मानक विचलन की उपयोगिता का एक और अंतर्ज्ञान यह है कि यह नमूना डेटा और इसके माध्य बीच एक दूरी माप है :x 1 , ... , x एन ˉ $s_N$$x_1,… , x_N$$\bar{x}$

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}$

तुलना के रूप में, औसत चुकता त्रुटि (MSE), आंकड़ों में सबसे लोकप्रिय त्रुटि उपायों में से एक के रूप में परिभाषित किया गया है:

$\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^n(\hat{Y_i} - Y_i)^2$

सवाल उठाया जा सकता है कि उपरोक्त दूरी क्यों काम करती है? क्यों चुकता दूरी, और उदाहरण के लिए पूर्ण दूरी नहीं? और हम वर्गमूल क्यों ले रहे हैं?

द्विघात दूरी, या त्रुटि होने से, फ़ंक्शंस का लाभ है कि हम दोनों को अलग कर सकते हैं और आसानी से कम कर सकते हैं। जहां तक ​​वर्गमूल का संबंध है, यह व्याख्या की ओर जोड़ता है क्योंकि यह त्रुटि को हमारे देखे गए डेटा के पैमाने पर वापस परिवर्तित करता है।

Comments

जब आप कहते हैं कि डेटा सामान्य होने पर प्रसार का एक उपाय सबसे 'सहायक' क्यों होता है? यह मुझे लगता है कि डेटा के किसी भी सेट का प्रसार है और मानक विचलन प्रसार का सारांश है, भले ही यह प्रसार के आकार को कैप्चर नहीं करता हो।

— माइकल ल्यू

यकीन है, आप सही हैं। लेकिन मैं यह दावा नहीं कर रहा था कि मानक विचलन किसी भी तरह से वितरण के आकार पर निर्भर करता है। केवल यह इंगित करते हुए कि यदि आपको आकृति के बारे में कुछ ज्ञान है (या आप इस धारणा को तैयार हैं), तो यह आमतौर पर बहुत अधिक उपयोगी जानकारी होती है। इसी तरह, नमूना माध्य आपके डेटा का एक अच्छा विवरणक है, यदि आप वितरण के बारे में कुछ सामान्य धारणा बना सकते हैं।

— मतलब-से-मतलब

पूर्ण मूल्य के बजाय वर्ग का उपयोग करने का मेरा पसंदीदा कारण यह है कि यह कुछ गौसियन की संभावना का एक लघुगणक है। इसलिए यदि आप मानते हैं कि त्रुटियाँ प्रकृति में गॉसियन हैं, और यह बिट्स जानकारी को मापने का अच्छा तरीका है, तो यह स्क्वीव त्रुटि का उपयोग करने के लिए समझ में आता है।

— क्यूबेकेल

Answer 2

यह महसूस करने में मदद कर सकता है कि माध्य द्रव्यमान के केंद्र के अनुरूप है । विचरण जड़ता का क्षण है । मानक विचलन gyration की त्रिज्या है ।

ऐतिहासिक परिप्रेक्ष्य के लिए, एक नज़र डालें:

जॉर्ज एरी ​​(1875) प्रेक्षणों की त्रुटियों के बीजगणितीय और संख्यात्मक सिद्धांत और टिप्पणियों के संयोजन पर

कार्ल पियर्सन (1894) विकास के गणितीय सिद्धांत में योगदान।

Airy 1875 के इस कथानक में विचलन के विभिन्न उपायों को दिखाया गया है जो आसानी से परस्पर जुड़े हुए हैं (पृष्ठ 17)। मानक विचलन को "माध्य वर्ग की त्रुटि" कहा जाता है। इसमें 20-21 पृष्ठों की भी चर्चा की गई है और वह पृष्ठ 48 पर इसके उपयोग को सही ठहराता है, यह दर्शाता है कि हाथ से गणना करना सबसे आसान है क्योंकि नकारात्मक और सकारात्मक त्रुटियों की अलग गणना की कोई आवश्यकता नहीं है। पृष्ठ 75 में ऊपर उद्धृत पेपर में पियर्सन द्वारा मानक विचलन शब्द प्रस्तुत किया गया था।

एक तरफ: ध्यान दें कि मानक विचलन की उपयोगिता "त्रुटियों के कानून" की प्रयोज्यता पर निर्भर है, जिसे "सामान्य वक्र" के रूप में भी जाना जाता है, जो "त्रुटि के एक महान स्वतंत्र कारणों" से उत्पन्न होता है (हवादार 1875 pg) 7)। इस बात की उम्मीद करने का कोई कारण नहीं है कि प्रत्येक व्यक्ति के समूह के माध्यम से विचलन को इस कानून का पालन करना चाहिए। जैविक प्रणालियों के लिए कई मामलों में एक लॉग सामान्य वितरण सामान्य से बेहतर धारणा है। देख:

लिम्पर्ट एट अल (2001) लॉग-नॉर्मल डिस्ट्रीब्यूशन इन द साइन्स: कीज़ एंड क्लूज़

यह और अधिक संदेहास्पद है कि क्या व्यक्तिगत भिन्नता को शोर के रूप में व्यवहार करना उचित है, क्योंकि डेटा जनरेटिंग प्रक्रिया व्यक्ति के स्तर पर कार्य करती है और समूह नहीं।

Answer 3

मानक विचलन, वास्तव में, इस तरह से उन लोगों को अधिक वजन देता है, क्योंकि यह स्क्वेअर दूरी के औसत का वर्गमूल है। इसका उपयोग करने के कारणों (बजाय मतलब पूर्ण विचलन कि आप प्रस्ताव करते हैं, या औसत निरपेक्ष विचलन, जो मजबूत आंकड़ों में उपयोग किया जाता है) आंशिक रूप से इस तथ्य के कारण है कि कैलकुलस का निरपेक्ष मूल्यों के साथ बहुपद के साथ एक आसान समय है। हालांकि, अक्सर, हम चरम मूल्यों पर जोर देना चाहते हैं।

सहज अर्थ के बारे में आपके प्रश्न के अनुसार - यह समय के साथ विकसित होता है। आप सही हैं कि एक से अधिक संख्याओं का एक ही माध्य और sd हो सकता है; इसका कारण यह है कि माध्य और sd केवल सूचना के दो टुकड़े हैं, और डेटा सेट 5 टुकड़े (1,3,5,7,9) या बहुत अधिक हो सकता है।

क्या २. Whether३ का माध्य ५ और sd "चौड़ा" है या "संकीर्ण" उस क्षेत्र पर निर्भर करता है जिसमें आप काम कर रहे हैं।

जब आपके पास केवल 5 नंबर होते हैं, तो पूरी सूची को देखना आसान होता है; जब आपके पास कई नंबर होते हैं, तो प्रसार के बारे में सोचने के अधिक सहज तरीके में ऐसी चीजें शामिल होती हैं जैसे कि पांच नंबर का सारांश या, इससे भी बेहतर, ग्राफ़िक्स जैसे कि एक घनत्व प्लॉट।

Answer 4

मानक विचलन, यादृच्छिक से चर के रूप में आपकी आबादी की दूरी को मापता है।

$X: [0,1] \rightarrow \mathbb{R}$

$$X(t) = \begin{cases} 1 & 0 \leq t < \frac{1}{5} \\ 3 & \frac{1}{5} \leq t < \frac{2}{5}\\ 5 & \frac{2}{5} \leq t < \frac{3}{5}\\ 7 & \frac{3}{5} \leq t < \frac{4}{5}\\ 9 & \frac{4}{5} \leq t \leq 1 \end{cases}$$

जिस कारण से हम फ़ंक्शन पर जाते हैं और सिद्धांत को मापते हैं, क्योंकि हमें इस बात पर व्यवस्थित तरीके से चर्चा करने की आवश्यकता है कि कैसे दो प्रायिकता रिक्त स्थान उन घटनाओं के समान होते हैं जिनके घटित होने की संभावना शून्य होती है। अब जब हम ऐसे कार्यों में चले गए हैं तो हमें दूरी की आवश्यकता है।

$$||Y||_p = \left(\int_{0}^1|Y(t)|^pdt\right)^{1/p}$$ $Y: [0,1] \rightarrow \mathbb{R}$$1 \leq p < \infty$$d_p(Y,Z) = ||X - Z||_p$

$p=1$

$$d_1(X,5) = ||X - \underline{5} ||_1 = 2.4.$$ $p=2$ $$d_2(X,5) = ||X-\underline{5}||_2 = 2.83.$$

$\underline{5}$$t \mapsto 5$

$d_2$

Comments

$[0,1]$$X:\{1,3,5,7,9\}\to\mathbb{R}$$X(i)=i$$\{1,3,5,7,9\}$$||X-5||_1$$5$

हां, आपके द्वारा सूचीबद्ध रैंडम वैरिएबल, माप सिद्धांत के साथ आरामदायक लोगों के लिए मानक है। मैं केवल पथरी पृष्ठभूमि वाले लोगों के लिए कार्यों और एकीकरण को समझने के लिए इसे कम करने की उम्मीद कर रहा था। मैं एक फ़ंक्शन के रूप में माध्य को फिर से लिखूंगा।

— 19

$d_2$

$L^2$$d_2$