मतलब के लिए विश्वास अंतराल की सन्निकटन त्रुटि

15

Let में iid यादृच्छिक चर का एक परिवार हो मान $\{X_i\}_{i=1}^n$ $[0,1]$ , एक मतलब होने $\mu$ और विचरण $\sigma^2$ । मतलब, का उपयोग कर के लिए एक सरल विश्वास अंतराल $\sigma$ जब भी यह जाना जाता है, द्वारा दिया जाता है

P (| \bar{X} - μ | > ε) \leq \frac{σ^{2}}{n ε^{2}} \leq \frac{1}{n ε^{2}} (1) .

$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$

इसके अलावा, क्योंकि $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$ asymptotically एक मानक सामान्य यादृच्छिक चर के रूप में वितरित किया जाता है, सामान्य वितरण का उपयोग कभी-कभी एक अनुमानित आत्मविश्वास अंतराल का निर्माण करने के लिए किया जाता है।

बहु-विकल्पीय जवाब आँकड़े परीक्षा में, मैं करने के बजाय इस सन्निकटन उपयोग करने के लिए मिला है $(1)$ जब भी $n \geq 30$ । मैंने हमेशा इसके साथ बहुत असहज महसूस किया है (जितना आप कल्पना कर सकते हैं), क्योंकि सन्निकटन त्रुटि की मात्रा निर्धारित नहीं है।

बजाय सामान्य सन्निकटन का उपयोग क्यों करें $(1)$ ?
मैं, नहीं चाहते कभी भी फिर से, आँख बंद करके नियम लागू करना । क्या ऐसे अच्छे संदर्भ हैं जो मुझे ऐसा करने से मना कर सकते हैं और उचित विकल्प प्रदान कर सकते हैं? ( एक ऐसा उदाहरण है जिसे मैं एक उपयुक्त विकल्प मानता हूं।) $n \geq 30$ $(1)$

यहाँ, जबकि और अज्ञात हैं, वे आसानी से बंधे हुए हैं। $\sigma$ $E[ |X|^3]$

कृपया ध्यान दें कि मेरा प्रश्न विशेष रूप से आत्मविश्वास अंतराल के बारे में एक संदर्भ अनुरोध है और इसलिए उन सवालों से अलग है, जो यहां और यहां आंशिक डुप्लिकेट के रूप में सुझाए गए थे । इसका उत्तर वहां नहीं है।

— ओलिवियर
स्रोत

2

आप सन्निकटन शास्त्रीय संदर्भ में पाया सुधार करने के लिए है और तथ्य यह है कि शोषण कर सकती

में हैं

के रूप में आपने देखा क्षणों के बारे में जानकारी देता है। जादुई उपकरण, मुझे विश्वास है, बेरी-एसेन प्रमेय होगा!

X_{i}

$X_i$

(0, 1)

$(0, 1)$

— यवेस

1

उन सीमाओं के साथ, विचरण 0.25 से अधिक नहीं हो सकता है, 1 से बेहतर है, है ना?

— कार्लो

3

सामान्य सन्निकटन का उपयोग क्यों करें?

यह कहना उतना ही सरल है कि कम से अधिक जानकारी का उपयोग करना हमेशा बेहतर होता है। समीकरण (1) चेबीशेव के प्रमेय का उपयोग करता है । ध्यान दें, यह आपके वितरण के आकार के बारे में किसी भी जानकारी का उपयोग कैसे नहीं करता है, अर्थात यह दिए गए विचरण के साथ किसी भी वितरण के लिए काम करता है। इसलिए, यदि आप अपने वितरण के आकार के बारे में कुछ जानकारी का उपयोग करते हैं तो आपको एक बेहतर सन्निकटन प्राप्त करना चाहिए। यदि आप जानते थे कि आपका वितरण गौसियन है, तो इस ज्ञान का उपयोग करके आप एक बेहतर अनुमान प्राप्त करते हैं।

चूंकि, आप पहले से ही केंद्रीय सीमा प्रमेय को लागू कर रहे हैं, क्यों सीमा के गौसियन सन्निकटन का उपयोग नहीं करते हैं? वे बेहतर होने जा रहे हैं, वास्तव में, तंग (या तेज) क्योंकि ये अनुमान आकार के ज्ञान पर आधारित हैं जो जानकारी का एक अतिरिक्त टुकड़ा है।

अंगूठे 30 का नियम एक मिथक है, जो पुष्टि पूर्वाग्रह से लाभान्वित होता है । यह सिर्फ एक किताब से दूसरी किताब में कॉपी होता रहता है। एक बार मुझे 1950 में एक पेपर में इस नियम का सुझाव देने वाला एक संदर्भ मिला। जैसा कि मुझे याद है, यह किसी भी तरह का ठोस सबूत नहीं था। यह किसी प्रकार का अनुभवजन्य अध्ययन था। मूल रूप से, इसका उपयोग करने का एकमात्र कारण है क्योंकि यह काम करता है। आप इसे अक्सर बुरी तरह उल्लंघन करते हुए नहीं देखते हैं।

अद्यतन Zachary आर। स्मिथ और क्रेग एस। वेल्स " केंद्रीय सीमा प्रमेय और नमूना आकार " द्वारा कागज को देखो । वे विभिन्न प्रकार के वितरणों के लिए सीएलटी के अभिसरण का एक अनुभवजन्य अध्ययन प्रस्तुत करते हैं। जादू नंबर 30 निश्चित रूप से कई मामलों में काम नहीं करता है।

— Aksakal
स्रोत

एक समझदार व्याख्या के लिए +1। लेकिन क्या ऐसी जानकारी का उपयोग करने का जोखिम नहीं है जो काफी सही नहीं है? CLT के वितरण के बारे में कुछ नहीं कहता

एक निश्चित के लिए

।

\bar{X}

$\bar X$

n

$n$

— ओलिवियर

ठीक है, CLT परिमित नमूने के वितरण के बारे में कुछ नहीं कहता है, लेकिन इसलिए कोई भी विषम समीकरण नहीं है। हालांकि, निर्विवाद रूप से उनके पास उपयोगी जानकारी है, इसीलिए हर जगह रिश्तों को सीमित किया जाता है। चेबीशेव के साथ समस्या यह है कि यह इतना व्यापक है कि इसका उपयोग शायद ही कभी कक्षा के बाहर किया जाता है। उदाहरण के लिए, एक मानक विचलन के लिए यह जो संभाव्यता देता है वह है

- शायद ही व्यावहारिक जानकारी

< 1 / k^{2} = 1

$<1/k^2=1$

— अक्सकल

फिर भी

लिए मानों 0 या 1 को समान संभावना के साथ लेते हुए, चेबीशेव का आपका आवेदन तेज है। ;) समस्या यह है कि Chebyshev, एक नमूना माध्य पर लागू होता है, कभी भी बढ़ता नहीं है जैसा कि

बढ़ता है।

X

$X$

n

$n$

— ओलिवियर

मुझे स्मिथ और वेल्स के पेपर के बारे में पता नहीं है, मैंने इसे आर में पुन: प्रस्तुत करने की कोशिश की और उनके निष्कर्ष को ठीक नहीं कर सका ...

— एलेक्स नेल्सन

9

वास्तविक मूल्य के लिए एक अंतराल प्राप्त करने के लिए चेबीशेव असमानता का उपयोग करने के साथ मुद्दा यह है कि यह आपको केवल संभावना के लिए एक कम बाध्य देता है, जो कि कभी-कभी तुच्छ होता है, या, तुच्छ नहीं होने के लिए, यह एक बहुत ही विस्तृत दे सकता है। विश्वास अंतराल। हमारे पास है

P (| \bar{X} - μ | > ε) = 1 - P (\bar{X} - ε \leq μ \leq \bar{X} + ε)

$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$

⟹ P (\bar{X} - ε \leq μ \leq \bar{X} + ε) \geq 1 - \frac{1}{n ε^{2}}

$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$

हम देखते हैं कि, नमूना आकार पर भी निर्भर करता है, अगर हम "बहुत अधिक" घटाते हैं, तो हमें तुच्छ उत्तर मिलेगा "संभावना शून्य से अधिक है"। $\varepsilon$

इसके अलावा, क्या हम इस दृष्टिकोण से प्राप्त फार्म "का एक निष्कर्ष यह है" की संभावना में गिरने है के बराबर या अधिक से अधिक ... " $\mu$ $[\bar X \pm \varepsilon]$

लेकिन मान लेते हैं कि हम इसके साथ अच्छे हैं, और को न्यूनतम संभाव्यता के साथ निरूपित करते हैं जिसके साथ हम सहज हैं। इसलिए हम चाहते हैं $p_{min}$

1 - \frac{1}{n ε^{2}} = p_{m i n} ⟹ ε = \sqrt{\frac{1}{(1 - p_{m i n}) n}}

$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$

छोटे नमूने के आकार और उच्च वांछित न्यूनतम संभावना के साथ, यह एक असंतोषजनक रूप से व्यापक आत्मविश्वास अंतराल दे सकता है। के लिए उदाहरण के लिए और हम मिल जाएगा , जो, चर ओपी कि में घिरा है द्वारा इलाज के लिए उदाहरण के लिए भी उपयोगी होने के लिए बड़ा प्रतीत होता है। $p_{min} =0.9$ $n=100$ $\varepsilon \approx .316$ $[0,1]$

लेकिन दृष्टिकोण वैध है, और वितरण-मुक्त है, और इसलिए ऐसे उदाहरण हो सकते हैं जहां यह उपयोगी हो सकता है।

एक अन्य उत्तर में उल्लिखित वैशोनिस्किज-पेटुनिन असमानता की भी जांच करना चाह सकता है , जो निरंतर असमान वितरण के लिए रखता है और चेबीशेव की असमानता को परिष्कृत करता है।

— एलेकोस पापाडोपोलोस
स्रोत

मैं इस बात से सहमत नहीं हूं कि चेबिशेव के साथ एक समस्या यह है कि यह केवल संभावना के लिए कम बाध्यता देता है। वितरण-मुक्त सेटिंग में, एक कम बाउंड सबसे अच्छा है जिसकी हम उम्मीद कर सकते हैं। महत्वपूर्ण प्रश्न हैं: चेचीशेव तेज है? निश्चित स्तर

लिए व्यवस्थित रूप से चेबचीव सीआई की लंबाई अधिक है ? मैंने अपनी पोस्ट में इसका जवाब दिया, एक विशेष दृष्टिकोण से। हालांकि, मैं अभी भी समझने की कोशिश कर रहा हूं कि अगर एक नमूना मतलब के लिए चेचीशेव हमेशा मजबूत, एक मजबूत अर्थ में विफल नहीं होगा।

α

$\alpha$

— ओलिवियर

सीआई की लंबाई अनुमान के तहत नहीं है, चूंकि कुछ एकल अज्ञात लंबाई मौजूद नहीं है, इसलिए मुझे यकीन नहीं है कि आप "अति-अनुमान" शब्द का उपयोग करके यहां क्या मतलब है। विभिन्न विधियाँ विभिन्न CI प्रदान करती हैं, जो निश्चित रूप से हम उनका मूल्यांकन और मूल्यांकन करने का प्रयास कर सकते हैं।

— एलेकोस पापाडोपोलोस

अति-अनुमान शब्दों का एक बुरा विकल्प था, इसे इंगित करने के लिए धन्यवाद। "व्यवस्थित रूप से अधिक अनुमानित" से मेरा मतलब था कि एक सीआई को प्राप्त करने की विधि हमेशा आवश्यकता से कुछ बड़ा पैदावार देती है।

— ओलिवियर

1

@ ऑलिवर आम तौर पर, चेबीशेव असमानता एक ढीली असमानता के रूप में जानी जाती है, और इसलिए इसे सैद्धांतिक व्युत्पत्तियों और साक्ष्यों में एक उपकरण के रूप में अधिक उपयोग किया जाता है बजाय लागू किए गए कार्यों में।

— एलेकोस पापाडोपोलोस

2

@ ऑलिवर "आम तौर पर बोलना" आपकी योग्यता को कवर करता है, मैं कहूंगा।

— एलेकोस पापाडोपोलोस

7

संक्षिप्त उत्तर यह है कि यह बहुत बुरी तरह से जा सकता है, लेकिन केवल अगर नमूना वितरण के एक या दोनों पूंछ वास्तव में वसा हैं ।

यह आर कोड 30 गामा-वितरित चर के एक लाख सेट उत्पन्न करता है और उनका मतलब लेता है; इसका उपयोग यह समझने के लिए किया जा सकता है कि माध्य का नमूना वितरण कैसा दिखता है। यदि सामान्य सन्निकटन उद्देश्य के अनुसार काम करता है, तो परिणाम औसत 1 और विचरण के साथ लगभग सामान्य होना चाहिए 1/(30 * shape)।

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

जब shape1.0 होता है, तो गामा वितरण एक घातीय वितरण बन जाता है , जो कि बहुत ही सामान्य है। फिर भी, गैर-गाऊसी भागों में से ज्यादातर औसत हैं और इसलिए गौसियन सन्निकटन इतना बुरा नहीं है:

स्पष्ट रूप से कुछ पूर्वाग्रह हैं, और जब संभव हो तो इससे बचना अच्छा होगा। लेकिन ईमानदारी से, पूर्वाग्रह का वह स्तर शायद एक विशिष्ट अध्ययन का सामना करने वाली सबसे बड़ी समस्या नहीं होगी।

कहा कि, चीजें बहुत बदतर हो सकती हैं। साथ f(0.01), इस तरह हिस्टोग्राम दिखता है:

औसत से पहले 30 सैंपल किए गए डेटा पॉइंट को लॉग-ट्रांसफ़ॉर्म करना बहुत मदद करता है, हालाँकि:

सामान्य तौर पर, गाऊसी सन्निकटन विश्वसनीय होने से पहले लंबी पूंछ (वितरण के एक या दोनों तरफ) के साथ वितरण को सबसे अधिक नमूनों की आवश्यकता होगी। यहां तक कि रोग संबंधी मामले भी हैं, जहां काम करने के लिए गॉसियन सन्निकटन के लिए शाब्दिक रूप से पर्याप्त डेटा कभी नहीं होगा, लेकिन आपको शायद उस मामले में और अधिक गंभीर समस्याएं होंगी (क्योंकि नमूना वितरण के लिए एक अच्छी तरह से परिभाषित मतलब या विचरण शुरू नहीं होता है साथ में)।

— डेविड जे हैरिस
स्रोत

मुझे यह प्रयोग बहुत प्रासंगिक और दिलचस्प लगता है। मैं इसे उत्तर के रूप में नहीं लूंगा, हालांकि, क्योंकि यह समस्या की जड़ को संबोधित नहीं करता है।

— ओलिवियर

1

क्रुक्स क्या है?

— डेविड जे। हैरिस

आपका उत्तर ध्वनि सांख्यिकीय अभ्यास के लिए कठोर पैर प्रदान नहीं करता है। यह केवल उदाहरण देता है। ध्यान दें, यह भी, कि जिस यादृच्छिक चर को मैं बाध्य करता हूं, वह बहुत ही संभावित सबसे खराब स्थिति है।

— ओलिवियर

@Glen_b: यह उत्तर आपके प्रश्न के संशोधित संस्करण के लिए प्रासंगिक नहीं है। क्या मुझे इसे यहां छोड़ देना चाहिए, या आप कुछ और सुझाएंगे?

— डेविड जे। हैरिस

3

चेबिशेव विश्वास अंतराल के साथ समस्या

$\sigma^2 \le \frac{1}{4}$ $\text{Var}(X) \le \mu(1-\mu)$ $\mu$

P (| \bar{X} - μ | \geq ε) \leq \frac{1}{4 n ε^{2}} .

$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$ The problem is that the inequality is, in a certain sense, quite loose when

n

$n$ gets large. An improvement is given by Hoeffding's bound and shown below. However, we can also demonstrate how bad it can get using the Berry-Esseen theorem, pointed out by Yves. Let

X_{i}

$X_i$ have a variance

\frac{1}{4}

$\tfrac{1}{4}$ , the worst possible case. The theorem implies that

P (| \bar{X} - μ | \geq \frac{ε}{2 \sqrt{n}}) \leq 2 SF (ε) + \frac{8}{\sqrt{n}},

$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$ where

SF

$\text{SF}$ is the survival function of the standard normal distribution. In particular, with

ε = 16

$\varepsilon = 16$ , we get

SF (16) \approx e^{- 58}

$\text{SF}(16) \approx e^{-58}$ (according to Scipy), so that essentially

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{8}{\sqrt{n}} + 0, (*)

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$ whereas the Chebyshev inequality implies

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{1}{256} .

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$ Note that I did not try to optimize the bound given in

(*)

$(*)$ , the result here is only of conceptual interest.

Comparing the lengths of the confidence intervals

Consider the $(1-\alpha)$ -level confidence interval lengths $\ell_Z(\alpha, n)$ and $\ell_C(\alpha, n)$ obtained using the normal approximation ( $\sigma = \tfrac{1}{2}$ ) and the Chebyshev inequality, repectively. It turns out that $\ell_C(\alpha, n)$ is a constant times bigger than $\ell_Z(\alpha, n)$ , independently of $n$ . Precisely, for all $n$ ,

ℓ_{C} (α, n) = κ (α) ℓ_{Z} (α, n), κ (α) = {(ISF (\frac{α}{2}) \sqrt{α})}^{- 1},

$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$ where

ISF

$\text{ISF}$ is the inverse survival function of the standard normal distribution. I plot below the multiplicative constant.

$\hskip 1in$

In particular, the $95\%$ level confidence interval obtained using the Chebyshev inequality is about $2.3$ times bigger than the same level confidence interval obtained using the normal approximation.

Using Hoeffding's bound

Hoeffding's bound gives

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}} .

$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$ Thus an

(1 - α)

$(1-\alpha)$ -level confidence interval for

μ

$\mu$ is

(\bar{X} - ε, \bar{X} + ε), ε = \sqrt{\frac{- \ln \frac{α}{2}}{2 n}},

$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$ of length

ℓ_{H} (α, n) = 2 ε

$\ell_H (\alpha, n) = 2\varepsilon$ . I plot below the lengths of the different confidence intervals (Chebyshev inequality:

ℓ_{C}

$\ell_C$ ; normal approximation (

σ = 1 / 2

$\sigma = 1/2$ ):

ℓ_{Z}

$\ell_Z$ ; Hoeffding's inequality:

ℓ_{H}

$\ell_H$ ) for

α = 0.05

$\alpha = 0.05$ .

$\hskip 0.5in$

— Olivier
स्रोत

Very interesting! I have though some corrections to suggest you toghether with a big puzzlement: first, you should take out absolute value from the Hoeffding's unequality definition, it's

P (\bar{X} - μ \geq ε) \leq e^{- 2 n ε^{2}}

$P(\bar{X}-\mu \ge \varepsilon) \le e^{-2 n \varepsilon^2}$ or

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}};

$P(|\bar{X}-\mu| \ge \varepsilon) \le 2 e^{-2 n \varepsilon^2} ;$ the second correction is less important,

α

$\alpha$ is generally taken to be 0.05 or lower, while 0.95 is addressed as

1 - α,

$1-\alpha,$ it's a bit confusing to see them switched in your post.

— carlo

अंतिम और अधिक महत्वपूर्ण: मैंने आपका परिणाम अविश्वसनीय पाया, इसलिए मैंने इसे आर में दोहराने की कोशिश की और मुझे पूरी तरह से विपरीत परिणाम मिला: सामान्य सन्निकटन मुझे छोटे आत्मविश्वास अंतराल देता है! यह वह कोड है जिसका मैंने उपयोग किया है:

curve(sqrt(-log(.025)/2/x), to= 100, col= 'red', xlab= 'n', ylab= 'half interval') #Hoeffding ; curve(qnorm(.975, 0, .5/sqrt(x)), to= 100, add= T, col= 'darkgreen') #normal approximation

— कार्लो

0

let's start with the number 30: it's, as anyone will say, a rule of thumb. but how can we find a number that fits better to our data? It's actually mostly a matter of skewness: even the strangest distribution will fast converge to normal if they are simmetric and continuous, skewed data will be much slower. I remember learning that a binomial distribution can be properly approximated to normal when its variance is greater than 9; for this example it's to be considered that discrete distribution also have the problem that they need great numbers to simulate continuity, but think to this: a simmetric binomial distribution will reach that variance with n = 36, if p = 0.1 instead, n must go up to 100 (variabile trasformation, however, would help a lot)!

If you only want to use variance instead, dropping gaussian approximation, consider Vysochanskij–Petunin inequality over Chebichev's, it needs the assumption of unimodal distribution of the mean, but this is a very safe one with any sample size, I'd say, greater than 2.

— carlo
स्रोत

क्या आप "वैसोचैंकिस-पेटुनिन असमानता" के लिए एक संदर्भ जोड़ सकते हैं? कभी नहीं सुना!

— kjetil b halvorsen

wikipedia docet

— carlo

क्या आप विषमता के संदर्भ में अभिसरण की दर को व्यक्त कर सकते हैं? का एक नमूना आकार क्यों है, आप कहेंगे 2, असमानता के लिए पर्याप्त है? यदि आपको इसे लागू करने के लिए नमूना आकार को दोगुना या तिगुना करने की आवश्यकता है, तो विबोसेंकिज-पेटुनीन असमानता चेबीशेव पर एक सुधार कैसे है?

— ओलिवियर

I made a fast google search and I found out that binomial distribution is actually often used to explain different sample size need for skewed data, but I didn't find, and I guess there is no accepted "rate of convergence in terms of the skewdness".

— carlo

Vysochanskij–Petunin inequality is more efficent than Chebychev's, so it doesn't need a greater sample at all, but it has some use constraints: first, you have to have a continuous distribution, than, it has to be unimodal (no local modes are allowed). It may seem strange to drop normality assumption to adopt another one, but if your data is not discrete, sample mean should eliminate local modes even with very small samples. Fact is that mean has much of a bell distribution and, also if it can be skewed or have fat tails, it quickly comes to only have one mode.

— carlo