अनिश्चितता के बूटस्ट्रैप अनुमानों के संबंध में अनुमान

62

मैं अनिश्चितता अनुमान प्राप्त करने में बूटस्ट्रैप की उपयोगिता की सराहना करता हूं, लेकिन एक चीज जो मुझे हमेशा परेशान करती है वह यह है कि उन अनुमानों के अनुरूप वितरण नमूना द्वारा परिभाषित वितरण है। सामान्य तौर पर, यह मानना एक बुरा विचार है कि हमारी नमूना आवृत्तियों अंतर्निहित वितरण के समान दिखती हैं, इसलिए एक वितरण के आधार पर अनिश्चितता अनुमानों को प्राप्त करने के लिए ध्वनि / स्वीकार्य क्यों है जहां नमूना आवृत्तियों अंतर्निहित वितरण को परिभाषित करते हैं?

दूसरी ओर, यह आमतौर पर हमारे द्वारा की जाने वाली अन्य वितरण धारणाओं की तुलना में कोई बदतर (संभवतः बेहतर) हो सकती है, लेकिन मैं अभी भी औचित्य को थोड़ा बेहतर समझना चाहूंगा।

bootstrap uncertainty

— user4733
स्रोत

3

कई संबंधित प्रश्न हैं जिनके माध्यम से आप देखना चाहते हैं। कुछ इस पृष्ठ के साइड मार्जिन पर सूचीबद्ध हैं। यहाँ एक है जब बूटस्ट्रैप विफल हो जाता है और इसके विफल होने का क्या अर्थ है।

— कार्डिनल

55

कई तरीके हैं जो एक बूझकर बूटस्ट्रैप को लागू कर सकते हैं। दो सबसे बुनियादी दृष्टिकोण हैं जिन्हें "गैर-समरूप" और "पैरामीट्रिक" बूटस्ट्रैप माना जाता है। दूसरा यह मानता है कि आप जिस मॉडल का उपयोग कर रहे हैं वह (अनिवार्य रूप से) सही है।

$X_1, X_2, \ldots, X_n$ $F$ $\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Dvoretzky-Kiefer – Wolfowitz असमानता

P (sup_{x \in R} | {\hat{F}}_{n} (x) - F (x) | > ε) \leq 2 e^{- 2 n ε^{2}} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr\big( \textstyle\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| > \varepsilon \big) \leq 2 e^{-2n \varepsilon^2} \> .$

यह दर्शाता है कि अनुभवजन्य वितरण फ़ंक्शन समान रूप से तेजी से संभाव्यता में वास्तविक वितरण फ़ंक्शन में समान रूप से परिवर्तित होता है। वास्तव में, यह असमानता बोरेल- लेम्मा के साथ मिलकर दिखाती है कि तुरंत लगभग निश्चित रूप से। $\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

इस अभिसरण की गारंटी देने के लिए के रूप में कोई अतिरिक्त शर्तें नहीं हैं । $F$

स्वाभाविक रूप से, तब, यदि हम वितरण कार्य के कुछ कार्यात्मक में रुचि रखते हैं जो कि सुचारू है , तो हम पास होने के लिए अपेक्षा करते हैं । $T(F)$ $T(\hat{F}_n)$ $T(F)$

(बिंदुवार) निष्पक्षता $\hat{F}_n(x)$

अपेक्षा की सरल रेखीयता और की परिभाषा में प्रत्येक , की परिभाषा , $\hat{F}_n(x)$ $x \in \mathbb{R}$

E_{F} {\hat{F}}_{n} (x) = F (x) .

$\newcommand{\e}{\mathbb{E}} \e_F \hat{F}_n(x) = F(x) \>.$

मान लीजिए हम माध्य में रुचि रखते हैं । फिर अनुभवजन्य माप की निष्पक्षता अनुभवजन्य माप के रैखिक कार्यात्मकता की निष्पक्षता तक फैली हुई है। तो, $\mu = T(F)$

E_{F} T ({\hat{F}}_{n}) = E_{F} {\bar{X}}_{n} = μ = T (F) .

$\e_F T(\hat{F}_n) = \e_F \bar{X}_n = \mu = T(F) \> .$

तो औसत रूप से सही है और चूंकि तेजी से पास आ रहा है , तो (heuristically), तेजी से से संपर्क करता है । $T(\hat{F}_n)$ $\hat{F_n}$ $F$ $T(\hat{F}_n)$ $T(F)$

एक विश्वास अंतराल का निर्माण करने के लिए ( जो कि, अनिवार्य रूप से, बूटस्ट्रैप सभी के बारे में क्या है ), हम केंद्रीय सीमा प्रमेय, अनुभवजन्य मात्राओं की स्थिरता और डेल्टा विधि का उपयोग कर सकते हैं, जो सरल रैखिक कार्यात्मक से स्थानांतरित करने के लिए उपकरण के रूप में रुचि के और अधिक आंकड़े हैं। ।

अच्छे संदर्भ हैं

बी। एफ्रॉन, बूटस्ट्रैप विधियाँ: जैकनाइफ , एन का एक और रूप । स्टेट। , वॉल्यूम। 7, नहीं। १, १-२६।
बी। एफ्रॉन और आर। तिब्शीरानी, एन इंट्रोडक्शन टू द बूटस्ट्रैप , चैपमैन-हॉल, 1994।
जीए यंग और आरएल स्मिथ, स्टैटिस्टिकल इन्वेंशन की अनिवार्यता , कैम्ब्रिज यूनिवर्सिटी प्रेस, 2005, अध्याय 11 ।
एडब्ल्यू वैन डेर वार्ट, एसिम्प्टोटिक सांख्यिकी , कैम्ब्रिज यूनिवर्सिटी प्रेस, 1998, अध्याय 23 ।
पी। बिकेल और डी। फ्रीडमैन, बूटस्ट्रैप के लिए कुछ विषम सिद्धांत । एन। स्टेट। , वॉल्यूम। 9, नहीं। 6 (1981), 1196–1217।

— कार्डिनल
स्रोत

बहुत अच्छा, @cardinal (+1)।

स्पष्ट व्याख्या, संदर्भ दिए गए हैं, उत्कृष्ट उत्तर।

— ऑरिजेंबो

12

यहाँ इसके बारे में सोचने का एक अलग तरीका है:

उस सिद्धांत से शुरू करें जहां हम सच्चे वितरण को जानते हैं, हम सच्चे वितरण से अनुकरण करके नमूना आंकड़ों के गुणों की खोज कर सकते हैं। इस तरह से गॉसेट ने टी-डिस्ट्रीब्यूशन और टी-टेस्ट को विकसित किया, ज्ञात मानदंडों से नमूना लेकर और सांख्यिकी की गणना की। यह वास्तव में पैरामीट्रिक बूटस्ट्रैप का एक रूप है। ध्यान दें कि हम आँकड़ों के व्यवहार की खोज करने के लिए अनुकरण कर रहे हैं (कभी-कभी मापदंडों के सापेक्ष)।

अब, यदि हम जनसंख्या वितरण को नहीं जानते हैं, तो हमारे पास अनुभवजन्य वितरण में वितरण का अनुमान है और हम उसी से नमूना ले सकते हैं। अनुभवजन्य वितरण (जिसे ज्ञात है) से नमूना करके हम बूटस्ट्रैप नमूनों और अनुभवजन्य वितरण (बूटस्ट्रैप नमूने के लिए जनसंख्या) के बीच संबंध देख सकते हैं। अब हम अनुमान लगाते हैं कि बूटस्ट्रैप नमूनों से आनुभविक वितरण का संबंध नमूने से अज्ञात आबादी के समान है। बेशक यह रिश्ता कितना अच्छा है, यह इस बात पर निर्भर करेगा कि नमूना आबादी का कितना प्रतिनिधि है।

याद रखें कि हम बूटस्ट्रैप नमूनों के साधन का उपयोग जनसंख्या के अनुमान का अनुमान लगाने के लिए नहीं कर रहे हैं, हम उस (या जो भी ब्याज का आंकड़ा है) के लिए नमूना माध्य का उपयोग करते हैं। लेकिन हम बूटस्ट्रैप के नमूनों का उपयोग कर रहे हैं, नमूने के गुणों (प्रसार, पूर्वाग्रह) का अनुमान लगाने में असफल। और एक ज्ञात जनसंख्या से नमूने का उपयोग करना (जो हमें उम्मीद है कि ब्याज की आबादी का प्रतिनिधि है) नमूनाकरण के प्रभावों को जानने के लिए समझ में आता है और बहुत कम परिपत्र है।

— ग्रेग हिमपात
स्रोत

8

बूटस्ट्रैपिंग की मुख्य चाल (और स्टिंग) यह है कि यह एक स्पर्शोन्मुख सिद्धांत है: यदि आपके पास शुरू करने के लिए एक अनंत नमूना है, तो अनुभवजन्य वितरण वास्तविक वितरण के इतने करीब होने वाला है कि अंतर नगण्य है।

दुर्भाग्य से, बूटस्ट्रैपिंग अक्सर छोटे नमूना आकारों में लागू किया जाता है। आम भावना यह है कि बूटस्ट्रैपिंग ने खुद को कुछ बहुत ही गैर-विषम परिस्थितियों में काम करने के लिए दिखाया है, लेकिन फिर भी सावधान रहें। यदि आपका नमूना बहुत छोटा है, तो आप वास्तव में अपने नमूने पर सशर्त रूप से काम कर रहे हैं जो सही वितरण का 'अच्छा प्रतिनिधित्व' है, जो हलकों में तर्क करने के लिए बहुत आसानी से ले जाता है :-)

— निक सब्बे
स्रोत

मैंने ऐसा सोचा था, लेकिन इस तर्क के बारे में कुछ परिपत्र है। मैं एक सांख्यिकीविद् नहीं हूं, लेकिन मेरी समझ में यह था कि सांख्यिकीय अनुमान तब काम करता है जब आपके अनुमानक तेजी से अभिसरण करते हैं, इसलिए भले ही आपका नमूना वितरण में परिवर्तित नहीं हुआ हो, आपके अनुमान ध्वनि हैं। इस मामले में, हम वास्तविक वितरण में परिवर्तित करने के लिए संपूर्ण अप्रसन्न वितरण पर भरोसा कर रहे हैं। हो सकता है कि प्रमेय कह रहे हों कि कुछ बूटस्ट्रैप अनुमान जल्दी से अभिसिंचित हो जाते हैं, लेकिन मैं आमतौर पर ऐसे प्रमेयों के लिए अपील किए बिना बूटस्ट्रैपिंग को देखता हूं।

— user4733

4

स्पष्ट परिपत्र तर्क यह है कि क्यों बूटस्ट्रैप का उपनाम दिया गया था। ऐसा लगा जैसे लोग अपने बूटस्ट्रैप द्वारा खुद को उठाने की कोशिश कर रहे थे। बाद में एफ्रॉन ने दिखाया कि यह वास्तव में काम करता है।

— ग्रेग हिम

यदि नमूना आकार वास्तव में छोटा है, तो आपको बहुत अधिक विश्वास की आवश्यकता है जो भी तरीके

— यूओ का

5

मैं "विषमता के दृष्टिकोण से नहीं, तर्कवादी वितरण वास्तविक वितरण के करीब होगा" (जो निश्चित रूप से, बहुत सही है) के दृष्टिकोण से, लेकिन "लंबे समय तक चलने वाले परिप्रेक्ष्य" से बहस नहीं करेगा। दूसरे शब्दों में, किसी विशेष मामले में, बूटस्ट्रैपिंग द्वारा प्राप्त अनुभवजन्य वितरण बंद हो जाएगा (कभी-कभी इस तरह से बहुत दूर स्थानांतरित कर दिया जाता है, कभी-कभी इस तरह से स्थानांतरित कर दिया जाता है, कभी-कभी इस तरह से तिरछा हो जाता है, कभी-कभी इस तरह से तिरछा हो जाता है), लेकिन औसतन यह वास्तविक वितरण के लिए एक अच्छा सन्निकटन होगा। इसी तरह, बूटस्ट्रैप वितरण से प्राप्त आपके अनिश्चितता के अनुमान किसी विशेष मामले में बंद हो जाएंगे, लेकिन फिर से, वे औसतन (लगभग) सही होंगे।

— वोल्फगैंग
स्रोत