प्रतिगमन में गुणांक के विश्वास अंतराल का अनुमान लगाने के लिए बूटस्ट्रैप का उपयोग करने के दो तरीके

मैं अपने डेटा में एक रेखीय मॉडल लागू कर रहा हूं:

y_{मैं} = β_{0} + β_{1} {एक्स}_{मैं} + ε_{मैं}, ε_{मैं} ~ एन (0, σ^{2}) ।

$y_{i}=\beta_{0}+\beta_{1}x_{i}+\epsilon_{i}, \quad\epsilon_{i} \sim N(0,\sigma^{2}).$

मैं बूटस्ट्रैप विधि का उपयोग करके गुणांकों के विश्वास अंतराल (CI) ( , ) का । दो तरीके हैं जिनसे मैं बूटस्ट्रैप विधि लागू कर सकता हूं: $\beta_{0}$ $\beta_{1}$

नमूना युग्मित प्रतिसाद- : यादृच्छिक रूप से जोड़े को से , और प्रत्येक रन के लिए रैखिक प्रतिगमन लागू करते हैं। रन के बाद , हम अनुमानित गुणांक संग्रह प्राप्त करते हैं । अंत में, की मात्रा की गणना करें । $y_{i}-x_{i}$ $m$ ${\hat{\beta_{j}}}, j=1,...m$ ${\hat{\beta_{j}}}$
नमूना त्रुटि: पहले मूल अवलोकन डेटा पर रैखिक प्रतिगमन लागू करें, इस मॉडल से हम और त्रुटि । बाद में, त्रुटि और नए डेटा की गणना और । एक बार फिर रैखिक प्रतिगमन लागू करें। रन के बाद , हम अनुमानित का एक संग्रह प्राप्त करते हैं । अंत में, की मात्रा की गणना करें । $\hat{\beta_{o}}$ $\epsilon_{i}$ $\epsilon^{*}_{i}$ $\hat{\beta_{o}}$ $y^{*}_{i}=\hat{\beta_{o}}x_{i}+\epsilon^{*}_{i}$ $m$ ${\hat{\beta_{j}}}, j=1,...,m$ ${\hat{\beta_{j}}}$

मेरे प्रश्न हैं:

ये दोनों विधियाँ कैसे भिन्न हैं?
किस धारणा के तहत ये दो तरीके समान परिणाम दे रहे हैं?

regression bootstrap

— tiantianchen
स्रोत

मैं व्यक्तिगत रूप से या तो डिफ़ॉल्ट दृष्टिकोण के रूप में उपयोग नहीं करूंगा, बल्कि बुनियादी बूटस्ट्रैप विश्वास अंतराल की सिफारिश करेगा। पी देखें। 8 www.stat.cmu.edu/~cshalizi/402/lectures/08-bootstrap/lecture-08.pdf पर। मैं बाइनरी लॉजिस्टिक मॉडल के लिए बहुत सारे सिमुलेशन कर रहा हूं और बुनियादी बूटस्ट्रैप का उपयोग करके प्रतिशत या बीसीए बूटस्ट्रैप से बेहतर आत्मविश्वास अंतराल कवरेज देखा है।

— फ्रैंक हरेल

@FrankHarrell स्पष्ट होने के लिए, "मूल" द्वारा आप गैर-पैरामीट्रिक बूटस्ट्रैप का उल्लेख कर रहे हैं?

— नादोगान

(1) बूटस्ट्रैप परसेंटाइल नॉनपरमेट्रिक कॉन्फिडेंस इंटरवल है, न कि बेसिक बूटस्ट्रैप। ध्यान दें कि से नमूना बिना शर्त बूटस्ट्रैप है, जो अवशिष्ट को हल करने वाली सशर्त बूटस्ट्रैप की तुलना में अधिक धारणा-मुक्त है।

(x, y)

$(x,y)$

— फ्रैंक हरेल

मैं वास्तव में एक विशेषज्ञ नहीं हूं, लेकिन जहां तक मैं इसे समझता हूं, 1) को अक्सर "केस-रिसैम्पलिंग" कहा जाता है जबकि 2) को "अवशिष्ट पुनरुत्थान" या "निश्चित- " पुनरुत्पादन कहा जाता है। विधि का मूल विकल्प प्रक्रिया के बाद विश्वास अंतराल की गणना करने की विधि का तरीका नहीं बताता है। मुझे यह जानकारी मुख्य रूप से जॉन फॉक्स के ट्यूटोरियल से मिली । जहाँ तक मुझे यह देखने के रूप में, या तो बूटस्ट्रैप के बाद, आप मूल बूटस्ट्रैप सीआईएस (जैसे के साथ गणना कर सकते हैं में )। या मुझे यहाँ कुछ भी याद नहीं है?

x

$x$ boot.ci(my.boot, type="basic")R

— COOLSerdash

हां, आप क्लस्टर बूटस्ट्रैपिंग कर सकते हैं। यह आर rms validateऔर calibrateकार्यों में कार्यान्वित किया जाता है ।

— फ्रैंक हरेल

यदि रिस्पॉन्स-प्रेडिक्टर जोड़े यादृच्छिक नमूने द्वारा आबादी से प्राप्त किए गए हैं, तो केस / रैंडम-एक्स / आपकी पहली रीसम्पलिंग योजना का उपयोग करना सुरक्षित है। यदि भविष्यवाणियों के लिए नियंत्रित किया गया था, या प्रयोग करने वाले द्वारा भविष्यवाणियों के मूल्यों को निर्धारित किया गया था, तो आप अवशिष्ट / मॉडल-आधारित / फिक्स्ड-एक्स / आपके-दूसरे की पुन: नमूनाकरण योजना का उपयोग करने पर विचार कर सकते हैं।

दोनों अलग कैसे हैं? डेविसन और आर कॉनन द्वारा आर में अनुप्रयोगों के साथ बूटस्ट्रैप का परिचय इस प्रश्न पर एक चर्चा है (देखें। 9)। जॉन फॉक्स द्वारा इस परिशिष्ट में आर कोड भी देखें, विशेष रूप से बूट के लिए बूट करें। यादृच्छिक पर x स्कीम के लिए p.5 पर बूट करें और फिक्स्ड-एक्स स्कीम के लिए p.10 पर boot.huber.fixed करें। जबकि शालिज़ी द्वारा व्याख्यान नोटों में दो योजनाएं अलग-अलग डेटासेट / समस्याओं पर लागू होती हैं, फॉक्स के परिशिष्ट बताते हैं कि दोनों स्कीमों में अक्सर कितना अंतर हो सकता है।

समान परिणामों के निकट दोनों को वितरित करने की उम्मीद कब की जा सकती है? एक स्थिति तब होती है जब प्रतिगमन मॉडल सही ढंग से निर्दिष्ट किया जाता है, उदाहरण के लिए, कोई अनमैन्डेल्ड नॉनलाइनरिटी नहीं है और सामान्य प्रतिगमन धारणाएं (जैसे, आईआईडी त्रुटियां, कोई आउटलेयर) संतुष्ट नहीं हैं। फॉक्स की पुस्तक का अध्याय 21 देखें(जिसमें आर कोड के साथ उपर्युक्त परिशिष्ट परोक्ष रूप से शामिल है), विशेष रूप से पृष्ठ 598 पर चर्चा और 21.3 व्यायाम करें। "रिग्रेशन में रैंडम बनाम ed xed रेज़म्पलिंग" शीर्षक। किताब से उद्धृत करने के लिए

By randomly reattaching resampled residuals to ﬁtted values, the [fixed-x/model-based]
procedure implicitly assumes that the errors are identically distributed. If, for
example, the true errors have non-constant variance, then this property will not be  
reﬂected in the resampled residuals. Likewise, the unique impact of a high-leverage
outlier will be lost to the resampling.

आप उस चर्चा से यह भी जानेंगे कि फिक्स्ड-एक्स बूटस्ट्रैप ने क्यों माना कि मॉडल का कार्यात्मक रूप सही है (भले ही त्रुटि वितरण के आकार के बारे में कोई धारणा नहीं बनाई गई है)।

डेरेक बैन द्वारा आयरलैंड में सोसायटी ऑफ़ एक्चुअरीज़ के लिए इस वार्ता की स्लाइड 12 भी देखें । इसका एक चित्रण भी है जिसे "समान परिणाम" माना जाना चाहिए:

The approach of re-sampling cases to generate pseudo data is the more usual form of   
bootstrapping. The approach is robust in that if an incorrect model is fitted an
appropriate measure of parameter meter uncertainty is still obtained. However re
sampling residuals is more efficient if the correct model has been fitted.

The graphs shows both approaches in estimating the variance of a 26 point data sample
mean and a 52 point sample mean. In the larger sample the two approaches are  
equivalent.

— सुप्तावस्था
स्रोत