बैगिंग की सैद्धांतिक गारंटी क्या है


17

मैंने (लगभग) सुना है कि:

बैगिंग एक भविष्यवक्ता / अनुमानक / सीखने के एल्गोरिथ्म के विचरण को कम करने की एक तकनीक है।

हालाँकि, मैंने कभी इस कथन का औपचारिक गणितीय प्रमाण नहीं देखा। क्या किसी को पता है कि यह गणितीय रूप से सच क्यों है? यह सिर्फ इतना व्यापक रूप से स्वीकृत / ज्ञात तथ्य प्रतीत होता है, कि मैं इसके प्रत्यक्ष संदर्भ की अपेक्षा करूंगा। अगर वहाँ गैर है तो मुझे आश्चर्य होगा। इसके अलावा, क्या किसी को पता है कि पूर्वाग्रह पर इसका क्या प्रभाव पड़ता है?

क्या दृष्टिकोण के कोई अन्य सैद्धांतिक गारंटी हैं कि कोई भी जानता है और सोचता है कि यह महत्वपूर्ण है और इसे साझा करना चाहता है?

जवाबों:


21

बैगिंग के लिए मुख्य उपयोग-केस कम-पक्षपाती मॉडलों के विचरण को एक साथ जोड़कर कम कर रहा है। यह बाउचर और कोहवी द्वारा ऐतिहासिक पेपर " वोटिंग वर्गीकरण एल्गोरिदम: बैगिंग, बूस्टिंग, और वेरिएंट्स " के एक अनुभवजन्य तुलनात्मक पेपर में अनुभवजन्य रूप से अध्ययन किया गया था । यह आमतौर पर विज्ञापित के रूप में काम करता है।

हालांकि, लोकप्रिय धारणा के विपरीत, विचरण को कम करने के लिए बैगिंग की गारंटी नहीं है । एक और हालिया और (मेरी राय में) बेहतर व्याख्या यह है कि बैगिंग लीवरेज अंक के प्रभाव को कम करता है। उत्तोलन बिंदु वे हैं जो असमान रूप से परिणामी मॉडल को प्रभावित करते हैं, जैसे कि कम से कम वर्गों में प्रतिगमन। यह उत्तोलन बिंदुओं के लिए दुर्लभ लेकिन संभव है कि परिणामस्वरूप मॉडल को सकारात्मक रूप से प्रभावित करें, जिस स्थिति में बैगिंग प्रदर्शन को कम करता है। ग्रैंडवेल्ट द्वारा " बैजिंग इज़ बराबरी इफ़ेक्ट " पर एक नज़र है ।

तो, अंत में अपने प्रश्न का उत्तर दें: बैगिंग का प्रभाव काफी हद तक उत्तोलन बिंदुओं पर निर्भर करता है। कुछ सैद्धांतिक गारंटी मौजूद है, सिवाय इसके कि बैग के आकार के मामले में रैखिक रूप से गणना समय बढ़ जाता है! उस ने कहा, यह अभी भी एक व्यापक रूप से इस्तेमाल किया और बहुत शक्तिशाली तकनीक है। उदाहरण के लिए, लेबल शोर के साथ सीखने पर, बैगिंग अधिक मजबूत क्लासिफायरफायर पैदा कर सकता है

राव और Tibshirani में एक बायेसियन व्याख्या दे दिया है " मॉडल औसत और चयन के लिए बाहर के बूटस्ट्रैप विधि " :

इस अर्थ में, बूटस्ट्रैप वितरण हमारे पैरामीटर के लिए एक (अनुमानित) गैर-पैरामीटर, गैर-सूचनात्मक पीछे वितरण का प्रतिनिधित्व करता है। लेकिन इस बूटस्ट्रैप वितरण को दर्द रहित रूप से प्राप्त किया जाता है- बिना पूर्ववर्ती रूप को निर्दिष्ट किए और बिना पीछे के वितरण से नमूना लिए। इसलिए हम बूटस्ट्रैप वितरण के बारे में सोच सकते हैं कि एक गरीब आदमी का "बेयर्स पीछे।"


1
पेड़ों पर 'लीवरेज पॉइंट्स' की व्याख्या कैसे लागू होती है, जिन्हें अक्सर बैगिंग के लिए अनुशंसित किया जाता है? हालांकि यह स्पष्ट है कि रैखिक प्रतिगमन के लिए उच्च उत्तोलन बिंदु क्या हैं, पेड़ों के लिए ये बिंदु क्या हैं?
डेविड

इस सवाल का एक और संदर्भ मिला: quora.com/… आप क्या सोचते हैं? क्या यह इस तथ्य के विपरीत है कि यू ने कहा कि यह सैद्धांतिक रूप से विचरण को कम नहीं करता है?
चार्ली पार्कर

मैंने देखा कि विकिपीडिया कहता है कि बैगिंग (उर्फ बूटस्ट्रैप एकत्रीकरण) विचरण को कम करता है। यदि इसके लिए कोई सैद्धांतिक प्रमाण नहीं है, तो क्या इसका मतलब यह है कि लेख गलत है?
चार्ली पार्कर

ज्यादातर मामलों में, बैगिंग कम विचरण करता है लेकिन यह इसका वास्तविक तंत्र नहीं है। ग्रैंडवाल्ट ने ऐसे उदाहरण दिखाए हैं जहां यह विचरण को बढ़ाता है, और यह सच है कि तंत्र डेटा बिंदुओं के समान प्रभाव से संबंधित है जो मॉडल को दृढ़ता से प्रभावित करता है, जैसे कि आउटलेर कम से कम वर्ग प्रतिगमन में, जो ज्यादातर मामलों में विचरण को कम करता है।
मार्क क्लेसेन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.