रैंडम वन बनाम अडाबोस्ट

Question

रैंडम फ़ॉरेस्ट्स (ब्रेमेन, 1999) के खंड 7 में , लेखक निम्नलिखित अनुमान बताता है: "अडाबोस्ट एक रैंडम फ़ॉरेस्ट" है।

क्या किसी ने साबित किया है, या यह नापसंद है? 1999 की इस पोस्ट को साबित करने या उसे खारिज करने के लिए क्या किया गया है?

Comments

कृपया आँकड़े पढ़ें ।stackexchange.com/questions/77018/… शायद आपको अपना उत्तर वहीं मिल जाएगा

@ user75008 धन्यवाद! तो, धारा 7 एक और अनुमान प्रदान करती है, जैसे कि यदि सिद्ध हो, तो पता चलता है कि एडबोस्टो यादृच्छिक वन के बराबर है। क्या किसी ने इस अनुमान को सच दिखाया है?

— एलेक्स

@ user75008 मैं आपका लिंक पढ़ रहा हूं, आंकड़े.stackexchange.com/questions/77018/… , क्या आपको लगता है कि यह सुझाव देता है कि Adaboost रैंडम फॉरेस्ट के बराबर नहीं है?

— एलेक्स

Answer 1

दिलचस्प सवाल। तब से कुछ अलग रणनीति के माध्यम से अडा बूस्ट को समझाने पर काम का एक गुच्छा किया गया है।

मैंने एक त्वरित साहित्य खोज की और यह कुछ हद तक अजीब कागज इस विषय पर सबसे हाल ही में एक प्रतीत होता है और Brieman और अन्य लोगों द्वारा अंतरिम कार्य का एक गुच्छा भी समीक्षा करता है:

http://arxiv.org/pdf/1212.1108.pdf

मुझे कोई अंदाजा नहीं है कि अगर उनके नतीजे वैध हैं, लेकिन वे दावा करते हैं कि वे ब्रेमेन के अनुमान को साबित करने में नाकाम रहे हैं, लेकिन इसके कमजोर संस्करण को साबित करने का दावा करते हुए कहा गया है कि एडबोस्ट को मापना संरक्षण है, लेकिन जरूरी नहीं कि एर्गोडिक हो।

वे कुछ अनुभवजन्य साक्ष्य भी प्रस्तुत करते हैं जो कि एडोबॉस्ट वास्तव में कभी-कभी ओवरफिट करता है।

मुझे लगता है कि पता चलता है कि adaboost एक यादृच्छिक जंगल से संबंधित हो सकता है लेकिन Brieman के अनुमान के अनुसार पूरी तरह से (या हमेशा नहीं) बराबर?

Comments

धन्यवाद, इसलिए मुझे लगता है कि यह अभी भी एक खुला सवाल है, लेकिन आपका आखिरी बयान बता रहा है।

— एलेक्स

हाँ, मुझे लगता है कि यह अभी भी खुला है। मुझे यह भी लगता है कि AdaBoost का विश्लेषण करने में रुचि कम हो गई है क्योंकि [स्टोचस्टिक] ग्रेडिएंट बूस्टिंग मशीनें अधिक लोकप्रिय हो गई हैं। AdaBoost ग्रेडिएंट डिसेंट का एक रूप है ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) और स्पष्ट रूप से यादृच्छिक ग्रेडिएंट के संदर्भ में सोच अधिक सहज और अधिक व्यावहारिक हो सकती है तो समतुल्य ब्रोमेन प्रस्तावित। (यानी भले ही यह सच था कि अभ्यास में आवश्यक वितरण से नमूना लेना वास्तव में कठिन हो सकता है।)

— रयान बेस्लर

मैंने अभी इस नए पेपर को इस विषय पर देखा: arxiv.org/pdf/1504.07676v1.pdf

— रयान बेस्लर

बहुत दिलचस्प अगर सच है! "हम यह निष्कर्ष निकालते हैं कि बूस्टिंग वनों का उपयोग यादृच्छिक जंगलों की तरह किया जाना चाहिए: बड़े निर्णय वाले पेड़ों के साथ और बिना प्रत्यक्ष नियमितीकरण या शुरुआती रोक के।"

— एलेक्स