क्या बैगिंग एल्गोरिदम यादृच्छिक वन के उत्तराधिकारी के योग्य हैं?

Question

एल्गोरिदम को बढ़ावा देने के लिए, मैं कहूंगा कि वे बहुत अच्छी तरह से विकसित हुए हैं। 1995 की शुरुआत में AdaBoost को पेश किया गया था, फिर कुछ समय बाद यह ग्रैडिएंट बूस्टिंग मशीन (GBM) थी। हाल ही में, 2015 के आसपास XGBoost पेश किया गया था, जो सटीक है, ओवरफिटिंग को संभालता है और कई कागज़ प्रतियोगिताओं का विजेता बन गया है। 2017 में Microsoft द्वारा LightGBM की शुरुआत की गई थी, यह XGBoost की तुलना में काफी कम प्रशिक्षण समय प्रदान करता है। इसके अलावा, कैटबॉस्ट को यांडेक्स द्वारा श्रेणीबद्ध विशेषताओं से निपटने के लिए पेश किया गया था।

2000 के दशक की शुरुआत में रैंडम फ़ॉरेस्ट की शुरुआत की गई थी, लेकिन क्या इसके कोई योग्य उत्तराधिकारी हैं? मुझे लगता है कि अगर रैंडम फ़ॉरेस्ट की तुलना में एक बेहतर बैगिंग एल्गोरिथ्म मौजूद है (जिसे आसानी से व्यवहार में लागू किया जा सकता है) तो यह कागले के स्थानों पर कुछ ध्यान आकर्षित करता। इसके अलावा, बूस्टिंग अधिक लोकप्रिय पहनावा तकनीक क्यों बन गया, क्या यह इसलिए है क्योंकि आप एक इष्टतम भविष्यवाणी के लिए कम पेड़ बना सकते हैं?

Comments

adaBoost वास्तव में 1995 में पेश किया गया था, लेकिन यह एक मामूली बात है जो आपके मौलिक थीसिस को परिवर्तित नहीं करता है।

— बजे जुबान

यादृच्छिक जंगलों के बाद से हमने अत्यंत यादृच्छिक वृक्षों का परिचय भी देखा है , हालाँकि मुझे वास्तव में किसी भी अच्छे सबूत के बारे में पता नहीं है कि ये जंगलों में किसी भी संगति के साथ बेतरतीब जंगल हैं, इसलिए वे "योग्य" उत्तराधिकारी नहीं हो सकते ...

— जेक

BART ( arxiv.org/abs/0806.3286 ) एक बायेसियन मॉडल है जो एकल पेड़ बायेसियन कार्ट से विकसित हुआ है और यह शास्त्रीय कलाकारों की टुकड़ी से प्रेरित है। यह तलाश करने लायक है।

— ज़ेन

बूस्टिंग अधिक लोकप्रिय हो गई क्योंकि यह कमजोर शिक्षार्थी तकनीकों के साथ कई समस्याओं को सफलतापूर्वक संभालती है

— Refael

नियमित रूप से लालची वन उनके शांत साइड इफेक्ट्स के लिए ध्यान देने योग्य (धीमी लेकिन कुछ अच्छे परिणाम) और मात्रात्मक यादृच्छिक वन के लायक हो सकते हैं।

— माइकल एम

Answer 1

xgboost, catboost और lightgbm यादृच्छिक वन (चर / टिप्पणियों का यादृच्छिक नमूना) की कुछ विशेषताओं का उपयोग करते हैं, इसलिए मुझे लगता है कि वे एक साथ बूस्ट और आरएफ के उत्तराधिकारी हैं और दोनों से सबसे अच्छी चीजें लेते हैं। ;)