Adaboost निर्णय पेड़ों के साथ क्यों?


11

मैं विशेष रूप से वर्गीकरण कार्यों और विशेष रूप से Adaboost के लिए एल्गोरिदम को बढ़ावा देने पर थोड़ा पढ़ रहा हूं। मैं समझता हूं कि Adaboost का उद्देश्य कई "कमजोर शिक्षार्थियों" को लेना है, और प्रशिक्षण डेटा पर पुनरावृत्तियों के सेट के माध्यम से, कक्षाओं का अनुमान लगाने के लिए क्लासिफायर पुश करें ताकि मॉडल (ओं) को बार-बार गलती करने पर सीख सकें। हालाँकि, मैं सोच रहा था कि मैंने जो रीडिंग की हैं उनमें से कई ने निर्णय लेने वाले पेड़ों को कमजोर वर्ग के रूप में इस्तेमाल किया है। क्या इसकी कोई खास वजह है? क्या कुछ ऐसे क्लासिफायर हैं जो विशेष रूप से अडाबोस्ट के लिए अच्छे या बुरे उम्मीदवार हैं?


सबसे सरल शिक्षार्थी जिसका आप संभव उपयोग कर सकते हैं वह है गहराई = 1 वाला निर्णय वृक्ष। शायद इसीलिए हर कोई अपने उदाहरणों में इसका इस्तेमाल करता है।
एरोन

जवाबों:


18

मैंने संबंधित SO प्रश्न के उत्तर में इस बारे में बात की । निर्णय लेने वाले पेड़ आमतौर पर बूस्टिंग के लिए बहुत अच्छे होते हैं, अन्य एल्गोरिदम की तुलना में बहुत अधिक। बुलेट पॉइंट / सारांश संस्करण यह है:

  1. निर्णय वृक्ष गैर-रैखिक होते हैं। रैखिक मॉडल के साथ बूस्टिंग बस अच्छी तरह से काम नहीं करता है।
  2. कमजोर शिक्षार्थी को यादृच्छिक अनुमान लगाने की तुलना में लगातार बेहतर होना चाहिए। आपको उस व्यवहार को प्राप्त करने के लिए निर्णय पेड़ के लिए किसी भी पैरामीटर ट्यूनिंग करने की आवश्यकता नहीं है। एसवीएम को प्रशिक्षित करने के लिए वास्तव में एक पैरामीटर खोज की आवश्यकता होती है। चूंकि डेटा प्रत्येक पुनरावृत्ति पर पुन: भारित होता है, इसलिए आपको प्रत्येक पुनरावृत्ति पर एक और पैरामीटर खोज करने की आवश्यकता होती है। इसलिए आप एक बड़े अंतर से काम की मात्रा बढ़ा रहे हैं।
  3. निर्णय पेड़ों को प्रशिक्षित करने के लिए काफी तेज़ हैं। चूंकि हम 100 या उससे अधिक निर्माण कर रहे हैं, इसलिए यह एक अच्छी संपत्ति है। वे वर्गीकृत करने के लिए भी तेज़ हैं, जो तब महत्वपूर्ण होता है जब आपको अपना निर्णय लेने से पहले 100 या उससे अधिक की आवश्यकता होती है।
  4. गहराई को बदलकर आप पूर्वाग्रह / विचरण व्यापार पर एक सरल और आसान नियंत्रण रखते हैं, यह जानते हुए कि बढ़ावा देने से पूर्वाग्रह को कम किया जा सकता है, लेकिन विचरण को काफी कम कर देता है। बूस्टिंग को ओवरफिट के लिए जाना जाता है, इसलिए धुन करने के लिए आसान नोब उस संबंध में मददगार है।

1

मेरे पास पाठ्य-पुस्तक का उत्तर नहीं है। हालाँकि यहाँ कुछ विचार हैं।

बैगिंग के साथ बूस्टिंग को प्रत्यक्ष तुलना में देखा जा सकता है। ये पूर्वाग्रह विचरण व्यापार दुविधा के दो अलग-अलग दृष्टिकोण हैं। बैगिंग के रूप में कमजोर शिक्षार्थी होते हैं, कम पूर्वाग्रह और उच्च विचरण के साथ कुछ शिक्षार्थियों, बैगिंग पहनावा के औसत से थोड़ा पूर्वाग्रह के लिए विचरण को कम करते हैं। दूसरी ओर बूस्टिंग विभिन्न कमजोर शिक्षार्थियों के साथ अच्छी तरह से काम करता है। बूस्टिंग कमजोर शिक्षार्थियों में उच्च पूर्वाग्रह और निम्न विचरण होता है। एक सीखने वाले को दूसरे के शीर्ष पर बनाकर, बूस्टिंग पहनावा पूर्वाग्रह को कम करने की कोशिश करता है, थोड़ा विचरण के लिए।

परिणामस्वरूप, यदि आप उदाहरण के लिए विचार करते हैं कि पेड़ों को कमजोर शिक्षार्थियों के रूप में बैगिंग और बूस्टिंग का उपयोग करना है, तो उपयोग करने का सबसे अच्छा तरीका छोटे / छोटे पेड़ों को बढ़ावा देने और बैगिंग के साथ बहुत विस्तृत पेड़ हैं। यही कारण है कि बहुत बार एक बूस्टिंग प्रक्रिया कमजोर शिक्षार्थी के रूप में एक निर्णय स्टंप का उपयोग करती है, जो कि सबसे कम संभव पेड़ है (एक एकल आयाम पर एक शर्त)। यह निर्णय स्टंप बहुत स्थिर है, इसलिए इसमें बहुत कम विचरण है।

मैं बूस्टिंग प्रक्रियाओं के साथ पेड़ों का उपयोग करने का कोई कारण नहीं देखता हूं। हालांकि, छोटे पेड़ सरल, लागू करने में आसान और समझने में आसान होते हैं। हालांकि, मुझे लगता है कि एक बूस्टिंग प्रक्रिया के साथ सुसाइड करने के लिए, आपके कमजोर शिक्षार्थी को कम विचरण करना पड़ता है, बहुत कम डिग्री के साथ कठोर होना पड़ता है। उदाहरण के लिए मुझे एक कमजोर शिक्षार्थी के रूप में एक तंत्रिका नेटवर्क के लिए कोई मतलब नहीं है।

इसके अतिरिक्त, आपको यह ध्यान रखना होगा कि कुछ प्रकार की बढ़ावा देने वाली प्रक्रियाओं के लिए, उदाहरण के लिए ढाल को बढ़ावा देने के लिए, ब्रीमन ने पाया कि यदि कमजोर शिक्षार्थी एक पेड़ है, तो इस तरीके से कुछ अनुकूलन कि कैसे बढ़ावा देने वाले कार्य किए जा सकते हैं। इस प्रकार हमारे पास ढाल बढ़ाने वाले पेड़ हैं। ईएसटीएल पुस्तक में बढ़ावा देने का एक अच्छा प्रदर्शन है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.