पुनर्निमित बूस्टेड रिग्रेशन ट्री (BRT), सामान्यीकृत बूस्टेड मॉडल (GBM), और ग्रेडिएंट बूस्टिंग मशीन (GBM)

Question

प्रशन:

1. बूस्टेड रिग्रेशन ट्री (बीआरटी) और सामान्यीकृत बूस्टेड मॉडल (जीबीएम) के बीच अंतर क्या है? क्या उनका परस्पर उपयोग किया जा सकता है? क्या एक दूसरे का विशिष्ट रूप है?
2. रिडवे ने "सामान्यीकृत बूस्ट रिग्रेशन मॉडल" (जीबीएम) वाक्यांश का उपयोग क्यों किया, यह बताने के लिए कि फ्राइडमैन ने पहले "ग्रेडिएंट बूस्टिंग मशीन" (जीबीएम) के रूप में क्या प्रस्तावित किया था? ये दो समरूप एक समान हैं, एक ही बात का वर्णन करते हैं, लेकिन विभिन्न वाक्यांशों से प्राप्त होते हैं।

पृष्ठभूमि:

मुझे यह निर्धारित करने में समस्या हो रही है कि BRT और GBM की शर्तें कैसे भिन्न हैं। क्या मैं समझता हूँ कि दोनों वर्गीकरण और प्रतिगमन पेड़ों का वर्णन करने वाले शब्द हैं जो स्टोचैस्टिसिटी को किसी प्रकार के बूस्टिंग (जैसे बैगिंग, बूटस्ट्रैपिंग, क्रॉस-वैलिडेशन) के माध्यम से शामिल किया गया है। इसके अलावा, मैं GBM शब्द को इकट्ठा करने से फ्राइडमैन (2001) द्वारा अपने पेपर "लालची फंक्शन सन्निकटन: एक ढाल बूस्टिंग मशीन" में गढ़ा गया था। रिडवे ने फ़्रीडमैन द्वारा 2006 में अपने पैकेज "जनरलाइज़्ड बूस्टेड रिग्रेशन मॉडल्स" (जीबीएम) में वर्णित प्रक्रिया को लागू किया। मेरे क्षेत्र (पारिस्थितिकी) में एलीथ एट अल। (2008) gbmप्रजाति वितरण मॉडलिंग के लिए रिडवे के पैकेज को प्रदर्शित करने वाला पहला था । हालांकि, एलिथ एट अल में लेखक। फ्राइडमैन और रिडवे का वर्णन करने के लिए "बूस्ट रिग्रेशन ट्री" (BRT) शब्द का उपयोग करें

मैं इस उलझन में हूं कि क्या इन शब्दों का परस्पर उपयोग किया जा सकता है? यह कुछ भ्रामक है कि एक लेखक एक ही सिद्धांत (एक अलग वाक्यांश से) का उपयोग उसी सिद्धांत का वर्णन करने के लिए करेगा जो पिछले लेखक ने प्रस्तावित किया था। यह भी भ्रमित है कि तीसरे लेखक ने पारिस्थितिक दृष्टि से इस सिद्धांत का वर्णन करते समय एक पूरी तरह से अलग शब्द का इस्तेमाल किया।

मेरे पास सबसे अच्छा यह हो सकता है कि बीआरटी जीबीएम का एक विशिष्ट रूप है जिसमें वितरण द्विपद है, लेकिन मुझे इस पर यकीन नहीं है।

एलीथ एट अल। बूस्टेड रिग्रेशन ट्री को इस तरह परिभाषित करें ... "बूस्टेड रिग्रेशन ट्री दो एल्गोरिदम की ताकत को मिलाते हैं: रिग्रेशन ट्री (मॉडल जो पुनरावर्ती बाइनरी स्प्लिट्स द्वारा अपने भविष्यवक्ताओं की प्रतिक्रिया से संबंधित हैं) और बढ़ावा देने (बेहतर सरल भविष्यवाणी देने के लिए सरल मॉडल को मिलाने के लिए एक अनुकूली विधि) )। अंतिम बीआरटी मॉडल को एक योज्य प्रतिगमन मॉडल के रूप में समझा जा सकता है जिसमें व्यक्तिगत शब्द सरल पेड़ हैं, एक आगे, मंचीय फैशन में फिट किए गए हैं "(एलीथ एट अल। 2008)।

Comments

मैं लेखकों के सिर के अंदर नहीं जा सकता और आपको बता सकता हूं, लेकिन यह प्रशंसनीय लगता है कि नाम सभी कहते हैं। बूस्टिंग एक ऐसी विधि है जो कमजोर शिक्षार्थियों के अनुक्रम का उपयोग करती है। स्टेंट के रूप में सर्वोत्कृष्ट पद्धति 'छोटे पेड़' होंगे। यदि आप एक प्रतिगमन ट्री मॉडल को बढ़ावा देते हैं, तो आपको उन्नत प्रतिगमन पेड़ मिलते हैं। एक प्राथमिकता, एक अन्य तरीकों को बढ़ावा दे सकता है, जिसमें श्रेणीबद्ध तरीके भी शामिल हैं, और एक वापसी को बढ़ावा देने वाली मशीन कहा जाता है जो एक उन्नत प्रतिगमन पेड़ नहीं था।

— मेहर

मुझे विवरण हाथ से याद नहीं है, लेकिन एक किताब मैंने पढ़ी है कि अगर कोई पेड़ों के स्टंप का उपयोग करता है तो परिणाम बहुत अधिक एक गम जैसा दिखता है।

— meh

Answer 1

जैसा कि @aginensky ने टिप्पणियों के धागे में उल्लेख किया है, यह लेखक के सिर में जाना असंभव है, लेकिन BRT में सबसे सरल रूप से gbmमॉडलिंग प्रक्रिया का एक स्पष्ट वर्णन है, जो स्पष्ट, संवर्धित वर्गीकरण और प्रतिगमन पेड़ों को बताते हुए मुझे माफ कर देता है। और जब से आपने बूस्टिंग, ग्रेडिएंट्स और रिग्रेशन ट्री के बारे में पूछा है, तो यहां मेरी शर्तों के सादे अंग्रेजी स्पष्टीकरण दिए गए हैं। FYI करें, CV एक बूस्टिंग विधि नहीं है, बल्कि दोहराया नमूनाकरण के माध्यम से इष्टतम मॉडल मापदंडों की पहचान करने में मदद करने के लिए एक विधि है। प्रक्रिया की कुछ उत्कृष्ट व्याख्याओं के लिए यहाँ देखें ।

बूस्टिंग एक प्रकार का पहनावा तरीका है । कलाकारों की टुकड़ी तरीकों के एक संग्रह को संदर्भित करती है जिसके द्वारा कई व्यक्तिगत मॉडल से भविष्यवाणियों को एकत्रित करके अंतिम भविष्यवाणियां की जाती हैं। बूस्टिंग, बैगिंग, और स्टैकिंग कुछ व्यापक रूप से कार्यान्वित पहनावा विधियाँ हैं। स्टैकिंग में व्यक्तिगत रूप से (अपने खुद के चुनने की किसी भी संरचना के) अलग-अलग कई फिटिंग्स शामिल हैं और फिर उन्हें एक एकल रैखिक मॉडल में संयोजित किया जाता है। यह निर्भर चर के खिलाफ व्यक्तिगत मॉडल की भविष्यवाणियों को फिट करके किया जाता है। LOOCV SSE का उपयोग आमतौर पर प्रतिगमन गुणांक निर्धारित करने के लिए किया जाता है और प्रत्येक मॉडल को आधार फ़ंक्शन के रूप में माना जाता है (मेरे दिमाग में, यह बहुत, GAM के समान है)। इसी तरह, बैगिंगइसमें समान रूप से संरचित मॉडल की एक संख्या शामिल है जिसमें बूटस्ट्रैप किए गए नमूने हैं। एक बार फिर स्पष्ट, स्टैकिंग और बैगिंग के जोखिम के समानांतर समानांतर तरीके हैं।

बूस्टिंग , हालांकि, एक अनुक्रमिक विधि है। फ्राइडमैन और रिडवे दोनों अपने पेपर में एल्गोरिदम प्रक्रिया का वर्णन करते हैं, इसलिए मैं इसे सिर्फ इस दूसरे में नहीं डालूंगा, लेकिन सादे अंग्रेजी (और कुछ हद तक सरलीकृत) संस्करण यह है कि आप एक के बाद एक मॉडल फिट करते हैं, प्रत्येक बाद के मॉडल को कम करने की मांग करते हैं पिछले मॉडल की त्रुटियों से भारित अवशिष्ट (सिकुड़न पैरामीटर पिछले अनुमान से प्रत्येक पूर्वानुमान की अवशिष्ट त्रुटि के लिए आवंटित वजन है और आप इसे जितना छोटा कर सकते हैं उतना ही बेहतर है)। एक अमूर्त अर्थ में, आप एक बहुत ही मानव जैसी सीखने की प्रक्रिया के रूप में बढ़ावा देने के बारे में सोच सकते हैं जहां हम पिछले अनुभवों को उन कार्यों के नए पुनरावृत्तियों पर लागू करते हैं जिन्हें हमें करना है।

अब, ओवरफ़िटिंग से बचने के लिए भविष्यवाणी के लिए उपयोग किए जाने वाले मॉडल की इष्टतम संख्या ( प्रलेखन में पुनरावृत्तियों के रूप में निर्दिष्ट ) को निर्धारित करने के लिए उपयोग की जाने वाली विधि से अब पूरी चीज का ढालवाँ हिस्सा आता gbmहै।

जैसा कि आप ऊपर दिए गए दृश्य से देख सकते हैं (यह एक वर्गीकरण अनुप्रयोग था, लेकिन वही प्रतिगमन के लिए सही है) सीवी त्रुटि पहली बार में काफी कम हो जाती है क्योंकि एल्गोरिथ्म उन मॉडलों का चयन करता है जो सीवी त्रुटि में सबसे बड़ी गिरावट को चपटा करने से पहले नेतृत्व करेंगे। और पहनावा फिर से ऊपर चढ़ना शुरू हो जाता है क्योंकि पहनावा ओवरफिट होने लगता है। इष्टतम पुनरावृत्ति संख्या सीवी त्रुटि फ़ंक्शन के विभक्ति बिंदु (फ़ंक्शन ग्रेडिएंट बराबर 0) के अनुरूप है, जिसे नीले धराशायी लाइन द्वारा आसानी से चित्रित किया गया है।

रिडवे के gbmकार्यान्वयन में वर्गीकरण और प्रतिगमन पेड़ों का उपयोग किया जाता है और जब तक मैं उनके दिमाग को पढ़ने का दावा नहीं कर सकता, मैं कल्पना करूंगा कि गति और सहजता (डेटा शेंनिगन्स के लिए उनकी मजबूती के बारे में कुछ नहीं कहना) जिसके साथ पेड़ों को फिट किया जा सकता है, एक बहुत महत्वपूर्ण प्रभाव है। मॉडलिंग तकनीक की उनकी पसंद। यह कहा जा रहा है, जबकि मैं गलत हो सकता हूं, मैं कड़ाई से सैद्धांतिक कारण की कल्पना नहीं कर सकता कि वास्तव में किसी भी अन्य मॉडलिंग तकनीक को क्यों लागू नहीं किया जा सकता है। फिर से, मैं रिडग्वे के दिमाग को जानने का दावा नहीं कर सकता, लेकिन मैं इसके सामान्यीकृत हिस्से की कल्पना करता हूंgbmसंभावित अनुप्रयोगों की भीड़ को संदर्भित करता है। पैकेज का उपयोग रिग्रेशन (लीनियर, पॉइसन, और क्वांटाइल), द्विपद (कई अलग-अलग नुकसान कार्यों का उपयोग करके) और बहुराष्ट्रीय वर्गीकरण, और उत्तरजीविता विश्लेषण (या कम से कम खतरे के कार्य की गणना के लिए किया जा सकता है, अगर कॉक्स वितरण कोई संकेत हो)।

एलीथ का पेपर अस्पष्ट रूप से परिचित लगता है (मुझे लगता है कि मैं पिछली गर्मियों में gbm- फ्रेंडली विज़ुअलाइज़ेशन के तरीकों को देखते हुए भाग गया था) और, अगर स्मृति सही कार्य करती है, तो इसने gbmलाइब्रेरी के एक विस्तार को चित्रित किया , जो प्रतिगमन के लिए स्वचालित मॉडल ट्यूनिंग पर ध्यान केंद्रित कर रहा है (जैसा कि गॉसियन वितरण में) नहीं, द्विपद) अनुप्रयोगों और बेहतर प्लॉट पीढ़ी। मुझे लगता है कि आरबीटी नामकरण मॉडलिंग तकनीक की प्रकृति को स्पष्ट करने में मदद करने के लिए है, जबकि जीबीएम अधिक सामान्य है।

आशा है कि यह कुछ चीजों को स्पष्ट करने में मदद करता है।