क्या GBM में पेड़ों की संख्या चुनने की कोई रणनीति है? विशेष रूप से, 's फ़ंक्शन ntreesमें तर्क ।Rgbm
मैं नहीं देखता कि आपको ntreesउच्चतम उचित मूल्य पर सेट क्यों नहीं करना चाहिए । मैंने देखा है कि पेड़ों की एक बड़ी संख्या स्पष्ट रूप से कई जीबीएम से परिणामों की परिवर्तनशीलता को कम करती है। मुझे नहीं लगता कि अधिक संख्या में पेड़ ओवरफिटिंग का कारण बनेंगे।
कोई विचार?
जवाबों:
यह GBM है:
" मुझे नहीं लगता कि ... " कई वाक्यों का खतरनाक पहला हिस्सा रहा है।
अच्छाई की माप के बिना काफी अच्छा व्यर्थ है, एक रूब्रिक।
किसी अन्य विधि के लिए अच्छाई के उपाय क्या हैं?
एक तंत्रिका नेटवर्क, या तख़्ता की तरह, आप डेटा पर टुकड़े-टुकड़े रैखिक प्रक्षेप कर सकते हैं और एक मॉडल प्राप्त कर सकते हैं जो सामान्य नहीं कर सकता है। आपको सामान्य प्रयोज्यता - सामान्यीकरण के बदले में कुछ "कम त्रुटि" छोड़नी होगी।
अधिक लिंक:
मुझे समस्या में कुछ अंतर्दृष्टि मिली: http://cran.r-project.org/web/packages/dismo/vignettes/brt.pdf
gbm.stepसमारोह पेड़ों की इष्टतम संख्या निर्धारित करने के लिए इस्तेमाल किया जा सकता। मुझे अभी भी यकीन नहीं है कि एक निश्चित संख्या में पेड़ों के बाद मॉडल डिवोर्स बढ़ने का कारण क्या है, इसलिए मैं अभी भी एक प्रतिक्रिया स्वीकार करने को तैयार हूं जो इस सवाल का जवाब देता है!
यह एलिथ एट अल से प्रतिगमन पेड़ों को बढ़ावा देने के लिए कार्य करने वाली मार्गदर्शिका है: http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2656.2008.01390.x/full बहुत उपयोगी!
आपको कम से कम 1000 पेड़ों का उपयोग करना चाहिए। जहां तक मुझे समझ में आया, आपको सीखने की दर, वृक्ष की जटिलता और पेड़ों की संख्या का उपयोग करना चाहिए जो कि मीनुम की अनुमानित त्रुटि को प्राप्त करता है। सीखने की दर के छोटे मूल्यों को पुनरावृत्तियों की समान संख्या के लिए बड़ा प्रशिक्षण जोखिम होता है, जबकि प्रत्येक पुनरावृत्ति प्रशिक्षण जोखिम को कम करता है। यदि पेड़ों की संख्या पर्याप्त रूप से बड़ी है, तो जोखिम को मनमाने ढंग से छोटा किया जा सकता है (देखें: हस्ती एट अल।, 2001, "द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग, डेटा माइनिंग, इंट्रेंस एंड प्रेडिक्शन" )।
कुछ मशीन लर्निंग एल्गोरिदम में आम के रूप में, बूस्टिंग पेड़ों की संख्या के बारे में बाया-विचरण व्यापार-बंद के अधीन है। धीरे-धीरे बोलना, यह व्यापार बंद आपको बताता है कि: (i) कमजोर मॉडल उच्च पूर्वाग्रह और निम्न विचरण करते हैं: वे प्रशिक्षण डेटासेट में परिवर्तनशीलता को पकड़ने के लिए बहुत कठोर हैं, इसलिए या तो परीक्षण सेट (उच्च परीक्षण) में अच्छा प्रदर्शन नहीं करेंगे त्रुटि) (ii) बहुत मजबूत मॉडल में कम पूर्वाग्रह और उच्च विचरण होता है: वे बहुत लचीले होते हैं और वे प्रशिक्षण सेट को ओवरफिट करते हैं, इसलिए परीक्षण सेट में (जैसा कि डेटापॉंट प्रशिक्षण सेट से अलग होता है) वे भी अच्छा प्रदर्शन नहीं करेंगे। (उच्च परीक्षण त्रुटि)
बूस्टिंग पेड़ों की अवधारणा उथले पेड़ों (कमजोर मॉडल) के साथ शुरू करना है और अधिक उथले पेड़ों को जोड़ना है जो पिछले पेड़ों की कमजोरियों को ठीक करने की कोशिश करते हैं। जैसा कि आप इस प्रक्रिया को करते हैं, परीक्षण त्रुटि नीचे जाती है (क्योंकि समग्र मॉडल अधिक लचीला / शक्तिशाली हो जाता है)। हालाँकि, यदि आप उन बहुत से पेड़ों को जोड़ते हैं, तो आप प्रशिक्षण डेटा को ओवरफिट करना शुरू कर देते हैं और इसलिए परीक्षण त्रुटि बढ़ जाती है। क्रॉस-सत्यापन मिठाई स्थान को खोजने में मदद करता है