मेरे कार्यालय के एक सहकर्मी ने आज मुझसे कहा "ट्री मॉडल अच्छे नहीं हैं क्योंकि वे अत्यधिक टिप्पणियों द्वारा पकड़े जाते हैं"।
यहां एक खोज के परिणामस्वरूप इस धागे का निर्माण हुआ जो मूल रूप से दावे का समर्थन करता है।
जो मुझे इस सवाल की ओर ले जाता है - CART मॉडल किस स्थिति में मजबूत हो सकता है, और यह कैसे दिखाया जाता है?
जवाबों:
नहीं, उनके वर्तमान रूपों में नहीं। समस्या यह है कि उत्तल हानि कार्यों को आउटलेर्स द्वारा संदूषण के लिए मजबूत नहीं बनाया जा सकता है (यह 70 के बाद से एक अच्छी तरह से ज्ञात तथ्य है लेकिन समय-समय पर फिर से खोजा जा रहा है, उदाहरण के लिए इस पेपर को हाल ही में ऐसी खोज के लिए देखें):
http://www.cs.columbia.edu/~rocco/Public/mlj9.pdf
अब, प्रतिगमन पेड़ों के मामले में, तथ्य यह है कि CART मार्जिन का उपयोग करता है (या वैकल्पिक रूप से अविभाज्य अनुमानों) का उपयोग किया जा सकता है: कोई CART के संस्करण के बारे में सोच सकता है जहां एसडी मानदंड को अधिक मजबूत समकक्ष (एमएडी या बेहतर अभी तक, द्वारा प्रतिस्थापित किया जाता है) Qn आकलनकर्ता)।
मैं हाल ही में ऊपर दिए गए दृष्टिकोण को लागू करने वाले एक पुराने पेपर पर आया था (एमएडी के बजाय पैमाने के मजबूत एम अनुमानक का उपयोग करके)। यह CART / RF के आउटलेयर को "y" के लिए मजबूती प्रदान करेगा (लेकिन डिज़ाइन स्थान पर स्थित आउटलेर के लिए नहीं , जो मॉडल के हाइपर-मापदंडों के अनुमान को प्रभावित करेगा) देखें:
गैलिमबर्टी, जी।, पिलती, एम।, और सोफ्रीति, जी। (2007)। एम-आकलनकर्ताओं के आधार पर मजबूत प्रतिगमन पेड़। स्टैटिस्टिका, LXVII, 173-190।
आप ब्रिमन के बैगिंग या यादृच्छिक जंगलों का उपयोग करने पर विचार कर सकते हैं । एक अच्छा संदर्भ है ब्रेमेन "बैजिंग प्रेडिक्टर्स" (1996)। इसके अलावा सांख्यिकी की हैंडबुक में क्लिफ्टन सटन के "वर्गीकरण और प्रतिगमन पेड़, बैजिंग और बूस्टिंग" को संक्षेप में प्रस्तुत किया गया है ।
आप बेतरतीब पैकेज के एंडी लियाव और मैथ्यू वीनर आर न्यूज की चर्चा भी देख सकते हैं ।
यदि आप आर (सामान्यीकृत ग्रेडिंग बूस्टिंग) में 'जीबीएम' पैकेज की जांच करते हैं, तो 'बूस्टिंग' नुकसान कार्यों का उपयोग करता है जो जरूरी नहीं कि चुकता त्रुटि हो। यह 'वितरण' तर्क को 'gbm ()' कार्य करने के लिए दिखाता है। इस प्रकार बूस्टिंग के माध्यम से पेड़ का विस्तार एम-एसेटर के काम करने के समान, आउटलेर्स के लिए प्रतिरोधी होगा।
एक और तरीका यह होगा कि पेड़ को सामान्य तरीके से बनाया जाए (एसएसई पर आधारित विभाजन), लेकिन फिट के मजबूत माप के साथ क्रॉस सत्यापन का उपयोग करते हुए पेड़ को prune करें। मुझे लगता है कि बदले में xpred क्रॉस वैरिडेड प्रेडिक्टर्स (विभिन्न पेड़ की जटिलताओं के लिए) देगा, जो कि आप तब त्रुटि के अपने माप को लागू कर सकते हैं, जैसे कि निरपेक्ष मान।