क्या CART के पेड़ भविष्यवक्ताओं के बीच बातचीत पर कब्जा करते हैं?

Question

यह पेपर दावा करता है कि CART में, क्योंकि प्रत्येक चरण पर एक एकल कोवरिएट पर एक बाइनरी विभाजन किया जाता है, सभी विभाजन ऑर्थोगोनल होते हैं और इसलिए कोवरिएट्स के बीच बातचीत को नहीं माना जाता है।

हालांकि, बहुत गंभीर संदर्भों का दावा है, इसके विपरीत, कि पेड़ की पदानुक्रमित संरचना गारंटी देती है कि भविष्यवक्ताओं के बीच बातचीत स्वचालित रूप से मॉडलिंग की जाती है (जैसे, यह कागज , और निश्चित रूप से हस्ती)।

कौन सही है? क्या CART- उगाए गए पेड़ इनपुट चर के बीच पारस्परिक क्रियाओं को कैप्चर करते हैं?

Comments

इस तर्क में दोष यह है कि विभाजन पहले किए गए विभाजन द्वारा परिभाषित सहसंयोजकों के सबसेट पर किए जाते हैं ।

@mbq इसलिए नए विभाजन पूर्ववर्ती विभाजन के संबंध में सशर्त हैं ... मैं देख रहा हूं ... मुझे लगता है कि मुझे यह समझने में परेशानी हो रही थी कि "किसी भविष्यवक्ता पर बनाए गए पिछले विभाजन से सशर्त" इस भविष्यवक्ता के साथ बातचीत करने के बराबर था " "...

— एंटोनी

Answer 1

CART इंटरैक्शन प्रभाव को कैप्चर कर सकता है । आपस में बातचीत का प्रभाव$X_1$ तथा $X_2$ तब होता है जब व्याख्यात्मक चर का प्रभाव $X_1$ प्रतिक्रिया चर पर $Y$ के स्तर पर निर्भर करता है $X_2$। यह निम्न उदाहरण में होता है:

खराब आर्थिक स्थितियों का प्रभाव (इसे कॉल करें $X_1$) किस प्रकार की इमारत खरीदी जा रही है पर निर्भर करता है ($X_2$)। कार्यालय भवन में निवेश करते समय, खराब आर्थिक स्थिति में निवेश की अनुमानित कीमत 140,000 डॉलर कम हो जाती है। लेकिन जब एक अपार्टमेंट बिल्डिंग में निवेश किया जाता है, तो निवेश की अनुमानित कीमत 20,000 डॉलर कम हो जाती है। आपके निवेश की अनुमानित मूल्य पर खराब आर्थिक स्थितियों का प्रभाव खरीदी गई संपत्ति के प्रकार पर निर्भर करता है। यह परस्पर प्रभाव है।

Answer 2

संक्षिप्त जवाब

बातचीत कैप्चर करने के लिए कार्ट को सहायता की आवश्यकता है।

लंबा जवाब

सटीक लालची एल्गोरिथ्म लें (चेन और गेस्ट्रिन, 2016):

पत्ती पर माध्य एक सशर्त अपेक्षा होगी, लेकिन पत्ती के रास्ते में हर विभाजन दूसरे से स्वतंत्र होता है। यदि फ़ीचर A अपने आप से कोई फर्क नहीं पड़ता है, लेकिन यह फ़ीचर B के साथ बातचीत में मायने रखता है, तो एल्गोरिथ्म फ़ीचर A पर विभाजित नहीं होगा। इस विभाजन के बिना, एल्गोरिथ्म फ़ीचर B पर विभाजन को दूर नहीं कर सकता, इंटरैक्शन उत्पन्न करने के लिए आवश्यक है।

पेड़ सबसे सरल परिदृश्यों में बातचीत चुन सकते हैं। यदि आपके पास दो विशेषताओं वाला डेटासेट है$x_1, x_2$ और लक्ष्य $y = XOR(x_1, x_2)$एल्गोरिथ्म पर विभाजित करने के लिए कुछ भी नहीं है $x_1$ तथा $x_2$इसलिए, आपको चार पत्ते मिलेंगे $XOR$ ठीक से अनुमान लगाया गया।

कई विशेषताओं, नियमितीकरण और विभाजन की संख्या पर कठिन सीमा के साथ, एक ही एल्गोरिथ्म इंटरैक्शन को छोड़ सकता है।

समाधान

नई सुविधाओं के रूप में स्पष्ट बातचीत

झांग का एक उदाहरण ("विनिंग डेटा साइंस कॉम्पिटिशन", 2015):

गैर-लालची पेड़ एल्गोरिदम

अन्य प्रश्न में, सिमोन लुकहेड-आधारित एल्गोरिदम और तिरछा निर्णय पेड़ों का सुझाव देता है ।

सीखने का एक अलग तरीका

कुछ सीखने के तरीके बातचीत को बेहतर तरीके से संभालते हैं।

यहां द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग की एक तालिका है (लाइन "सुविधाओं के रैखिक संयोजनों को निकालने की क्षमता"):