क्या दो निर्णय वृक्षों का योग एकल निर्णय वृक्ष के बराबर है?

मान लीजिए कि हमें दो प्रतिगमन पेड़ (वृक्ष एक और पेड़ बी) है कि नक्शे इनपुट उत्पादन के लिए । चलो पेड़ एक के लिए और पेड़ बी के लिए प्रत्येक पेड़ द्विआधारी विभाजन का उपयोग करता है, को अलग कार्यों के रूप में hyperplanes साथ। $x \in \mathbb{R}^d$ $\hat{y} \in \mathbb{R}$ $\hat{y} = f_A(x)$ $f_B(x)$

अब, मान लीजिए कि हम पेड़ के आउटपुट का एक भारित योग लेते हैं:

f_{C} (x) = w_{A} f_{A} (x) + w_{B} f_{B} (x)

$f_C(x) = w_A \ f_A(x) + w_B \ f_B(x)$

समारोह $f_C$ एकल (गहरे) प्रतिगमन पेड़ के बराबर है? यदि उत्तर "कभी-कभी" है, तो किन शर्तों के तहत?

आदर्श रूप में, मैं तिरछा हाइपरप्लेन (यानी सुविधाओं के रैखिक संयोजनों पर किए गए विभाजन) की अनुमति देना चाहूंगा। लेकिन, सिंगल-फ़ीचर स्प्लिट्स मान लेना ठीक हो सकता है अगर वह एकमात्र उत्तर उपलब्ध हो।

उदाहरण

यहाँ 2 डी इनपुट स्पेस पर परिभाषित दो रिग्रेशन ट्री हैं:

आंकड़ा दिखाता है कि प्रत्येक वृक्ष विभाजन इनपुट स्थान, और प्रत्येक क्षेत्र के लिए आउटपुट (स्केल में कोडित) है। रंगीन संख्या इनपुट स्थान के क्षेत्रों को दर्शाती है: 3,4,5,6 पत्ती नोड्स के अनुरूप हैं। 1 3 और 4 का संघ है, आदि।

अब मान लीजिए कि हम पेड़ों A और B का औसत निकालते हैं:

औसत उत्पादन बाईं ओर प्लॉट किया जाता है, ए और बी पेड़ों की निर्णय सीमाओं के साथ। इस मामले में, एकल, गहरे पेड़ का निर्माण संभव है, जिसका उत्पादन औसत (दाईं ओर प्लॉट किया गया) के बराबर है। प्रत्येक नोड इनपुट स्पेस के एक क्षेत्र से मेल खाती है जिसे पेड़ों ए और बी द्वारा परिभाषित क्षेत्रों से बाहर बनाया जा सकता है (प्रत्येक नोड पर रंगीन द्वारा दर्शाया गया है; कई संख्याएं दो क्षेत्रों के चौराहे को दर्शाती हैं)। ध्यान दें कि यह पेड़ अद्वितीय नहीं है - हम पेड़ ए के बजाय पेड़ बी से निर्माण शुरू कर सकते थे।

यह उदाहरण दिखाता है कि ऐसे मामले मौजूद हैं जहां जवाब "हां" है। मैं जानना चाहता हूं कि क्या यह हमेशा सच है।

regression machine-learning cart

— user20160
स्रोत

हम्म .. अगर ऐसा होता तो हम एक यादृच्छिक जंगल को प्रशिक्षित क्यों करते? (क्योंकि स्पष्ट रूप से 500 पेड़ों के रैखिक संयोजन को 500 पेड़ों के 499 भारित जोड़ीदार रूप में फिर से व्यक्त किया जा सकता है) अच्छा सवाल, +1।

— us --r11852

दिलचस्प सवाल! मैं निर्णय पेड़ों और निर्णय पेड़ ensembles (बूस्टिंग, पेड़ों के रैखिक संयोजन) की परिकल्पना स्थान को समान मानूंगा। आगे एक उत्तर की तलाश में ..

— लक्ष्मण नाथन

@ us @r11852 हो सकता है क्योंकि जंगल के बजाय एक बहुत बड़े पेड़ का उपयोग इतना धीमा है? जैसे तंत्रिका नेटवर्क में एक छिपी हुई परत नेटवर्क पहले से ही सभी निरंतर कार्यों को अनुमानित कर सकती है, लेकिन परतों को जोड़ने से नेटवर्क तेज हो जाता है। यह कहते हुए कि यहां ऐसा नहीं है, लेकिन हो सकता है।

— हार्टो सरीनन

@ हर्टोसैरेन: यह इस बारे में सोचने का एक दिलचस्प तरीका है लेकिन मुझे संदेह है कि यह आसानी से पकड़ में नहीं आता है। यह स्वीकार किया जाता है कि बहुत गहरे पेड़ खराब हो सकते हैं और सामान्य रूप से खराब हो सकते हैं (उनकी भविष्यवाणियां भी काफी अस्थिर हैं)। इसके अलावा (गति के विचार के बारे में) गहरे पेड़ों को तेजी से अधिक विभाजन और इस प्रकार अधिक प्रशिक्षण समय की आवश्यकता होती है। (गहराई का एक पेड़ 10 में सबसे अधिक 1023 विभाजन होता है, लेकिन गहराई का पेड़ 20, 1048575 विभाजित होता है। बहुत अधिक काम करता है!)

— us

@ us @r11852 मैं मानता हूं कि यह पूरी तरह से असत्य हो सकता है और इसका उत्तर कुछ अलग हो सकता है। यह वही है जो इस समय क्षेत्र को इतना दिलचस्प बना देता है, बहुत सी चीजों की खोज की जा सकती है!

— हार्टो सरीनन

हां, प्रतिगमन पेड़ों का भारित योग एकल (गहरा) प्रतिगमन वृक्ष के बराबर है।

यूनिवर्सल फ़ंक्शन सन्निकटनकर्ता

एक प्रतिगमन वृक्ष एक सार्वभौमिक कार्य सन्निकटन है (उदाहरण के लिए cstheory देखें )। सार्वभौमिक फ़ंक्शन सन्निकटन पर अधिकांश शोध एक छिपे हुए परत ( इस महान ब्लॉग को पढ़ें ) के साथ कलात्मक तंत्रिका नेटवर्क पर किया जाता है । हालांकि, अधिकांश मशीन लर्निंग एल्गोरिदम सार्वभौमिक फ़ंक्शन सन्निकटन हैं।

एक सार्वभौमिक फ़ंक्शन सन्निकटन होने का अर्थ है कि किसी भी मनमाने कार्य का लगभग प्रतिनिधित्व किया जा सकता है। इस प्रकार, कोई फर्क नहीं पड़ता कि फ़ंक्शन कितना जटिल है, एक सार्वभौमिक फ़ंक्शन सन्निकटन किसी भी वांछित सटीकता के साथ इसका प्रतिनिधित्व कर सकता है। एक प्रतिगमन पेड़ के मामले में आप असीम रूप से गहरी कल्पना कर सकते हैं। यह असीम रूप से गहरा पेड़ अंतरिक्ष में किसी भी बिंदु पर कोई भी मूल्य प्रदान कर सकता है।

चूंकि प्रतिगमन वृक्ष का भारित योग एक अन्य मनमाना कार्य है, इसलिए एक और प्रतिगमन वृक्ष मौजूद है जो उस कार्य का प्रतिनिधित्व करता है।

इस तरह के एक पेड़ बनाने के लिए एक एल्गोरिथ्म

यह जानते हुए कि इस तरह के एक पेड़ मौजूद है महान है। लेकिन हम उन्हें बनाने के लिए एक नुस्खा भी चाहते हैं। इस तरह और एल्गोरिथ्म दो दिए गए पेड़ों को जोड़ देगा $T_1$ $T_2$ $T_2$ $T1$ $T1$ $T2$

नीचे दिए गए उदाहरण में दो सरल पेड़ हैं जिन्हें वजन 0.5 के साथ जोड़ा गया है। ध्यान दें कि एक नोड कभी नहीं पहुंचेगा, क्योंकि ऐसी संख्या मौजूद नहीं है जो 3 से छोटी है और 5 से बड़ी है। यह इंगित करता है कि इन पेड़ों में सुधार किया जा सकता है, लेकिन यह उन्हें अमान्य नहीं बनाता है।

क्यों अधिक जटिल एल्गोरिदम का उपयोग करें

एक दिलचस्प अतिरिक्त प्रश्न @ usεr11852 द्वारा टिप्पणी में उठाया गया था: अगर हम प्रत्येक फ़ंक्शन को एक साधारण प्रतिगमन पेड़ के साथ तैयार किया जा सकता है तो हम बूस्टिंग एल्गोरिदम (या वास्तव में किसी भी जटिल मशीन लर्निंग एल्गोरिदम) का उपयोग क्यों करेंगे?

प्रतिगमन पेड़ वास्तव में किसी भी कार्य का प्रतिनिधित्व कर सकते हैं, लेकिन यह मशीन लर्निंग एल्गोरिदम के लिए केवल एक मानदंड है। एक महत्वपूर्ण अन्य संपत्ति है कि वे कितनी अच्छी तरह से सामान्यीकरण करते हैं। डीप रिग्रेशन ट्री ओवरफिटिंग के शिकार होते हैं, यानी वे अच्छी तरह से सामान्य नहीं होते हैं। इसे रोकने के लिए एक यादृच्छिक वन में बहुत से गहरे पेड़ हैं।

— पीटर
स्रोत