क्या प्रतिगमन पेड़ लगातार भविष्यवाणी कर सकते हैं?

Question

मान लीजिए कि मेरे पास जैसा एक सुचारू फ़ंक्शन है । मेरे पास एक प्रशिक्षण सेट D \ subsetneq \ {(x, y), f (x, y)) है (एक्स, वाई) \ में \ mathbb {R} ^ 2 \} और, ज़ाहिर है, मैं नहीं जानता कि च हालांकि मैं मूल्यांकन कर सकते हैं च जहाँ भी मैं चाहता हूँ।$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

क्या प्रतिगमन पेड़ फ़ंक्शन के एक चिकनी मॉडल को खोजने में सक्षम हैं (इसलिए इनपुट में एक छोटा परिवर्तन केवल आउटपुट में एक छोटा परिवर्तन देना चाहिए)?

मैंने व्याख्यान 10 में जो पढ़ा है उससे : प्रतिगमन पेड़ यह मुझे लगता है कि प्रतिगमन पेड़ मूल रूप से फ़ंक्शन मानों को डिब्बे में डालते हैं:

क्लासिक प्रतिगमन पेड़ों के लिए, प्रत्येक सेल में मॉडल वाई का एक निरंतर अनुमान है।

जैसा कि वे "क्लासिक" लिखते हैं, मुझे लगता है कि एक ऐसा संस्करण है जहां कोशिकाएं कुछ अधिक दिलचस्प करती हैं?

Answer 1

प्रतिगमन पेड़, विशेष रूप से ढाल बढ़ाने (मूल रूप से कई पेड़), निरंतर भविष्यवाणियों पर बहुत अच्छा करते हैं, अक्सर आउटपरफॉर्मिंग मॉडल जो वास्तव में रैखिक प्रतिगमन की तरह निरंतर होते हैं। यह विशेष रूप से सच है जब चर बातचीत होती है और जब आपके पास पर्याप्त बड़े डेटासेट (10,000 से अधिक रिकॉर्ड) होते हैं ताकि ओवरफिटिंग की संभावना कम हो। यदि आपका प्राथमिक उद्देश्य केवल अनुमानित शक्ति है, तो क्या मॉडल 100% निरंतर है या छद्म निरंतर अप्रासंगिक होना चाहिए। यदि आपके प्रतिगमन वृक्षों को नमूना पूर्वानुमान शक्ति से अधिक निरंतर बढ़ाया जाता है, तो आप बस पेड़ की गहराई बढ़ा सकते हैं या अधिक पेड़ जोड़ सकते हैं।

Comments

मैं सहमत हूँ। मेरे बढ़े हुए पेड़ लगभग हमेशा बहुत श्रमसाध्य रूप से तैयार किए गए और अनुकूलित GLMs से बेहतर प्रदर्शन करते हैं। जब आप भविष्य कहनेवाला शक्ति हासिल करते हैं, तो आप व्याख्यात्मकता खो देते हैं।

— प्रूफ़रीडर

Answer 2

क्लासिक प्रतिगमन पेड़ों में आप पत्ती में एक मूल्य रखते हैं, लेकिन पत्ती में आपके पास एक रैखिक प्रतिगमन मॉडल हो सकता है, इस टिकट की जांच करें ।

निरंतर उत्पादन मूल्य रखने के लिए आप पेड़ों के रेंडम (रैंडम फॉरेस्ट या ग्रैडिएंट बूस्टिंग मशीन) का भी उपयोग कर सकते हैं।

Answer 3

यदि आप सामान्य ग्रेडिंग बूस्टिंग तकनीकों (बूस्टेड रिग्रेशन ट्री के विशेष मामले के विपरीत) को शामिल करने के लिए प्रश्न का थोड़ा विस्तार करते हैं, तो इसका उत्तर हां है। ग्रैडिएंट बूस्टिंग को परिवर्तनीय चयन के विकल्प के रूप में सफलतापूर्वक उपयोग किया गया है। एक अच्छा उदाहरण mboost पैकेज है । कुंजी यह है कि बूस्टिंग सीखने के लिए उपयोग किए जाने वाले बेस शिक्षार्थियों के वर्ग को शुरू करने के लिए निरंतर मॉडल होते हैं। यह ट्यूटोरियल बेस शिक्षार्थियों की विशिष्ट कक्षाओं का वर्णन करता है:

आमतौर पर उपयोग किए जाने वाले बेस-लर्नर मॉडल को तीन अलग-अलग श्रेणियों में वर्गीकृत किया जा सकता है: रैखिक मॉडल, चिकनी मॉडल और निर्णय पेड़। कई अन्य मॉडल भी हैं, जैसे मार्कोव यादृच्छिक क्षेत्र (डाइटेरिच एट अल।, 2004) या वेवलेट्स (वायोला और जोन्स, 2001), लेकिन उनका आवेदन अपेक्षाकृत विशिष्ट व्यावहारिक कार्यों के लिए उठता है।

ध्यान दें कि यह विशेष रूप से तरंगों का उल्लेख करता है। पेड़ों और तरंगों को पेड़-आधारित तरंगों में सफलतापूर्वक जोड़ा गया है ।

Comments

ग्रेडिएंट बूस्टिंग में निरंतर आधार सीखने वाले क्या हैं? यदि उत्तर निर्णय के पेड़ हैं, तो क्या आप बता सकते हैं कि वे निरंतर कैसे हैं?

— मार्टिन थोमा

मैंने अपना उत्तर अपडेट कर दिया है। कुंजी निरंतर पेड़-जैसे भविष्यवक्ताओं का उपयोग करना है।

— user3605620