निर्णय वृक्ष का कुलपति आयाम क्या है?

Question

दो आयामों में k स्प्लिट्स के साथ एक निर्णय वृक्ष का VC आयाम क्या है ? बता दें कि मॉडल CART है और केवल अनुमत विभाजन कुल्हाड़ियों के समानांतर हैं।

इसलिए एक विभाजन के लिए हम एक त्रिभुज में 3 बिंदुओं को ऑर्डर कर सकते हैं और फिर किसी भी अंक के लेबलिंग के लिए हम सही भविष्यवाणी प्राप्त कर सकते हैं (यानी: बिखर गए अंक)

लेकिन 2 विभाजन या किसी सामान्य k के बारे में क्या?

Answer 1

मुझे यकीन नहीं है कि यह एक सरल उत्तर वाला प्रश्न है, और न ही मेरा मानना ​​है कि यह एक सवाल है जिसे निर्णय पेड़ों के बारे में भी पूछा जाना चाहिए।

असलान एट अल से परामर्श करें । , पेड़ों की कुलपति-आयाम की गणना (2009)। वे छोटे पेड़ों में, और फिर बड़े पेड़ों पर कुलपति आयाम का अनुमान लगाने के लिए एक अनुमानित, पुनरावर्ती सूत्र प्रदान करके इस समस्या का हल खोजते हैं। वे तब इस सूत्र का उपयोग एक प्रूनिंग एल्गोरिथ्म के हिस्से के रूप में करते हैं। अगर आपके प्रश्न का कोई बंद-उत्तर होता, तो मुझे यकीन है कि उन्होंने इसकी आपूर्ति की होगी। उन्होंने यहां तक ​​कि काफी छोटे पेड़ों के माध्यम से अपने तरीके से पुनरावृति करने की आवश्यकता महसूस की।

मेरे दो सेंट लायक। मुझे यकीन नहीं है कि निर्णय ट्रेस के लिए कुलपति आयाम के बारे में बात करना सार्थक है। एक पर विचार करें आयामी प्रतिक्रिया है, जहां प्रत्येक आइटम एक द्विआधारी परिणाम है। यह असलान एट अल द्वारा माना गया स्थिति है। कर रहे हैं 2 घ इस नमूने अंतरिक्ष में संभावित परिणामों और 2 डी संभव प्रतिक्रिया पैटर्न। अगर मैं डी स्तरों और 2 डी पत्तियों के साथ एक पूर्ण पेड़ का निर्माण करता हूं , तो मैं 2 डी के किसी भी पैटर्न को चकनाचूर कर सकता हूं$d$$2^d$$2^d$$d$$2^d$$2^d$प्रतिक्रियाओं। लेकिन कोई भी पूरा पेड़ नहीं लगाता है। आमतौर पर, आप फिर से पार कर जाते हैं और फिर क्रॉस-वेलिडेशन का उपयोग करते हुए वापस prune। अंत में आपको जो मिलता है वह एक छोटा और सरल पेड़ है, लेकिन आपकी परिकल्पना अभी भी बड़ी है। असलान एट अल। आइसोमोर्फिक पेड़ों के परिवारों के कुलपति आयाम का अनुमान लगाने की कोशिश करें। प्रत्येक परिवार अपने कुलपति आयाम के साथ एक परिकल्पना है।

$d=3$$(1,0,0,1),(1,1,1,0),(0,1,0,1), (1,1,0,1)$$x1$$x2$, कहते हैं, आइसोमॉर्फिक होना और एक ही परिकल्पना का हिस्सा होना। इसलिए, हालांकि इनमें से प्रत्येक पेड़ पर केवल 3 पत्तियां हैं, ऐसे पेड़ों का सेट 4 अंक बिखर सकता है और इस मामले में कुलपति का आयाम 4 है। हालांकि, एक ही पेड़ 4 चर के साथ एक अंतरिक्ष में हो सकता है, इस मामले में कुलपति का आयाम 5 होगा। इसलिए यह जटिल है।

असलान का जानवर बल समाधान काफी अच्छी तरह से काम करता है, लेकिन उन्हें जो मिलता है वह वास्तव में एल्गोरिदम के कुलपति आयाम का उपयोग नहीं करता है, क्योंकि ये छंटाई और क्रॉस-सत्यापन पर निर्भर करते हैं। यह कहना मुश्किल है कि परिकल्पना का स्थान वास्तव में क्या है, क्योंकि सिद्धांत रूप में, हम संभव पेड़ों की संख्या के बिखरने के साथ शुरू करते हैं, लेकिन फिर कुछ अधिक उचित है। यहां तक ​​कि अगर कोई व्यक्ति प्राथमिकता पसंद के साथ शुरू होता है, तो दो परतों से परे नहीं जाना चाहिए, कहते हैं, अभी भी पेड़ को चुभाना पड़ सकता है। और हमें वास्तव में वीसी आयाम की आवश्यकता नहीं है, क्योंकि पार-सत्यापन सीधे नमूना त्रुटि से बाहर हो जाता है।

असलान एट अल। के लिए निष्पक्ष होना, वे अपने परिकल्पना स्थान को चिह्नित करने के लिए कुलपति आयाम का उपयोग नहीं करते हैं। वे शाखाओं के वीसी आयाम की गणना करते हैं और उस मात्रा का उपयोग यह निर्धारित करने के लिए करते हैं कि शाखा को काट दिया जाना चाहिए। प्रत्येक चरण में, वे विचाराधीन शाखा के विशिष्ट विन्यास के कुलपति आयाम का उपयोग करते हैं। वे कुल मिलाकर समस्या के कुलपति आयाम को नहीं देखते हैं।

यदि आपके चर निरंतर हैं और प्रतिक्रिया थ्रेशोल्ड तक पहुंचने पर निर्भर करती है, तो एक निर्णय ट्री मूल रूप से परसेप्ट्रॉन का एक गुच्छा बना रहा है, इसलिए वीसी आयाम संभवतः इससे अधिक होगा (क्योंकि आपको विभाजन बनाने के लिए कटऑफ बिंदु का अनुमान लगाना होगा। । यदि प्रतिक्रिया निरंतर प्रतिक्रिया पर एकात्मक रूप से निर्भर करती है, तो CART इसे एक प्रतिगमन मॉडल को फिर से बनाने की कोशिश करते हुए, चरणों की एक गुच्छा में काट देगा। मैं उस मामले में पेड़ों का उपयोग नहीं करता - संभवतः गम या प्रतिगमन।