निरंतर चर की भविष्यवाणी करते समय निर्णय वृक्ष विभाजन को कैसे लागू किया जाना चाहिए?

Question

मैं वास्तव में रैंडम फ़ॉरेस्ट का कार्यान्वयन लिख रहा हूं, लेकिन मेरा मानना ​​है कि प्रश्न पेड़ों (आरएफ से स्वतंत्र) के लिए विशिष्ट है।

इसलिए संदर्भ यह है कि मैं एक निर्णय वृक्ष में एक नोड बना रहा हूं और भविष्यवाणी और लक्ष्य चर दोनों निरंतर हैं। नोड के पास डेटा को दो सेटों में विभाजित करने के लिए एक विभाजन सीमा है, और मैं प्रत्येक सेट में औसत लक्ष्य मान के आधार पर प्रत्येक सबसेट के लिए एक नई भविष्यवाणी बनाता हूं। क्या यह सही तरीका है?

मेरे द्वारा पूछे जाने का कारण यह है कि जब द्विआधारी चर का अनुमान लगाता हूं, तो मुझे लगता है कि विशिष्ट (सही?) दृष्टिकोण डेटा को प्रत्येक उपसमुच्चय में औसतन डेटा पंक्तियों के बिना 0 और 1 सबसेट में विभाजित करना है। बाद में विभाजित बारीक दानेदार उप-भागों में विभाजित हो जाएगा और प्रत्येक विभाजन परिणामों में औसतन बाद में विभाजन (निर्णय पेड़ से नीचे) बाइनरी चर की बजाय अब निरंतर चर रहे हैं (क्योंकि हम मूल के बजाय अवशिष्ट त्रुटि पर काम कर रहे हैं) लक्ष्य)।

साइड सवाल: क्या दो दृष्टिकोणों (द्विआधारी बनाम निरंतर) के बीच अंतर महत्वपूर्ण है - या क्या वे वास्तव में एक पूर्ण निर्णय पेड़ के लिए समान परिणाम देंगे?

Comments

निरंतर चर पर विभाजित होने के परिणामस्वरूप परिणामी "मॉडल" सुनिश्चित होगा कि डेटा ठीक से फिट नहीं है। यदि आपके पास एक निरंतर एक्स और एक निरंतर वाई है, तो लूस नॉनपेरमेट्रिक स्मूथी का उपयोग करें।

— फ्रैंक हार्डेल

मैं अभी जिस समस्या पर काम कर रहा हूं, उसमें कई भविष्यवाणियां चर (निरंतर और बाइनरी का मिश्रण) और एक एकल लक्ष्य चर है। इसलिए मेरा मानना ​​है कि आरएफ लेने के लिए एक उचित दृष्टिकोण है।

— Redcalx

बहुत संभावना है। लेकिन एक यादृच्छिक जंगल पेड़ों का मिश्रण है (यह एक निर्णय वृक्ष नहीं है), इसलिए यह कई विभाजन बनाकर निरंतर संबंधों का अनुमान लगाता है, और वास्तव में, संकोचन का उपयोग करके। इसलिए मुझे नहीं लगता कि आपका मूल प्रश्न लागू होता है, अगर मैं इसे समझता हूं।

— फ्रैंक हरेल

मुझे यह कहने के लिए लुभाया जाता है कि निरंतर मामले का आपका विवरण सही है (यानी चीजों को करने का मानक तरीका), लेकिन फिर बाइनरी चर मामले का आपका वर्णन मेरी समझ से बिल्कुल मेल नहीं खाता है कि कैसे यादृच्छिक जंगलों (या निर्णय) पेड़) काम करते हैं, इसलिए मुझे चिंता है कि हम में से एक भ्रमित है।

— जोरान

@joran। याह, भविष्यवाणियों को 0 या 1 के लिए मजबूर करके आप भविष्यवाणियों (0 और 1 के बीच) में सूक्ष्म समायोजन करने की क्षमता खो देते हैं जो त्रुटि को कम कर सकते हैं (उदाहरण के लिए चुकता पूर्वानुमान त्रुटि)। जैसे कि मुझे संदेह है कि दृष्टिकोण हीन है। मैंने इसे आजमाया और निर्णय के पेड़ के निर्माण में अधिकांश प्रयास एक भी विभाजन को खोजने में विफल रहे जो त्रुटि में सुधार करता है।

— Redcalx

Answer 1

पेड़ों के साथ एक संभावित मुद्दा यह है कि वे पूंछ में खराब फिट होते हैं। एक टर्मिनल नोड के बारे में सोचें जो प्रशिक्षण सेट की कम सीमा को कैप्चर करता है। यह उन प्रशिक्षण सेट बिंदुओं के माध्यम का उपयोग करके भविष्यवाणी करेगा, जो हमेशा परिणाम की भविष्यवाणी करेगा (क्योंकि यह मतलबी है)।

आप मॉडल पेड़ [1] आज़मा सकते हैं। ये टर्मिनल नोड्स में रैखिक मॉडल फिट करेंगे और (मुझे लगता है) प्रतिगमन पेड़ों की तुलना में बेहतर काम करते हैं। बेहतर अभी तक, क्यूबिस्ट नामक एक अधिक विकसित संस्करण का उपयोग करें जो अलग-अलग दृष्टिकोणों को जोड़ता है ([1] और [2] नीचे)।

ये मॉडल भी निरंतर और असतत भविष्यवक्ताओं को अलग तरीके से संभालते हैं। वे श्रेणीबद्ध चर के लिए बहु-वे विभाजन कर सकते हैं। विभाजन की कसौटी कार्ट के पेड़ों के समान है।

मॉडल पेड़ों को आर में आरवेका पैकेज ('एम 5 पी' कहा जाता है) में पाया जा सकता है और क्यूबिस्ट पैकेज में क्यूबिस्ट है। बेशक, आप Weka का भी उपयोग कर सकते हैं और Cubist के पास RuleQuest वेबसाइट पर एक C संस्करण उपलब्ध है।

[१] क्विनलान, जे। (१ ९९ २)। निरंतर कक्षाओं के साथ सीखना। कृत्रिम बुद्धि पर 5 वें ऑस्ट्रेलियाई संयुक्त सम्मेलन की कार्यवाही, 343-348।

[२] क्विनलान, जे। (१ ९९ ३)। उदाहरण-आधारित और मॉडल-आधारित सीखने का संयोजन। मशीन लर्निंग पर दसवें अंतर्राष्ट्रीय सम्मेलन की कार्यवाही, 236–243।

Comments

क्या आप सिर्फ गरीबों को कम से कम फिट करने के लिए गहरे पेड़ नहीं लगा सकते हैं?

— जस