रैंडम फॉरेस्ट में, पेड़ के स्तर के बजाय नोड स्तर पर सुविधाओं का एक यादृच्छिक सबसेट क्यों चुना जाता है?

Question

मेरा प्रश्न: रैंडम फ़ॉरेस्ट प्रत्येक पेड़ के बजाय नोड स्तर पर बंटवारे के लिए सुविधाओं के यादृच्छिक सबसेट पर विचार क्यों करता है ?

पृष्ठभूमि: यह एक इतिहास का सवाल है। टिन कम हो ने 1998 में प्रत्येक पेड़ को उगाने के लिए सुविधाओं के एक सबसेट का चयन करके "निर्णय वन" के निर्माण पर इस पत्र को प्रकाशित किया था। कई सालों बाद, 2001 में, लियो ब्रिमन ने अपना सेमिनल रैंडम फ़ॉरेस्ट पेपर प्रकाशित किया , जिसमें सुविधा उप-क्रम बेतरतीब ढंग से प्रकाशित हुई प्रत्येक पेड़ के भीतर प्रत्येक नोड पर चयनित, प्रत्येक पेड़ पर नहीं। जबकि ब्रिमन ने हो का हवाला दिया, उन्होंने विशेष रूप से ट्री-लेवल से नोड-लेवल रैंडम फीचर के चयन के बारे में नहीं बताया।

मैं सोच रहा हूं कि इस विकास को किसने प्रेरित किया। ऐसा लगता है कि पेड़ के स्तर पर सुविधा सबसेट का चयन करना अभी भी पेड़ों की वांछित सजावट को पूरा करेगा।

मेरा सिद्धांत: मैंने इस स्पष्ट रूप से कहीं और नहीं देखा है, लेकिन ऐसा लगता है कि यादृच्छिक उप-विधि विधि सुविधा के महत्व के अनुमान प्राप्त करने के मामले में कम कुशल होगी। प्रत्येक पेड़ के लिए चर महत्व के अनुमानों को प्राप्त करने के लिए, सुविधाओं को एक-एक करके बेतरतीब ढंग से अनुमति दी जाती है, और आउट-ऑफ-बैग टिप्पणियों के लिए त्रुटि में वृद्धि या त्रुटि में वृद्धि दर्ज की जाती है। इस यादृच्छिक क्रमपरिवर्तन से उत्पन्न होने वाले परिवर्तन जिनके कारण गर्भपात या त्रुटि बढ़ जाती है, वे सबसे बड़े महत्व वाले होते हैं।

यदि हम प्रत्येक पेड़ के लिए यादृच्छिक उप-विधि विधि का उपयोग करते हैं, तो हम केवल सुविधाओं के पर विचार कर रहे हैं । यह कई पेड़ लेने के सभी पर विचार करने के कर सकते हैं एक बार भी भविष्यवक्ताओं। दूसरी ओर, यदि हम एक अलग सबसेट पर विचार के सुविधाओं प्रत्येक नोड में , हम प्रत्येक सुविधा से अधिक बार कम पेड़ के बाद विचार करते हैं, हमें सुविधा महत्व का एक और अधिक मजबूत अनुमान देने होंगे।$m$$p$$p$$m_i$$p$

मैंने इस प्रकार दूर तक देखा है: अब तक, मैंने ब्रीमन के पेपर और हो के पेपर को पढ़ा है, और एक निश्चित उत्तर नहीं पाकर तरीकों की तुलना के लिए एक व्यापक ऑनलाइन खोज की है। ध्यान दें कि इससे पहले एक समान प्रश्न पूछा गया था। यह सवाल मेरी अटकलों / काम को संभव समाधान की दिशा में शामिल करके थोड़ा आगे बढ़ जाता है। मुझे किसी भी उत्तर, प्रासंगिक उद्धरण, या सिमुलेशन अध्ययन में दो दृष्टिकोणों की तुलना करने में दिलचस्पी होगी। यदि कोई भी आगामी नहीं है, तो मैं दो तरीकों की तुलना करके अपना खुद का सिमुलेशन चलाने की योजना बना रहा हूं।

Comments

मैं किसी भी संदर्भ का हवाला नहीं दूंगा, तो चलिए हम इसे एक टिप्पणी कहते हैं। यदि आप यह समझने की कोशिश कर रहे हैं कि चर क्या उपयोगी हैं, तो यह मामला हो सकता है कि एक विशिष्ट चर महत्वपूर्ण है, लेकिन केवल डेटा के एक छोटे से टुकड़े पर। आप इसे नोड स्तर पर चर के साथ खोज सकते हैं। आप पेड़ के स्तर पर बैगिंग के साथ कभी भी इसकी खोज नहीं करेंगे।

— meh

मुझे यकीन है कि ब्रेमेन ने अपने (imho) सेमिनल पेपर में 'सांख्यिकी- द टू कल्चर' से संबंधित एक टिप्पणी की है। उनका कहना यह है कि कभी-कभी एक चर का महत्व दूसरे चर से होता है। नोड स्तर पर बैज लगाने से व्यक्ति चर के लिए क्या और कब देख सकता है।

— meh

टिप्पणियों के लिए धन्यवाद। दक्षता के बारे में मेरे विचार पर वापस जाना: मान लीजिए कि एक जोड़ी चर संबंधित थे और जैसा कि आपने कहा, एक "नकाबपोश" का महत्व दूसरे का महत्व। यदि हमने पर्याप्त पेड़ों के साथ एक आरएफ भविष्यवक्ता का निर्माण किया और वृक्ष-स्तरीय सुविधा का उपयोग किया, तो क्या हमारे पास अंततः "नकाबपोश" सुविधा के बिना और "मास्किंग" सुविधा के बिना पूर्व के महत्व पर प्राप्त करने के लिए पर्याप्त पेड़ नहीं होंगे? बाद वाला? मुझे लगता है कि हम कम से कम एक ही विचार के बारे में बात कर रहे हैं। धन्यवाद!

— djlid

आप कर सकते हैं, लेकिन विचार करें कि आपको कितने और पेड़ बनाने होंगे! यह भी स्पष्ट नहीं है। चर ए विभाजन का कारण हो सकता है कि उनमें से कोई भी चर बी चमक जाएगा। यह नोड स्तर पर नमूने के लिए स्पष्ट रूप से आंतरिक रूप से अधिक मजबूत है। मेरे लिए, यह मूल रूप से संबंधित है कि बूटस्ट्रैपिंग क्या होना चाहिए।

— मेहर

Answer 1

मान लें कि हमारे पास 10 सुविधाएँ f1, f2, ..., f9, f10 हैं, तो जब हम पेड़ के स्तर पर सुविधाओं के f1, f3, f4, f8 को मानने के लिए एक उपसमूह लेते हैं, तो हम इन 4 विशेषताओं को लेते हुए पूरे वृक्ष का निर्माण करते हैं। ध्यान में।

हम एन्ट्रापी की गणना करते हैं, प्रत्येक नोड पर केवल इन 4 विशेषताओं की तुलना करते हैं और उस सुविधा को लेते हैं जो अधिकतम एन्ट्रॉपी प्राप्त करता है। यह ज्यादा उपयोग नहीं है क्योंकि हम अपने पेड़ सीखने को केवल उन 4 सुविधाओं तक सीमित कर रहे हैं। इसके विपरीत, जब हम सुविधाओं के कुछ सबसेट लेते हैं तो पहले नोड पर f1, f8, f9 कहते हैं, हम एन्ट्रापी की गणना करते हैं और इन 3 विशेषताओं में से उनकी तुलना करते हैं और अधिकतम मूल्य देने वाले को चुना। उसी विशेषताओं के साथ पेड़ को आगे बढ़ने के बजाय, हमने सुविधाओं का एक और सबसेट चुना, आइए कहते हैं कि f4, f7, f2 और इन सुविधाओं के आधार पर विभाजन करें। मान लीजिए कि f8 को पहले नोड में चुना गया था और f2 को दूसरे नोड पर चुना गया था। मॉडल इन दोनों के बीच के रिश्ते को जानने में सक्षम है, जो '

इस तरह, मॉडल विभिन्न विशेषताओं के बीच के संबंधों को अधिक विविध तरीके से सीख सकता है। इस दृष्टिकोण में एक ही पेड़ में कई विशेषताओं का पता लगाया जाएगा और इस प्रकार उनके बीच संबंध संरक्षित हैं। आशा है कि अब आप इसे प्राप्त कर लेंगे :)