रैंडम फॉरेस्ट ट्यूनिंग पर व्यावहारिक प्रश्न

Question

मेरे सवाल रैंडम वन के बारे में हैं। इस खूबसूरत क्लासिफायर की अवधारणा मेरे लिए स्पष्ट है, लेकिन अभी भी बहुत सारे व्यावहारिक उपयोग प्रश्न हैं। दुर्भाग्य से, मैं आरएफ के लिए किसी भी व्यावहारिक गाइड को खोजने में विफल रहा (मैं जियोफ्री हिंटन द्वारा "ए प्रैक्टिकल गाइड फॉर ट्रेनिंग रिस्ट्रिक्टेड बोल्ट्जमैन मशीन" की तरह कुछ खोज रहा हूं, लेकिन रैंडम फॉरेस्ट के लिए!

व्यवहार में आरएफ कैसे धुन सकता है?

क्या यह सच है कि पेड़ों की बड़ी संख्या हमेशा बेहतर होती है? क्या पेड़ों की बढ़ती संख्या पर कोई उचित सीमा (कोर्स की क्षमता के अलावा) है और दिए गए डेटासेट के लिए इसका अनुमान कैसे लगाया जाए?

पेड़ों की गहराई के बारे में क्या? उचित एक का चयन कैसे करें? क्या एक जंगल में विभिन्न लंबाई के पेड़ों के साथ प्रयोग करने में कोई समझदारी है और उसके लिए क्या मार्गदर्शन है?

क्या आरएफ को प्रशिक्षण देते समय देखने के लिए कोई अन्य पैरामीटर हैं? व्यक्तिगत पेड़ों के निर्माण के लिए Algos हो सकता है?

जब वे कहते हैं कि आरएफ ओवरफिटिंग के लिए प्रतिरोधी हैं, तो यह कितना सच है?

मैं किसी भी उत्तर और / या गाइड या लेख के लिंक की सराहना करूँगा जो मैंने अपनी खोज के दौरान याद किया होगा।

Comments

Perfoamnce-tuning के लिए, SO

— smci

Answer 1

मैं एक आधिकारिक व्यक्ति नहीं हूं, इसलिए इन संक्षिप्त अभ्यासकों पर ध्यान दें:

कम रिटर्न के साथ अधिक पेड़ हमेशा बेहतर होते हैं। समान प्रदर्शन के लिए अधिक पेड़ों की आवश्यकता के लिए गहरे पेड़ लगभग हमेशा बेहतर होते हैं।

उपरोक्त दो बिंदु सीधे पक्षपात-विचरण व्यापार का परिणाम हैं। गहरा पेड़ पूर्वाग्रह को कम करता है; अधिक पेड़ विचरण को कम करते हैं।

सबसे महत्वपूर्ण हाइपर-पैरामीटर है कि प्रत्येक विभाजन के लिए परीक्षण करने के लिए कितनी विशेषताएं हैं। जितनी बेकार सुविधाएँ हैं, उतनी ही अधिक सुविधाएँ आपको कोशिश करनी चाहिए। इसकी जरूरत है। यदि आप सिर्फ अपने प्रशिक्षण डेटा पर अपने प्रदर्शन को जानना चाहते हैं और कोई ट्विनिंग नहीं है (~ दोहराया)। भले ही यह सबसे महत्वपूर्ण पैरामीटर है, यह इष्टतम है फिर भी आमतौर पर मूल सुझाव चूक (वर्गीकरण / प्रतिगमन के लिए sqrt (p) या (p / 3) के काफी करीब है)।

अच्छी तरह से हालिया शोध से पता चलता है कि अच्छा प्रदर्शन पाने के लिए आपको किसी फीचर के अंदर विस्तृत विभाजन खोजों को करने की आवश्यकता नहीं है। बस प्रत्येक चयनित सुविधा के लिए कुछ कट पॉइंट्स आज़माएं और आगे बढ़ें। इससे ट्रेनिंग और भी तेज हो जाती है। (~ अत्यंत यादृच्छिक वन / पेड़)।

Comments

कुछ अन्य नोट्स: व्यवहार में मैं आमतौर पर पेड़ों के एक आधे हिस्से से भविष्यवाणियों की तुलना करके अभिसरण की पुष्टि करता हूं। जहां तक ​​ओवरफिटिंग की बात है, तो यह एक ऐसा कार्य है जिसे आप सामान्य करने की कोशिश कर रहे हैं। यदि आप एक प्रतिनिधि नमूने पर प्रशिक्षण ले रहे हैं, तो वे ओवरफिट नहीं जा रहे हैं, लेकिन यह शायद ही कभी होता है कि यह वास्तव में कैसे काम करता है।

— शिया पार्क्स

क्या आपके 'गहरे पेड़ = बेहतर, बाकी सभी निरंतर' निर्भरता संरचनाओं के साथ अत्यधिक शोर डेटा के लिए सही हैं, जो समय के साथ बदलते हैं, जिसमें रैखिक संबंध प्रशिक्षण सेट और परीक्षण सेट के बीच नहीं बदलने के लिए सबसे मजबूत हैं?

— जस

मैं उथले पेड़ों के लिए बेहतर देख सकता हूं यदि आपके पास ऐसी स्थिति है जहां आपको केवल उथले रिश्तों को सीखना चाहिए, लेकिन मैं वास्तव में इसे साबित करने के लिए अनुभवजन्य साक्ष्य का उपयोग करना चाहता हूं (और उस पर काम करने का समय नहीं है)। यदि आप मानते हैं या इस बात का प्रमाण है कि रैखिक संबंध सबसे अधिक लचीला हैं, तो मैं दृढ़ता से कुछ विचार करूंगा जो वृक्ष-आधारित नहीं हैं। शायद तंत्रिका परतों को छोड़ दें?

— शिया पार्क्स

अच्छी तरह से कहने दें कि आपके पास 3 प्रासंगिक सुविधाएँ और 100 सुविधाएँ हैं जो सफेद शोर वाली हैं, और 50 डेटा पॉइंट हैं। लेकिन आप यह नहीं जानते कि सफेद शोर कौन से हैं और जो समय से पहले प्रासंगिक हैं, आप बस यह जानते हैं कि आपका डेटा इतना शोर है कि यह मामला है। बड़े पैमाने पर स्पष्ट रूप से बेहद उथले पेड़ mtryबेहतर हैं, इसे देखने के लिए किसी प्रमाण या अनुभवजन्य साक्ष्य की आवश्यकता नहीं है।

— जस

Answer 2

• पेड़ों की संख्या : बड़ा बेहतर: हाँ। अपने जंगल का निर्माण करते समय अपनी त्रुटि दर की निगरानी करने और रोकने के लिए (या किसी भी अन्य मूल्यांकन मानदंड का उपयोग कर सकते हैं) का मूल्यांकन करने और पता करने का एक तरीका यह है कि जब यह परिवर्तित हो जाए। आप ऐसा कर सकते हैं कि सीखने के सेट पर या, यदि उपलब्ध हो, एक स्वतंत्र परीक्षण सेट पर। इसके अलावा, यह ध्यान रखना होगा कि आपके पेड़ों में परीक्षण नोड्स की संख्या वस्तुओं की संख्या से ऊपरी रूप से बंधी हुई है, इसलिए यदि आपके पास बहुत सारे चर हैं और इतने सारे प्रशिक्षण ऑब्जेक्ट नहीं हैं, तो बड़े जंगल को बढ़ाने के लिए अत्यधिक अनुशंसा की जाएगी। आपके जंगल में कम से कम एक बार सभी डिस्क्रिप्टर का मूल्यांकन करने की संभावना।

• पेड़ की गहराई : आपके पेड़ कितने गहरे हैं, इसे नियंत्रित करने के कई तरीके हैं (अधिकतम गहराई को सीमित करें, नोड्स की संख्या को सीमित करें, विभाजित होने के लिए आवश्यक वस्तुओं की संख्या को सीमित करें, विभाजन को रोकें अगर विभाजन पर्याप्त रूप से फिट में सुधार नहीं करता है, ... )। यदि आप शोर डेटा के साथ काम कर रहे हैं, तो ज्यादातर समय, पेड़ों को चुभाने (गहराई को सीमित करने) की सिफारिश की जाती है। अंत में, आप अपने पूर्ण विकसित पेड़ों का उपयोग छोटे पेड़ों के प्रदर्शन की गणना करने के लिए कर सकते हैं क्योंकि ये पूरी तरह से विकसित लोगों के "सबसेट" हैं।

• प्रत्येक नोड पर परीक्षण करने के लिए कितनी विशेषताएं हैं : अपने अनुभवों को व्यापक श्रेणी के मानों (अनुशंसित लोगों सहित) के साथ क्रॉस-मान्य करें, आपको एक प्रदर्शन वक्र प्राप्त करना चाहिए और अधिकतम पैरामीटर की पहचान करने में सक्षम होना चाहिए जो इस पैरामीटर के लिए सबसे अच्छा मूल्य है + शिया पार्क्स का जवाब।

• शीया पार्क्स ने एक्स्ट्रा-ट्रीज़ का उल्लेख किया, यहाँ मूल विवरण विधि का वर्णन है: http://orbi.ulg.ac.be/bitstream/2268/9357/1/geurts-mlj-advance.pdf