क्या ब्रेमेन का यादृच्छिक वन सूचना लाभ या गिन्नी इंडेक्स का उपयोग करता है?

Question

मैं जानना चाहूंगा कि क्या ब्रिमन का रैंडम फॉरेस्ट (R randomForest package में रैंडम फॉरेस्ट) एक स्प्लिटिंग मानदंड (विशेषता चयन के लिए मानदंड) सूचना लाभ या गिन्नी इंडेक्स के रूप में उपयोग करता है? मैंने इसे http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm और R में यादृच्छिकतम पैकेज के लिए दस्तावेज़ीकरण में खोजने की कोशिश की । लेकिन केवल एक चीज जो मुझे मिली, वह यह है कि क्यूई इंडेक्स का उपयोग किया जा सकता है चर महत्व कंप्यूटिंग।

Comments

मुझे यह भी आश्चर्य है कि क्या यादृच्छिक वन में यादृच्छिक वन के पेड़ बाइनरी हैं या नहीं।

— किसी को 16

Answer 1

R. A. Liaw द्वारा R में रैंडम फ़ॉरेस्ट पैकेज मूल कोड का एक पोर्ट है जो कुछ शेष फोरट्रान कोड और R आवरण कोड के सी-कोड (अनुवादित) का मिश्रण है। ब्रेक पॉइंट के पार और mtry वैरिएबल्स में ओवरऑल बेस्ट स्प्लिट तय करने के लिए, कोड gini-gain के समान स्कोरिंग फ़ंक्शन का उपयोग करता है:

$GiniGain(N,X)=Gini(N)-\frac{\lvert N_{1} \rvert }{\lvert N \rvert }Gini(N_{1})-\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2})$

$X$$N$$N_{1}$$N_{2}$$N$$\lvert . \rvert$

$Gini(N)=1-\sum_{k=1}^{K}p_{k}^2$$K$

$Gini(N)$

$\frac{\lvert N_{2} \rvert }{\lvert N \rvert }Gini(N_{2}) \propto |N_2| Gini(N_{2}) = |N_2| (1-\sum_{k=1}^{K}p_{k}^2 ) = |N_2| \sum \frac{nclass_{2,k}^2}{|N_2|^2}$

$nclass_{1,k}$$|N_2|$

$1-$

$|N_1| \sum_{k=1}^{K}p_{1,k}^2 + |N_2| \sum_{k=1}^{K}p_{2,k}^2 = |N_1|\sum_{k=1}^{K}\frac{nclass_{1,k}^2}{|N_1|^2} + |N_2|\sum_{k=1}^{K}\frac{nclass_{2,k}^2}{|N_2|^2}$ $= \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-1} + \sum_{k=1}^{K}\frac{nclass_{2,k}^2}{1} |N_1|^{-2}$ $= nominator_1/denominator_1 + nominator_2/denominator_2$

The implementation also allows for classwise up/down weighting of samples. Also very important when the implementation update this modified gini-gain, moving a single sample from one node to the other is very efficient. The sample can be substracted from nominators/denominators of one node and added to the others. I wrote a prototype-RF some months ago, ignorantly recomputing from scratch gini-gain for every break-point and that was slower :)

If several splits scores are best, a random winner is picked.

This answer was based on inspecting source file "randomForest.x.x.tar.gz/src/classTree.c" line 209-250