निर्णय पेड़ अनिवार्य रूप से महंगे क्यों नहीं हैं?

Question

में आर में आवेदन के साथ सांख्यिकीय लर्निंग के लिए एक परिचय , लेखक लिखते हैं कि फिटिंग एक निर्णय वृक्ष बहुत तेजी से है, लेकिन यह मेरे लिए कोई मतलब नहीं है। एल्गोरिथ्म को हर सुविधा से गुजरना पड़ता है और इसे हर तरह से विभाजित करना होता है ताकि इष्टतम विभाजन का पता लगाया जा सके। टिप्पणियों के साथ संख्यात्मक सुविधाओं के लिए , यह प्रत्येक सुविधा के लिए n विभाजन में परिणाम कर सकता है ।$n$$n$

क्या मुझे गलतफहमी है कि बाइनरी विभाजन कैसे काम करता है? या फिर कोई कारण है कि इस एल्गोरिथ्म में लंबा समय नहीं लगेगा?

Comments

प्रश्न के लिए +1। आप इस व्याख्यान नोट की जांच शुरू कर सकते हैं , पृष्ठ 15, O ( N 2 ) एल्गोरिदम के बजाय उपयोग कर सकते हैं । $O(N)$$O(N^2)$

— हाइताओ डू

Answer 1

निर्णय पेड़ एल्गोरिदम सभी संभावित पेड़ों की गणना नहीं करते हैं जब वे एक पेड़ फिट होते हैं। अगर उन्होंने किया तो वे एक एनपी-हार्ड को हल करेंगेसंकट। निर्णय वृक्ष फिटिंग एल्गोरिदम आमतौर पर फिटिंग प्रक्रिया में लालची निर्णय लेते हैं - प्रत्येक चरण में वे दिए गए नोड में डेटा के साथ एक इष्टतम विभाजन खोजने के लिए उप-समस्या का अनुकूलन करते हैं और फिटिंग प्रक्रिया में आगे बढ़ते रहते हैं। इसके अलावा, जब आप निर्णय के पेड़ में गहराई से जाते हैं, तो आपके पास डेटा का एक छोटा समूह होता है, जिसने इसे दिए गए नोड में बना दिया है ताकि आप डेटा के एक छोटे से उप-भाग पर विभाजन नियम का अनुकूलन कर सकें। ये सभी विकल्प दिए गए नोड में डेटा के रैखिक स्कैन हैं। यह करने के लिए जटिल नहीं है, लेकिन कुछ हद तक महंगी हो सकती है यदि आपके पास बड़ी संख्या में अवलोकन या बड़ी संख्या में कोविरेट्स को विभाजित करने के लिए है। हालांकि, बहुत से काम अलग-अलग हो सकते हैं और अलग-अलग मशीनों से काम करने के लिए भेजे जाते हैं ताकि आपके कम्प्यूटेशनल आर्किटेक्चर को बनाने के तरीके तैयार हो सकें।

Comments

दूसरे शब्दों में, यह कमोबेश बाइनरी सर्च के बराबर है।

— रॉबर्ट हार्वे

$log_2(N)$

सहमत हैं, लेकिन सिद्धांत अभी भी है। (यही कारण है कि मैंने "कम या ज्यादा" शब्दों का इस्तेमाल किया है)

— रॉबर्ट हार्वे

Answer 2

निर्णय पेड़ों के निर्माण के लिए CART और C4.5 एल्गोरिदम के बीच कुछ अंतर हैं। उदाहरण के लिए, CART सुविधाओं को चुनने के लिए Gini Impurity का उपयोग करता है जबकि C.4.5 शैनन एंट्रोपी का उपयोग करता है। मुझे नहीं लगता कि उत्तर के लिए मतभेद प्रासंगिक हैं, इसलिए मैं उन लोगों के बीच अंतर नहीं करूंगा।

निर्णय के पेड़ जो आपको लगता है कि तेजी से होता है:

1. जैसा कि दूसरों ने कहा है, ये एल्गोरिदम 1-लुकहेड एल्गोरिदम हैं। वे स्थानीय अनुकूलन करते हैं। प्रत्येक शाखा में, वे उस नियम को चुनते हैं जो अधिकतम मीट्रिक का उपयोग करता है / कम से कम करता है जो वे (गिन्नी या एंट्रोपी) का उपयोग करते हैं। इसका मतलब है कि वे नियमों को याद कर सकते हैं जहां तार्किक ऑपरेटर का उपयोग andकरना बेहतर होगा। इसका मतलब है कि आपको फीचर इंजीनियरिंग करते समय बहुत सावधान / चतुर होना चाहिए। उदाहरण के लिए, मान लें कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि लोग कितना पीते हैं, आप इंजीनियर जैसी चीजों की सुविधा चाहते हैं new_feature = hour > 22 & hour < 4 & (friday_night | saturday_night)। निर्णय के पेड़ ऐसे नियमों को याद कर सकते हैं, या उन्हें जितना चाहिए उससे कम महत्व देना चाहिए।
2. $X_1 = \{3,1.5,2.5,2,1\}$X <= 1X <= 1.5X <= 2$X_1 = \{1,1.5,2,2.5,3\}$X <= 1X <= 1.5$\bar x$$v$$\bar x \leftarrow \frac{n\bar x+v}{n+1}$
3. निर्णय पेड़ों को समानांतर किया जा सकता है। प्रत्येक नोड दो शाखाओं से बना है जो स्वतंत्र हैं। इसलिए, प्रत्येक शाखा में, आपके पास वृक्ष निर्माण को समानांतर करने का अवसर है। इसके अलावा, सुविधा का चयन भी समानांतर किया जा सकता है। यह वही है जो xgboostइतनी तेजी से पैकेज बनाता है । क्रमिक बूस्टिंग अनुक्रमिक है और समानांतर नहीं किया जा सकता है, लेकिन पेड़ खुद कर सकते हैं।

Answer 3

बस उत्तर को समृद्ध करने के लिए,

पदानुक्रमित अक्ष-समानांतर निर्णय-पेड़ तेज़ हैं (CART, C4.5) लेकिन अन्य विकल्प भी हैं जैसे कि गैर-पदानुक्रमित निर्णय पेड़ या वे जो तिरछा विभाजन करते हैं जो नहीं हैं, हालांकि वे अधिक सटीक हो सकते हैं। यदि आप रुचि रखते हैं तो निम्नलिखित संदर्भों की जाँच करें (वे एक उत्कृष्ट चयन नहीं हैं)।

गैर hierarchic:

ग्रुबिंगर, टी।, ज़ीलिस, ए। और फ़िफ़्फ़र, के .-, 2014। इवेट्री: आरजेस्टैट.संरचना 61 (1), 1-29 में विश्व स्तर पर इष्टतम वर्गीकरण और प्रतिगमन पेड़ों का विकासवादी ज्ञान।

तिरछा विभाजन:

मूर्ति, एसके, कासिफ, एस और साल्जबर्ग, एस।, 1994। तिरछे निर्णय पेड़ों को शामिल करने के लिए एक प्रणाली। जे। आर्टिफ। Intell। रेस। 2 (1), 1-32। http://dx.doi.org/doi:10.1613/jair.63 । Cantú-Paz, E. और Kamath, C., 2003. विकासवादी एल्गोरिदम के साथ तिरछे निर्णय पेड़ों का संकेत। IEEE ट्रांस। Evol। कंप्यूटर। 7 (1), 54-68। http://dx.doi.org/10.1109/TEVC.2002.806857 । हीथ, डी।, कासिफ, एस। और साल्ज़बर्ग, एस।, 1993. तिरछे निर्णय पेड़ों की प्रेरण। जे। आर्टिफ। Intell। रेस। 2 (2), 1002-1007।

सौभाग्य!