निर्णय पेड़ों के अनुकूलन के लिए एल्गोरिदम

Question

पृष्ठभूमि

एक द्विआधारी निर्णय वृक्ष $T$ एक जड़ें पेड़ जहां प्रत्येक आंतरिक नोड (और रूट) एक सूचकांक द्वारा लेबल है $j \in \{1,..., n\}$ ऐसा है कि रूट से लीफ तक कोई भी पथ एक इंडेक्स को दोहराता नहीं है, लीफ़्स को में आउटपुट द्वारा लेबल किया जाता है $\{A,B\}$, और प्रत्येक किनारे को बाएं बच्चे के लिए $0$ और दाएं बच्चे के लिए लेबल दिया जाता है $1$। ट्री को इनपुट लागू करने के लिए $x$:

1. जड़ से शुरू करो
2. यदि आप पत्ती पर हैं, तो आप लीफ लेबल $A$ या उत्पादन करते हैं $B$और समाप्त करते हैं
3. अपने वर्तमान नोड का लेबल पढ़ें $j$, यदि $x_j = 0$ तो बाएं बच्चे के पास जाएं और यदि $x_j = 1$ तो दाएं बच्चे के पास जाएं।
4. चरण 2 पर जाएं (2)

पेड़, एक तरह से एक कार्यों का मूल्यांकन करने के रूप में प्रयोग किया जाता है विशेष रूप से हम कहते हैं एक पेड़ $T$ कुल समारोह का प्रतिनिधित्व करता है $f$ प्रत्येक के लिए करता है, तो $x \in \{0,1\}^n$ हमारे पास $T(x) = f(x)$ । एक पेड़ की क्वेरी जटिलता इसकी गहराई है, और एक फ़ंक्शन की क्वेरी जटिलता सबसे छोटे पेड़ की गहराई है जो इसे दर्शाती है।

---

मुसीबत

एक बाइनरी निर्णय ट्री टी आउटपुट को देखते हुए कम से कम गहराई पर एक बाइनरी निर्णय ट्री टी 'कि टी और टी' एक ही फ़ंक्शन का प्रतिनिधित्व करते हैं।

सवाल

इसके लिए सबसे अच्छा ज्ञात एल्गोरिथ्म क्या है? क्या कोई निचली सीमा ज्ञात है? क्या होगा यदि हम जानते हैं कि ? क्या होगा अगर हमें केवल टी ′ की आवश्यकता लगभग कम से कम गहराई की हो?$\text{depth}(T') = O(\log \text{depth}(T))$$T'$

---

भोला दृष्टिकोण

भोले दृष्टिकोण को दिया जाता है ताकि गहराई के सभी बाइनरी निर्णय पेड़ों की पुनरावृत्ति की जा सके। डी - 1 परीक्षण करते समय यदि वे टी के समान चीज का मूल्यांकन करते हैं । इसके लिए O ( d 2 n n) की आवश्यकता होती है $d = \text{depth}(T)$$d - 1$$T$कदम (यह सोचते हैं कि यह लेता हैघक्या जांच के लिए चरणटी(एक्स)के लिए मनमाने ढंग से करने के लिए मूल्यांकन करता है$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$ )। क्या एक बेहतर दृष्टिकोण है?

प्रेरणा

यह प्रश्न क्वेरी जटिलता और समय जटिलता के बीच व्यापार पर पिछले प्रश्न से प्रेरित है । विशेष रूप से, लक्ष्य कुल कार्यों के लिए समय पृथक्करण को बाध्य करना है। हम एक पेड़ बना सकते हैं एक समय इष्टतम एल्गोरिथ्म के साथ क्रम से टी , और फिर हम यह एक पेड़ में बदलने के लिए चाहते हैं टी ' एक प्रश्न इष्टतम एल्गोरिथ्म के लिए। दुर्भाग्य से, यदि टी ∈ हे ( n ! / ( एन - घ ) ! ) (और अक्सर घ ∈ Θ ( n $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$) अड़चन रूपांतरण है। यह अच्छा होगा यदि हम को प्रतिस्थापित कर सकते हैं ! / ( एन - डी ) ! 2 d जैसी किसी चीज़ से ।$n!/(n - d)!$$2^d$

Comments

इष्टतम निर्णय ट्री ढूँढना एनपी-पूर्ण है। मुझे सिखाया गया कि निर्णय सिद्धांत और डेटा खनन वर्गों में, हालांकि वे नोट्स पर आधारित थे और मुझे मूल पेपर के बारे में पता नहीं है जो परिणाम पेश करता है।

— चेज़िसॉप

@chazisop शांत, धन्यवाद। मेरे लिए यह स्पष्ट नहीं है कि इष्टतम निर्णय वृक्ष को खोजना एनपी में है, लेकिन मैं इसके बारे में सोचूंगा / इसके बारे में कुछ और खोज करूंगा। कभी-कभी प्रमेय कथन जानना आधा साबित करने के लिए है: डी।

— Artem Kaznatcheev

मुझे लगता है कि इसके लिए सबसे पहला संदर्भ है: लर्निंग सीमाएं लर्निंग डिसीजन लिस्ट और पेड़। (। Hancock एट अल 1994) cs.uwaterloo.ca/~mli/dl.ps

— लेव Reyzin

यह प्रमाण कि इष्टतम निर्णय वृक्ष को खोजने के लिए एक NP-पूर्ण समस्या है, लॉरेंट Hyafil और रोनाल्ड एल। रिवेस्ट द्वारा दिया गया था इष्टतम द्विआधारी निर्णय पेड़ों के निर्माण में NP-complete (1976) है। संदर्भ: यहाँ

— एंटोनी

Answer 1

मेरे पास 3 उत्तर हैं, सभी कुछ अलग कठोरता परिणाम देते हैं।

चलो कुछ समारोह हो।$f: \{0,1\}^n \rightarrow \{0,1\}$

उत्तर 1

एक निर्णय पेड़ को देखते हुए कंप्यूटिंग च और एक नंबर है, यह अगर वहाँ एक निर्णय वृक्ष मौजूद है बताने के लिए एनपी कठिन है टी ' कंप्यूटिंग च आकार की ज्यादा से ज्यादा उस नंबर। $T$$f$$T'$$f$( ज़ांटेमा और बोडलेंडर '00 )

उत्तर २

एक निर्णय ट्री कंप्यूटिंग f को देखते हुए , किसी भी स्थिर कारक के लिए सबसे छोटे निर्णय वृक्ष कंप्यूटिंग f को अनुमानित करना एनपी कठिन है । $T$$f$$f$( सिलिंग ’08 )

उत्तर ३

चलो छोटी से छोटी निर्णय वृक्ष कंप्यूटिंग के आकार के होने च । एक निर्णय पेड़ को देखते हुए टी कंप्यूटिंग च , यह मानते हुए एन पी ⊊ डी टी मैं एम ई ( 2 n ε ) कुछ के लिए ε < 1 , एक एक बराबर निर्णय वृक्ष नहीं मिल सकता है टी ' आकार की रों कश्मीर से किसी के लिए कश्मीर ≥ 0 ।$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

मुझे लगता है कि यह मजबूत जवाब (कमजोर धारणा पर निर्भर) निर्णय के पेड़ के लिए ओक्जाम एल्गोरिदम के सीखने के सिद्धांत में ज्ञात परिणामों से निम्न तर्क के माध्यम से किया जा सकता है:

1. उस पर एक निर्णय वृक्ष लगाने के लिए संभव है समय में चर n लॉग रों है, जहां रों छोटी से छोटी निर्णय वृक्ष एक वितरण (पीएसी मॉडल) से आ रही उदाहरण के अनुरूप है। ( ब्लम '92 ) $n$$n^{\log s}$$s$
2. मान लिया जाये कि कुछ के लिए ε < 1 , हम नहीं पीएसी आकार सीख सकते हैं रों निर्णय वृक्ष आकार से रों कश्मीर से किसी के लिए निर्णय वृक्ष कश्मीर ≥ 0 । ( अलेख्नोविच एट अल। '07 )$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

ये दो परिणाम आपकी समस्या के लिए एक कठोरता परिणाम का संकेत देते हैं। एक तरफ (1), हम एक बड़ा निर्णय पेड़ पा सकते हैं; दूसरी ओर (2) पर, हम आकार के, एक बराबर "छोटे" एक पाने के लिए उसे कम से कम करने के लिए सक्षम नहीं होना चाहिए , भले ही किसी आकार के मौजूद रों ।$s^k$$s$

Comments

(मुझे इस उत्तर से आपका उत्तर मिल गया, जो एक घंटे से भी कम समय पहले पोस्ट किया गया था।)$\:$ऐसा लगता है कि "लगता है " "सकारात्मक साथ बदला जा सकता ε , के बाद से कम हो रही ε रोकथाम का दाहिना हाथ साइड बनाता है छोटे ।$\epsilon < 1$$\epsilon$$\epsilon$$\:$ इसके अलावा, उस कागज में कहाँ 2. दिखाया गया है? $\;\;\;\;$

: यहाँ सार में देखें बुलेट बिंदु # 2 researcher.watson.ibm.com/researcher/files/us-vitaly/...

— लेव Reyzin

(रिकी डेमर के रूप में एक ही जवाब से आ रहा है) क्या आप थोड़ा और अधिक विस्तार कर सकते हैं कि आपको अंक 1 और 2. से "उत्तर 3" कैसे मिलता है? मैं सीखने के सिद्धांत से बहुत परिचित नहीं हूं और भागों को जोड़ने का कठिन समय है ...

— मार्क

यह निरंतरता समस्या और सीखने की क्षमता ओकाम के रेजर के माध्यम से निकटता से संबंधित है। विचार यह है कि यदि आप एक छोटे से सेट से एक सुसंगत फ़ंक्शन पा सकते हैं, तो आप पीएसी सीखने में सफल हो सकते हैं। इसलिए सीखने के परिणाम की एक कठोरता का अर्थ है "स्थिरता की कठोरता" परिणाम। मुझे यकीन है कि कितना अधिक मैं एक टिप्पणी में व्याख्या कर सकते हैं ... नहीं कर रहा हूँ

— लेव Reyzin

जहाँ तक मैं इसे समझता हूँ, एल्गोरिथ्म 1 के लिए विकसित किया गया है। समय में नहीं चलता है , जो 2 के साथ विरोधाभास प्राप्त करने के लिए आवश्यक होगा। 2. (लेख में सटीक परिणाम अगर मुझे सही ढंग से मिला है का कहना है कि निर्णय पेड़ों के लिए कोई बहुपत्नी शिक्षण एल्गोरिथ्म नहीं है)। तो आपके तर्क में कोई समस्या हो सकती है। $Poly(n,s)$

— मार्क