सबसे खराब सवाल एक मोनोटोनिक सीखने की जरूरत है जो एक स्थिति पर निर्भर करता है

15

विचार करें आइटम्स पर एक परिमित स्थिति , और एक अज्ञात मोनोटोनिक (यानी, किसी भी , , यदि और पर ) से अधिक है । मैं एक नोड प्रदान करके मूल्यांकन कर सकता हूं और पता लगा सकता हूं कि धारण करता है या नहीं। मेरा लक्ष्य बिल्कुल के सेट निर्धारित करने के लिए है नोड्स ऐसी है कि रखती है, के कुछ मूल्यांकन के रूप में उपयोग करते हुए $(X, \leq)$ $n$ $P$ $X$ $x$ $y \in X$ $P(x)$ $x \leq y$ $P(y)$ $P$ $x \in X$ $P(x)$ $x \in X$ $P(x)$ $P$ यथासंभव। (मैं पिछले सभी प्रश्नों के उत्तर के आधार पर अपने प्रश्नों को चुन सकता हूं, मुझे पहले से सभी प्रश्नों की योजना बनाने की आवश्यकता नहीं है।)

एक रणनीति ओवर एक फ़ंक्शन है जो मुझे बताता है, प्रश्नों के एक फ़ंक्शन के रूप में जो मैंने अभी तक चलाया और उनके उत्तर, जो नोड को क्वेरी करते हैं, और जो यह सुनिश्चित करता है कि रणनीति का पालन करके किसी भी विधेय पर। , मैं एक स्थिति में पहुंच जाऊंगा जिसमें मुझे सभी नोड्स पर का मूल्य पता है । चलने का समय के एक विधेय पर प्रश्नों की संख्या के मान की जानकारी आवश्यक है सभी नोड्स पर। का सबसे खराब चलने वाला समय । एक इष्टतम रणनीति ऐसी है जो । $S$ $(X, \leq)$ $P$ $P$ $r(S, P)$ $S$ $P$ $P$ $S$ $wr(S) = \max_P r(S, P)$ $S'$ $wr(S') = \min_S wr(S)$

मेरा प्रश्न निम्नलिखित है: इनपुट के रूप में दिए गए पॉसेट $(X, \leq)$ , मैं इष्टतम रणनीतियों के सबसे खराब समय को कैसे निर्धारित कर सकता हूं?

[यह स्पष्ट है कि खाली स्थिति के लिए $n$ प्रश्नों की आवश्यकता होगी (हमें प्रत्येक एकल नोड के बारे में पूछना होगा), और यह कि कुल आदेश के लिए $\lceil \log_2 n \rceil$ प्रश्नों की आवश्यकता होगी (खोजने के लिए एक बाइनरी खोज करना) सीमांत)। एक अधिक सामान्य परिणाम निम्न सूचना-सिद्धांत संबंधी निम्न बाध्य है: विधेय लिए संभावित विकल्पों $P$ की संख्या $N_X$ की संख्या है (क्योंकि मोनोटोनिक विधेय के लिए एक-से-एक मानचित्रण है और एंटिचाइन्स के अधिकतम तत्वों के रूप में व्याख्या की गई ), इसलिए, चूंकि प्रत्येक प्रश्न हमें एक जानकारी देता है, हमें कम से कम $(X, \leq)$ $P$ $\lceil \log_2 N_X \rceil$ पिछले दो मामलों को निर्वाह करते हुए प्रश्न। क्या यह बाध्य है, या क्या वे कुछ ऐसे पाकेट हैं जिनकी संरचना ऐसी है कि सीखने के लिए एंटीमैथिन की संख्या की तुलना में विषमता से अधिक प्रश्नों की आवश्यकता हो सकती है?]

— a3nm
स्रोत

2

यह इस विषय पर आपके पिछले प्रश्न से कैसे भिन्न है? cstheory.stackexchange.com/questions/14772/…

— सुरेश वेंकट

1

सहमत, यह समान है, लेकिन मुझे यहां सामान्य पोजेट्स के बारे में दिलचस्पी है, जिसमें छोटी चौड़ाई के पोजेट भी शामिल हैं, जो पूरी जाली की तरह नहीं दिखते हैं। इसके अलावा, मैं वृद्धिशील जटिलता या इस तरह की किसी भी चीज़ के बारे में परवाह नहीं करता हूं, बस पोस की पसंद के फ़ंक्शन के रूप में आवश्यक प्रश्नों की संख्या पर। इस सेटिंग में बूलियन फ़ंक्शन की व्याख्या लागू नहीं होती है और यह वास्तव में ऐसा लगता है जैसे उत्तर किसी तरह से पॉसेट की "संरचना" पर निर्भर करता है (शायद एंटीथिन की संख्या, जैसा कि मैंने सुझाव दिया था)। उम्मीद है कि यह एक अलग सवाल है, कृपया बंद करें अगर मैं गलत था।

— a3nm

1

FYI करें, जटिलता साहित्य में, जैसा कि आपने उन्हें परिभाषित किया है, रणनीतियों को आम तौर पर "निर्णय पेड़" कहा जाता है, और उनके पास ऊँचाई की एक मानक धारणा है (आप जिस चीज में रुचि रखते हैं) और आकार।

— जोशुआ ग्रोको

धन्यवाद, यहोशू! मैं कमोबेश इस बात से अवगत हूं, मुझे लगा कि गेम थ्योरी से शब्दावली का उपयोग करना सरल है, लेकिन हां, मैं जानता हूं कि रणनीति को एक पेड़ के रूप में देखा जा सकता है।

— a3nm

1

(कोई समस्या नहीं। वैसे, मैं केवल यह संकेत नहीं दे रहा था कि इसे एक पेड़ के रूप में देखा जा सकता है। आपने जिस तरह से इसका वर्णन किया है वह वास्तव में बहुत सीधा और स्पष्ट है, लेकिन मैं आपको कला का एक शब्द / शब्द प्रदान कर रहा था जो आप कर सकते हैं। एक शब्द के अलावा खोज करने में सक्षम हो, जो संभवतः इस साइट पर लगातार आने वाले कई लोगों से परिचित है। चीयर्स!)

— जोशुआ ग्रोचो

7

यह एक पूर्ण उत्तर नहीं है, लेकिन यह एक टिप्पणी होने के लिए बहुत लंबा है।

मुझे लगता है कि मैं एक उदाहरण है, जिसके लिए बाध्य पाया तंग नहीं है। $\lceil \log_2 N_X \rceil$

निम्नलिखित स्थिति पर विचार करें। जमीन सेट है , और तुलना में छोटी है सब के लिए । अन्य जोड़े अतुलनीय हैं। (हैस आरेख एक चक्र है)। $X=\{a_1, a_2, b_1, b_2\}$ $a_i$ $b_j$ $i,j\in\{1,2\}$ $4$

मुझे पोस के अपसेट के साथ मोनोटोन गुणों की पहचान करने दें। : इस poset सात गड़बड़ियों है , , , , , , $\emptyset$ $\{b_1\}$ $\{b_2\}$ $\{b_1,b_2\}$ $\{a_1,b_1,b_2\}$ $\{a_2,b_1,b_2\}$ , और इस पोसिट में सात एंटिचाइन्स हैं क्योंकि एंटीसाइन्स अपसेट के साथ एक-से-एक पत्राचार में हैं। तो, इस poset के लिए। $\{a_1,a_2,b_1,b_2\}$ $\lceil \log_2 N_X \rceil=\lceil \log_2 7 \rceil = 3$

अब, प्रतिकूल तर्क द्वारा मैं दिखाऊंगा कि किसी भी रणनीति के लिए कम से कम चार प्रश्नों की आवश्यकता होती है (इसलिए सभी तत्वों को क्वेरी करने की आवश्यकता होती है)। एक मनमानी रणनीति तय करते हैं।

रणनीति पहले प्रश्नों तो है, तो विरोधी जवाब " नहीं रखता है।" फिर, हम पाँच संभावनाओं से बचे हैं: , , , , । इस प्रकार, यह निर्धारित करने के मामले में होता है, हम कम से कम जरूरत $a_1$ $P(a_1)$ $\emptyset$ $\{b_1\}$ $\{b_2\}$ $\{b_1,b_2\}$ $\{a_2,b_1,b_2\}$ $\lceil \log_2 5\rceil = 3$ अधिक पूछताछ। कुल मिलाकर, हमें चार प्रश्नों की आवश्यकता है। एक ही तर्क लागू होता है अगर पहली क्वेरी है । $a_2$

यदि रणनीति पहले सवाल करती है , तो प्रतिकूल जवाब " रखती है।" : तो फिर, हम पांच संभावनाओं के साथ छोड़ दिया जाता है , , , , $b_1$ $P(b_1)$ $\{b_1\}$ $\{b_1,b_2\}$ $\{a_1,b_1,b_2\}$ $\{a_2,b_1,b_2\}$ । इसलिए, हमें पहले की तरह कम से कम तीन और प्रश्नों की आवश्यकता है। कुल मिलाकर, हमें चार प्रश्नों की आवश्यकता है। पहली क्वेरी होने पर एक ही तर्क लागू होता है। $\{a_1,a_2,b_1,b_2\}$ $b_2$

हम लेते हैं इस poset के समानांतर प्रतियां, तो यह है antichains, और इस तरह बाध्य प्रस्ताव है । लेकिन, चूंकि प्रत्येक प्रतियों में चार प्रश्नों की आवश्यकता होती है, इसलिए हमें कम से कम प्रश्नों की आवश्यकता होती है। $k$ $7^k$ $\lceil \log_2 7^k \rceil = 3k$ $4k$

संभवतः, बड़े अंतर के साथ एक बड़ा पोजेट है। लेकिन यह तर्क केवल गुणांक में सुधार कर सकता है।

यहाँ, समस्या एक ऐसी स्थिति है जहाँ कोई क्वेरी समान रूप से खोज स्थान को विभाजित नहीं करती है। ऐसे मामले में, प्रतिकूल बड़ा आधा रहने के लिए मजबूर कर सकता है।

— योशियो ओकामोटो
स्रोत

1

आह, दिलचस्प है।

अपने उदाहरण को सामान्य करना

, यह है कि अगर जवाब है स्पष्ट है

और

तो हम यह निश्चित रूप से पता नहीं होगा जब तक सभी

नोड्स पूछे जाते हैं। हालांकि,

X = {a_{1}, . . ., a_{n}, b_{1}, . . ., b_{n}}

$X = \{a_1, ..., a_n, b_1, ..., b_n\}$

\forall i, \neg P (a_{i})

$\forall i, \neg P(a_i)$

\forall i, P (b_{i})

$\forall i, P(b_i)$

2 n

$2n$

antichains (

गैर खाली के सबसेट

के, के लिए इडेम

की, और खाली सेट), इसलिए बाध्य 2. इस उदाहरण के लिए धन्यवाद एक पहलू से तंग नहीं है। हालांकि, मैं वास्तव में यह नहीं देखता कि कैसे / यदि अंतर एक गुणक कारक से अधिक हो सकता है, या यदि एक गैर-तुच्छ ऊपरी सीमा पाई जा सकती है, तो सटीक उत्तर के लिए अकेले एक एल्गोरिदम दें।

2^{n + 1} - 1

$2^{n+1} - 1$

2^{n} - 1

$2^n-1$

a_{i}

$a_i$

b_{i}

$b_i$

— a3nm

7

अपने पेपर में हर पोज़िट में एक सेंट्रल एलिमेंट , लिनियल और सक्स शो (प्रमेय 1) है कि एक पोसेट में आदर्श पहचान समस्या को हल करने के लिए आवश्यक प्रश्नों की संख्या सबसे अधिक , जहां और के आदर्शों की संख्या है । जिसे वे "आदर्श" कहते हैं वह वास्तव में एक है $X$ $K_0 \log_2 i(X)$ $K_0 = 1/(2 - \log_2(1 + \log_2 5))$ $i(X)$ $X$ कम सेट हैऔर मोनोटोनिक विधेयकों और उन बिंदुओं के निचले सेट के बीच एक स्पष्ट एक से एक पत्राचार है, जिस पर उनकी पकड़ नहीं है, इसके अलावा उनकी "पहचान की समस्या" मेरी सेटिंग में जैसे नोड्स को क्वेरी करके पहचानना है, इसलिए मुझे लगता है कि वे हैं उस समस्या से निपटना, जिसमें मुझे दिलचस्पी है और । $i(X) = N_X$

इसलिए, उनके परिणाम के अनुसार, सूचना-सिद्धांत की निचली सीमा एक अपेक्षाकृत छोटे गुणक निरंतर तक तंग है। तो यह मूल रूप से एक फ़ंक्शन के रूप में आवश्यक प्रश्नों की संख्या और एक गुणक स्थिरांक तक के सवाल को सुलझाता है: यह और । $N_X$ $\log_2 N_X$ $K_0 \log_2 N_X$

Linial और साक्स शीरर द्वारा एक निजी संचार बोली कहना है कि वहाँ आदेश जिसके लिए हम साबित कर सकते हैं एक के लिए बाध्य निचले जाना जाता है कुछ के लिए जो सिर्फ थोड़ा से भी कम है (यह की भावना में है योशियो ओकामोटो का जवाब जिसने छोटे मूल्य के लिए इस दृष्टिकोण की कोशिश की )। $K_1 \log_2 N_X$ $K_1$ $K_0$ $K_1$

यह पूरी तरह से कुछ भी नहीं करना प्रश्नों की संख्या की गणना के मेरे सवाल का जवाब नहीं है , तथापि, के बाद से कंप्यूटिंग से # पी पूरा हो गया है , मुझे लगता है कि वहाँ कोई उम्मीद नहीं है। (इस बिंदु के बारे में टिप्पणियाँ स्वागत योग्य हैं।) फिर भी, लिनियल और सैक्स द्वारा यह परिणाम ज्ञानवर्धक है। $X$ $N_X$ $X$

— a3nm
स्रोत

5

For the Boolean n-cube $(\{0, 1\}^n, \leq)$ (or, equivalently, for the poset $(2^S, \subseteq)$ of all subsets of an n-element set), the answer is given by Korobkov and Hansel's theorems (from 1963 and 1966, respectively). Hansel's theorem [1] states that an unknown monotone Boolean function (i.e., an unknown monotone predicate on this poset) can be learned by a deterministic algorithm making at most $\phi(n) = \binom{n}{\lfloor n/2 \rfloor} + \binom{n}{\lfloor n/2 \rfloor + 1}$ queries (that is, asking $\phi(n)$ questions in the worst case). This algorithm matches the lower bound of Korobkov's theorem [2], which says that $\phi(n) - 1$ queries do not suffice. (So Hansel's algorithm is optimal in the worst-case setting.) An algorithm in both statements is understood as a deterministic decision tree.

The logarithm of the number of antichains in $(\{0, 1\}^n, \le)$ is asymptotically equal to $\binom{n}{\lfloor n/2 \rfloor} \sim 2^n / \sqrt{\pi n / 2}$ , so there is a constant-factor gap between $\log N_X$ and the optimal algorithm performance $\phi(n) \sim 2 \binom{n}{\lfloor n/2 \rfloor}$ for this poset.

Unfortunately, I have not been able to find a good treatment of Hansel's algorithm in English available on the web. It is based on a lemma that partitions the n-cube into $\phi(n)$ chains with special properties. Some description can be found in [3]. For the lower bound, I don't know any reference to a description in English.

Since I am familiar with these results, I can post a description on arXiv, if the treatment in Kovalerchuk's paper does not suffice.

If am not much mistaken, there have been attempts to generalize Hansel's approach, at least to the poset $(E_k^n, \le)$ , where $(E_k, \le)$ is a chain $0 < 1 < \ldots < k - 1$ , although I cannot give any reference straight away. For the Boolean case, people have also investigated notions of complexity other than worst-case for this problem.

[1] G. Hansel, Sur le nombre des fonctions booléennes monotones de n variables. C. R. Acad. Sci. Paris, 262(20), 1088-1090 (1966)

[2] V. K. Korobkov. Estimation of the number of monotonic functions of the algebra of logic and of the complexity of the algorithm for finding the resolvent set for an arbitrary monotonic function of the algebra of logic. Soviet Math. Doklady 4, 753-756 (1963) (translation from Russian)

[3] B. Kovalerchuk, E. Triantaphyllou, A. S. Deshpande, E. Vityaev. Interactive learning of monotone Boolean functions. Information Sciences 94(1), 87-118 (1996) (link)

— dd1
स्रोत

Thanks a lot for this detailed answer! For the Boolean

n

$n$ -cube, cf <cstheory.stackexchange.com/q/14772>. I can read French but couldn't find Hansel's paper (should have been available on Gallica but this issue seems to be missing), I found relevant info in Sokolov, N.A. (1982), "On the Optimal Evaluation of Monotonic Boolean Functions", USSR Comput Math Math Phys, Vol 22, No 2, 207-220 (English translation exists). I'm interested about generalizations to other DAGs if you can find refs. Don't hesitate to reply by email (a3nm AT a3nm DOT net) if length limit is a problem. Thanks again!

— a3nm

You are welcome! Unfortunately, I do not know how to bound the algorithm running time in terms of output size. Korobkov's proof of the lower bound, for instance, does not give an answer to that question. However, I feel there may be a reference that is slightly relevant. I'll try to find some time time over the weekend and look for generalizations as well. At the same time, I'm not sure whether a closed English description of the Boolean case (these two theorems) is worth writing...

— dd1

@a3nm maybe the DAG case hasnt been considered in the literature? could it be harder than the boolean n-cube ordered by inclusion?

— vzn

@vzn I guess that at least some of the questions here are bound to be open. Even for a chain, it is not immediately clear how to generalize Hansel's algorithm.

— dd1

@a3nm it all seems to be similar to finding lower bounds/minimal monotone circuits (sizes) but havent seen it clearly linked so far...

— vzn

0

[NOTE: The following argument doesn't seem to work, but I'm leaving it here so others don't make the same mistake / in case someone can fix it. The issue is that an exponential lower bound on learning/identifying a monotone function, as below, does not necessarily contradict an incrementally polynomial algorithm for the problem. And it is the latter which is equivalent to checking the mutual duality of two monotone functions in poly time.]

I believe your conjecture on $\log N_X$ is false in general. If it is indeed the case that $\log N_X$ queries are needed, that implies quite a strong lower bound on learning monotone functions using membership queries. In particular, let the poset $X$ be the Boolean cube with the usual ordering (if you like, $X$ is the powerset of $\{1,...,n\}$ with $\subseteq$ as its partial order). The number $M$ of maximal antichains in $X$ satisfies $\log M = (1 + o(1))\binom{n-1}{\lfloor n/2 \rfloor}$ [1]. If your idea on $\log N_X$ is correct, then there is some monotone predicate on $X$ that requires essentially $\binom{n-1}{n/2} \approx 2^n$ queries. In particular, this implies a lower bound of essentially $2^n$ for the complexity of any algorithm solving this problem.

However, if I've understood correctly [which I now know I hadn't], your problem is equivalent to checking the mutual duality of two monotone functions, which can be done in quasi-polynomial time (see the intro of this paper by Bioch and Ibaraki, which cites Fredman and Khachiyan), contradicting anything close to a $2^n$ lower bound.

[1] Liviu Ilinca and Jeff Kahn. Counting maximal antichains and independent sets. arXiv:1202.4427

— Joshua Grochow
स्रोत

Josh, I don't see a problem with the

\log N_{X}

$\log N_X$ argument. my understanding is that it is open whether a monotone function can be learned in time polynomial in

n

$n$ and the number of minimal elements. the Bioch-Ibaraki paper is about incrementally polynomial algorithm

— Sasho Nikolov

Ah, okay. I wasn't aware of that. (Like I said, I'm not an expert in this area - my answer was just based on looking up a few things and putting them together.) I'll leave it here so other people can see it and at least not make the same mistake / at best turn it into something useful.

— Joshua Grochow