समान वितरण के तहत 2-डीएनएफ का उचित पीएसी सीखना

Question

नमूना प्रश्नों के साथ और समान वितरण के तहत उचित पीएसी सीखने 2-डीएनएफ फॉर्मूलों की क्वेरी जटिलता के बारे में कला परिणाम क्या है ? या उस पर कोई गैर-तुच्छ बाउंड?

क्योंकि मैं सीखने के सिद्धांत से बिल्कुल भी परिचित नहीं हूं और यह सवाल एक अलग क्षेत्र से प्रेरित है, इसका जवाब स्पष्ट हो सकता है। मैंने किर्न्स और वाज़िरानी की पुस्तक की जाँच की, लेकिन वे इस सेटिंग पर स्पष्ट रूप से विचार नहीं करते हैं।

युपीडी। यद्यपि ब्याज का मुख्य पैरामीटर क्वेरी जटिलता है, रनिंग टाइम भी महत्वपूर्ण है। यदि संभव हो तो, चलने का समय अधिमानतः मोटे तौर पर क्वेरी जटिलता या अधिकांश बहुपद के समान होना चाहिए।

युपीडी। बाल्कन और हार्वे द्वारा "लर्निंग सबमॉड्यूलर फ़ंक्शंस" पेपर के परिशिष्ट बी (पृष्ठ 18 के ऊपर) में उल्लेख किया गया है कि "यह अच्छी तरह से ज्ञात है कि 2-डीएनएफ सामान्य रूप से पीएसी-सीखने योग्य हैं।" हालाँकि, वे यह उल्लेख नहीं करते हैं कि क्या यह परिणाम उचित सीखने के लिए है या कोई संदर्भ देता है।

Comments

किस तरह के सवाल?

— तीमुथियुस सूर्य

सिर्फ नमूने। इसके अलावा, मुझे लगता है मुझे स्पष्ट होना चाहिए कि सवाल क्वेरी जटिलता के बारे में है, न कि रनिंग टाइम (संपादित) के बारे में।

— ग्रिगोरी यारोस्लावसेव

मैंने आपके प्रश्न का उत्तर दिया है, मान लीजिए कि नमूना प्रश्न केवल यादृच्छिक उदाहरण हैं (और सदस्यता प्रश्न नहीं)।

— लेव Reyzin

हाँ, क्वेरी समान वितरण से केवल यादृच्छिक उदाहरण हैं।

— ग्रिगोरी यारोस्लावसेव

Answer 1

मुझे नहीं पता कि आप निम्नलिखित एक गैर-तुच्छ बाउंड पर विचार करेंगे, लेकिन यहां मैं जाता हूं।

सबसे पहले, स्पष्ट होना ताकि हम भ्रमित न हों $c$-DNF के साथ $k$-टरम डीएनएफ (जो मैं अक्सर करता हूं), ए $c$चर पर -DNF सूत्र $x_1, \ldots, x_n$ रूप का है $\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$ कहाँ पे $\forall 1 \le i \le k$ तथा $1 \le j \le c$, $\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$।

हम पहले पूछ सकते हैं कि कितने अलग-अलग शब्द हैं $c$-DNF। प्रत्येक पद होगा$c$ का $n$ चर, प्रत्येक या तो नकारात्मक या नहीं - के लिए बना रहे हैं $2^c\binom{n}{c}$विभिन्न संभव शर्तें। 2-डीएनएफ उदाहरण में, प्रत्येक पद या तो दिखाई देगा या नहीं, के लिए बना रहा है$|\mathcal{H}| = 2^{2^c\binom{n}{c}}$ संभव "लक्ष्य," जहां $\mathcal{H}$ परिकल्पना स्थान है।

एक एल्गोरिथ्म की कल्पना करें जो लेता है $m$ नमूने और फिर सभी की कोशिश करता है $|\mathcal{H}|$परिकल्पना तब तक होती है जब तक कि यह एक ऐसा न हो जाए जो नमूनों पर पूरी तरह से निर्भर करता है। ओकाम के रेजर प्रमेय का कहना है कि आपको केवल इसके बारे में लेने की आवश्यकता है$m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$ इस एल्गोरिथ्म के लिए नमूने त्रुटि के साथ एक लक्ष्य खोजने के लिए $\le \epsilon$ संभाव्यता के साथ $\ge 1-\delta$।

हमारे मामले में, के लिए $c=2$, $\lg|\mathcal{H}| = O(n^2)$, जिसका मतलब है कि आपको इसकी आवश्यकता होगी $n^2$ (उचित) सीखने के लिए नमूने।

लेकिन सीखने में पूरा खेल वास्तव में नमूना जटिलता नहीं है (हालांकि यह खेल का हिस्सा है, विशेष रूप से विशेषता-कुशल सीखने में), लेकिन बहुपद-काल के एल्गोरिदम को डिजाइन करने की कोशिश में। यदि आप दक्षता की परवाह नहीं करते हैं, तो$n^2$ पीएसी नमूना जटिलता के लिए सबसे सरल उत्तर है।

अद्यतन (दिया गया प्रश्न) :

क्योंकि आपने स्पष्ट रूप से कहा था कि आप केवल नमूना जटिलता के बारे में परवाह करते हैं, मैंने जानवर बल के एल्गोरिदम को प्रस्तुत किया, जो शायद सबसे सरल तर्क है। हालाँकि, मेरा जवाब थोड़ा चौकाने वाला था। $2$-DNF वास्तव में बहुपद समय में सीखने योग्य हैं! यह वैलेंट के मूल पेपर " ए थ्योरी ऑफ द लर्नबल " का एक परिणाम है । असल में$c$-डीएनएफ किसी के लिए सीखने योग्य हैं $c = O(1)$।

तर्क इस प्रकार है। आप एक देख सकते हैं$c$-DNF के एक विघटन के रूप में $\approx n^c$ "मेटा-वेरिएबल्स" और उदाहरणों के साथ असंगत मेटा-वेरिएबल्स को समाप्त करके अव्यवस्था सीखने की कोशिश करें। इस तरह के समाधान को आसानी से "उचित" समाधान में अनुवाद किया जा सकता है, और लेता है$O(n^c)$समय। एक साइड-नोट के रूप में, यह अभी भी खुला है कि क्या बहुपद-काल एल्गोरिथ्म है$c = \omega(1)$।

चाहे जैसे हो $n^2$नमूना जटिलता भी एक कम बाध्य है, जवाब बहुत ज्यादा हाँ है। एहरेनफेचट एट अल द्वारा यह पेपर । यह दर्शाता है कि ऑसम बाउंड लगभग तंग है।

Comments

धन्यवाद! यह एक गैर-तुच्छ परिणाम है - मुझे महसूस नहीं हुआ कि घातीय रनिंग समय सहायक होगा। हालांकि, आवेदन के लिए मेरे मन में वास्तव में बहुपद समय बहुत अधिक वांछनीय है (प्रश्न को अद्यतन किया गया है)। क्या आपके द्वारा वर्णित दृष्टिकोण इस समस्या के लिए सबसे अच्छा है? क्या क्वेरी जटिलता पर कोई कम सीमा है (यहां तक ​​कि अनबाउंड रनिंग टाइम के लिए)?

— ग्रिगोरी यारोस्लावसेव

एक संदर्भ के साथ प्रश्न को अपडेट किया जिसने प्रश्न को प्रेरित किया।

— ग्रिगोरी यारोस्लावसेव

अपडेट किया इसका जवाब आपके अपडेट की गई प्रश्न दिए गए

— लेव Reyzin

इसके अलावा - इस मामले में, मुझे नहीं लगता कि घातीय रनिंग समय सहायक है। लेकिन सामान्य तौर पर, ऐसा लगता है। लर्निंग (इष्टतम नमूना जटिलता के साथ) आमतौर पर आसान होता है जब आपके पास घातीय समय होता है।

— लेव Reyzin

आपका बहुत बहुत धन्यवाद! मुझे संदर्भों की जांच करने के लिए कुछ समय की आवश्यकता होगी, लेकिन अभी तक यह एक पूर्ण उत्तर है।

— ग्रिगोरी यारोस्लावसेव