सदस्यता प्रश्नों के साथ सटीक सीखने का संयोजन लक्षण वर्णन

15

संपादित करें: चूंकि मुझे एक सप्ताह में कोई प्रतिक्रिया / टिप्पणी नहीं मिली है, इसलिए मैं यह जोड़ना चाहूंगा कि समस्या के बारे में कुछ भी सुनकर मुझे खुशी है। मैं इस क्षेत्र में काम नहीं करता, इसलिए भले ही यह एक साधारण अवलोकन हो, लेकिन मैं यह नहीं जानता। यहां तक कि एक टिप्पणी जैसे "मैं क्षेत्र में काम करता हूं, लेकिन मैंने इस तरह का चरित्र चित्रण नहीं देखा है" सहायक होगा!

पृष्ठभूमि:

सीखने के सिद्धांत में सीखने के कई अच्छी तरह से अध्ययन किए गए मॉडल हैं (उदाहरण के लिए, पीएसी सीखने, ऑनलाइन सीखने, सदस्यता / समकक्ष प्रश्नों के साथ सटीक सीखने)।

उदाहरण के लिए, पीएसी लर्निंग में, एक अवधारणा वर्ग का नमूना जटिलता वर्ग के कुलपति आयाम के संदर्भ में एक अच्छा दहनशील लक्षण वर्णन है। इसलिए यदि हम निरंतर सटीकता और आत्मविश्वास के साथ एक कक्षा सीखना चाहते हैं, तो यह नमूनों के साथ किया जा सकता है , जहाँ कुलपति आयाम है। (ध्यान दें कि हम नमूने की जटिलता के बारे में बात कर रहे हैं, समय की जटिलता के बारे में नहीं।) सटीकता और आत्मविश्वास के संदर्भ में एक अधिक परिष्कृत लक्षण वर्णन भी है। इसी तरह, ऑनलाइन सीखने की गलती से बंधे मॉडल में एक अच्छा संयोजन है। $\Theta(d)$ $d$

सवाल:

मैं जानना चाहता हूं कि क्या इसी तरह का परिणाम सदस्यता प्रश्नों के साथ सटीक सीखने के मॉडल के लिए जाना जाता है। मॉडल को निम्नानुसार परिभाषित किया गया है: हमारे पास एक ब्लैक बॉक्स तक पहुंच है जो इनपुट पर आपको । हम जानते हैं कि कुछ अवधारणा वर्ग से आता । हम संभव के रूप में कुछ प्रश्नों के साथ निर्धारित करना चाहते हैं। $x$ $f(x)$ $f$ $C$ $f$

क्या कॉन्सेप्ट क्लास का एक कॉम्बीनेटरियल पैरामीटर जो सदस्यता प्रश्नों के साथ सटीक सीखने के मॉडल में एक कॉन्सेप्ट को सीखने के लिए आवश्यक प्रश्नों की संख्या को दर्शाता है? $C$

क्या मुझे पता है:

इस तरह का सबसे अच्छा चरित्र चित्रण मुझे इस पत्र में सेविडियो और गॉटलर द्वारा किया गया है , एक पैरामीटर का उपयोग करके वे बशौटी, क्लीव, गावल्डा, कन्नन और तमोन के लिए विशेषता रखते हैं । वे एक कॉम्बीनेटरियल पैरामीटर को परिभाषित करते हैं जिसे कहा जाता , जहां अवधारणा वर्ग है, जिसमें निम्नलिखित गुण हैं। (बता दें कि इस मॉडल में सीखने के लिए आवश्यक प्रश्नों की इष्टतम संख्या है ।) $\gamma^C$ $C$ $Q_C$ $C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

यह लक्षण वर्णन लगभग तंग है। हालांकि, ऊपरी और निचले सीमा के बीच एक द्विघात अंतर हो सकता है। उदाहरण के लिए यदि , फिर निचला बाउंड , लेकिन ऊपरी बाउंड । (मुझे यह भी लगता है कि यह अंतर प्राप्त करने योग्य है, अर्थात, एक अवधारणा वर्ग मौजूद है जिसके लिए निचले सीमा दोनों , लेकिन ऊपरी सीमा ।) $1/\gamma^C = \log |C| = k$ $\Omega(k)$ $O(k^2)$ $\Omega(k)$ $O(k^2)$

reference-request machine-learning lg.learning

— रॉबिन कोठारी
स्रोत

1

"हेडस्टैक आयाम" किसी फ़ंक्शन को अनुकूलित करने की क्वेरी जटिलता की विशेषता है: cis.upenn.edu/~mkearns/papers/haystack.pdf , यह आपके इच्छित कार्य से अलग है, लेकिन आप संबंधित कार्य का आनंद ले सकते हैं जो चर्चा करता है कि चरित्र चित्रण के बारे में क्या पता है सटीक सीखने की क्वेरी जटिलता।

— हारून रोत

6

अनाम मौज़े के उदाहरण के बिंदु पर घर चलाने के लिए, अवधारणा वर्ग पर विचार करें जिसमें ऐसे कार्य शामिल हैं जो आउटपुट {{0,1} ^ n में केवल एक बिंदु पर हैं। वर्ग आकार 2 ^ n का है, और सबसे खराब स्थिति में 2 ^ n प्रश्नों की आवश्यकता है। सबसे खराब स्थिति वाले टीचिंग डायमेंशन (गोल्डमैन एंड शेपायर) पर एक नज़र डालें, जो आपके लिए कुछ ऐसा ही प्रदान करता है।

— अनाम हंस
स्रोत

1

धन्यवाद! टीचिंग डाइमेंशन की खोज ने मुझे विस्तारित टीचिंग डायमेंशन की ओर अग्रसर किया, जो कि मेरे द्वारा बताए गए कॉम्बिनेटरियल पैरामीटर के समान है, जिसने मुझे इस विषय पर कई अन्य दिलचस्प पेपरों की ओर अग्रसर किया।

— रॉबिन कोठारी

4

मैं इस तरह के लक्षण वर्णन के बारे में नहीं जानता। हालांकि, यह ध्यान देने योग्य है कि लगभग किसी भी अवधारणा वर्ग के लिए, सभी बिंदुओं को क्वेरी करने की आवश्यकता है। इसे देखने के लिए, अवधारणा वर्ग पर विचार करें जिसमें हेमिंग भार के साथ सभी एन-आयामी बूलियन वैक्टर शामिल हैं। इस अवधारणा वर्ग को स्पष्ट रूप से सीखने के लिए एन प्रश्नों की आवश्यकता है, जो इसकी कार्डिनैलिटी के बराबर है। आप संभवतः इस अवलोकन को सामान्य कर सकते हैं कि लगभग किसी भी अवधारणा वर्ग को सभी प्रश्नों के निष्पादन की आवश्यकता होती है।

मुझे संदेह होगा कि इनपुट के रूप में एक अवधारणा वर्ग सी दिया गया है, यह सदस्यता प्रश्नों के साथ अवधारणा वर्ग को सीखने की जटिलता को निर्धारित करने के लिए एनपी-कठिन है, या यहां तक कि इसे निरंतर कहने के लिए अनुमानित है। यह कुछ संकेत देता है कि "अच्छा" दहनशील लक्षण वर्णन मौजूद नहीं है। यदि आप इस तरह के एनपी-कठोरता परिणाम को साबित करना चाहते हैं, लेकिन कोशिश करें और यहां पोस्ट करने में संकोच न करें और मैं देखूंगा कि क्या मैं इसका पता लगा सकता हूं (मेरे पास कुछ विचार हैं)।

— अनाम मौस
स्रोत

1

जवाब के लिए धन्यवाद। यहां तक कि अगर यह सच है कि लगभग सभी अवधारणा कक्षाएं (कक्षाओं पर कुछ उचित वितरण के तहत) सीखने के लिए कठिन हैं, तो कुछ कक्षाएं सीखना आसान है और इसके लिए एक वर्णनात्मक पैरामीटर होना दिलचस्प होगा जो इसे चिह्नित करता है। अगर पैरामीटर की गणना करना कठिन है तो मुझे कोई आपत्ति नहीं है। यहां तक कि कुलपति आयाम को कुशलता से गणना करने योग्य नहीं माना जाता है।

— रॉबिन कोठारी

1

हालांकि अन्य लोगों ने इसका जवाब दिया है। मैंने सोचा कि मैं इसे आत्मनिर्भर बना सकता हूं और दिखा सकता हूं कि शिक्षण आयाम क्यों उत्तर है।

इनपुट स्थान पर एक अवधारणा वर्ग पर विचार करें । तत्वों का एक सेट को कॉन्सेप्ट लिए एक शिक्षण सेट कहा जाता है यदि , साथ में एकमात्र अवधारणा है । $C$ $X$ $S\subseteq X$ $f$ $f$ $C$ $S$

चलो के लिए सभी शिक्षण सेट के सेट हो और परिभाषित टीडी के शिक्षण आयाम होने के लिए । यानी, सबसे छोटे शिक्षण सेट की कार्डिनैलिटी TS in । इसी तरह, टीडी अधिकतम टीडी को का शिक्षण आयाम । $\mathcal{T}(f)$ $f$ $(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$ $f$ $_{min}(f)$ $\mathcal{T}(f)$ $(C)=$ $_{f\in C}$ $(f,C)$ $C$

को पहचानने के लिए आवश्यक प्रश्नों की न्यूनतम संख्या टीडी । यह तब होता है जब क्वेरी रणनीति अनुक्रम TS । किसी भी कम प्रश्नों के लिए हमारे पास कम से कम दो अवधारणाएं हैं जो इसके अनुरूप हैं। और टीडी किसी भी लिए न्यूनतम है । $f$ $(f,C)$ $_{min}(f)$ $(C)$ $f$

— seteropere
स्रोत

मुझे समझ नहीं आता क्यों शिक्षण आयाम ऊपरी सीखने की क्वेरी जटिलता सीमा है । एल्गोरिथ्म कैसा दिखता है? समारोह कलन विधि के लिए अज्ञात में जब हम, शुरू तो यह बस के लिए शिक्षण सेट क्वेरी नहीं कर सकता ।

f

$f$

f

$f$

f

$f$

— रॉबिन कोठारी

@RobinKothari टीडी कम से कम किसी भी MQ- एल्गोरिदम में प्रश्नों की संख्या को कम करता है। व्यवहार में, कोई भी एल्गोरिथ्म नहीं हो सकता है जो नेत्रहीन धोखा या कोड चाल के बिना इस बाध्य को प्राप्त करता है। एंग्लुइन के "क्वेरी रिविजिटेड" पेपर में, उसने एमक्यू नामक एक पैरामीटर पर चर्चा की जो सबसे खराब स्थिति में सबसे अच्छा एमक्यू-एल्गोरिदम द्वारा आवश्यक प्रश्नों की संख्या का प्रतिनिधित्व करता है। मुझे इसका विवरण याद नहीं है लेकिन निश्चित रूप से TD <= MQ है।

— सेटेरोपेरे

1

मुझे क्या दिलचस्पी थी (जब मैंने यह प्रश्न पूछा था) एक पैरामीटर था जो सदस्यता प्रश्नों के साथ सटीक सीखने की विशेषता है। यह एक ऊपरी और निचला दोनों बाउंड होना चाहिए। मैंने एक पैरामीटर का एक उदाहरण प्रदान किया जो प्रश्न में इसे प्राप्त करता है (एक लॉग तक। सी | कारक)। मेरा सवाल था कि क्या कुछ बेहतर जाना जाता है।

— रोबिन कोठारी