मनमाने ढंग से वितरण पर अज्ञेय अधिगम

Question

को बिटस्ट्रिंग / लेबल जोड़े पर एक वितरण होने दें और को बूलियन वैल्यू फ़ंक्शंस का एक संग्रह होना चाहिए । प्रत्येक फ़ंक्शन , दें: और जाने दें: कहिए कि एक एल्गोरिथ्म एक agnostically C किसी भी वितरण पर सीखता है , यदि किसी D के लिए यह प्रायिकता के साथ 2/3 एक फंक्शन खोज सकता है जैसे कि इर (f, D) \ leq ऑप्ट (C, D) + \ epsilon , D से दिए गए समय और कई नमूने{ 0 , 1 } घ × { 0 , 1 } सी च : { 0 , 1 } घ → { 0 , 1 } च ∈ सी ई आर आर ( च , डी ) = पीआर ( एक्स , वाई ) ~ डी [ च ( x ) ≠ y ] हे पी टी ( $D$$\{0,1\}^d\times \{0,1\}$$C$$f:\{0,1\}^d\rightarrow\{0,1\}$$f \in C$

$$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$$ $$OPT(C,D) = \min_{f \in C}\ err(f,D)$$ $A$$C$$D$$2/3$$f$$err(f,D) \leq OPT(C,D) + \epsilon$$D$यह $d$ और 1 / \ epsilon में एक बहुपद से घिरा होता है $1/\epsilon$।

प्रश्न: मनमाने ढंग से वितरणों पर C के कार्यों को किस वर्ग से $C$जाना जाता है?

कोई भी वर्ग बहुत सरल नहीं है! मुझे पता है कि यहां तक ​​कि मोनोटोन संयुग्मन भी मनमाने ढंग से वितरण पर अज्ञेय के रूप में जानने योग्य नहीं हैं, इसलिए मैं सिर्फ कार्यों के गैर-वर्ग वर्गों की तलाश कर रहा हूं।

Comments

इस बात पर ध्यान देने योग्य है कि अज्ञेय सीखने के मामले पर ध्यान केंद्रित करते हैं जब ऑप्ट (सी, डी)> 0 (यानी आपके पास गलत परिकल्पना वर्ग है

— सुरेश वेंकट

अच्छी बात। विशेष स्थिति में जब OPT (C, D) = 0, यह PAC लर्निंग है, और बहुत आसान है। अज्ञेयवादी सीखने के लिए, गारंटी को कोई फर्क नहीं पड़ता कि ऑप्ट (सी, डी) क्या है।

— आरोन रोथ

वहाँ भी "पीएसी डब्ल्यू / वर्गीकरण शोर" मामला है जहां ऑप्ट (सी, डी)> 0, और भले ही आपके पास सही परिकल्पना वर्ग (साकार करने योग्य सेटिंग) है, कुछ त्रुटि है क्योंकि लेबल शोर के कारण बेतरतीब ढंग से फ़्लिप हैं ... काश अलग सेटिंग्स के नाम कम भ्रामक थे।

— लेव Reyzin

ऐसा लगता है कि ऑप्ट (सी, डी) पर एक ऊपरी बाध्यता के साथ अज्ञेय सीखने

— सुरेश वेंकट

काफी नहीं, क्योंकि शोर को वर्गीकरण शोर मॉडल में मनमानी करने की अनुमति नहीं है। इसलिए अगर कुछ प्रतिकूल शोर पैटर्न थे जो अज्ञेयवादी मॉडल में सीखने (या अनुभवजन्य जोखिम को कम करने वाला) को कठिन बनाते हैं, तो यह अक्सर वर्गीकरण शोर मॉडल (यानी पीएसी डेल्टा पैरामीटर में गिरावट) में नहीं हो सकता है।

— लेव Reyzin

Answer 1

यदि कोई वर्ग बहुत सरल नहीं है, तो यहां कुछ अज्ञेय रूप से पीएसी सीखने योग्य कक्षाएं हैं। टिप्पणियों के जवाब में, बहुपत्नी वर्ग के साथ कई परिकल्पनाओं को पार किया जाता है:

• निरंतर गहराई से निर्णय लेने वाले पेड़ (और अन्य वर्गों में केवल बहुत सारी परिकल्पनाएँ होती हैं)
• हाइपरप्लेन में (केवल अलग-अलग लेबलिंग का निर्माण करने वाली परिकल्पनाएं) ओ ( एन 2$R^2$$O(n^2)$
• अंतराल के संघ (गतिशील प्रोग्रामिंग)
• पहले से कुछ पर समता के बिट्स (देखें इस और इस )$\log(k)\log\log(k)$$n$
• कम आयामी सेटिंग्स में अन्य परिकल्पना कक्षाएं।

बहुत ज्यादा सब कुछ एनपी-हार्ड है (कम से कम ठीक से) अज्ञेय पीएसी सीखते हैं।

अज्ञेय शिक्षण पर एडम कलाई के ट्यूटोरियल में आपकी रुचि हो सकती है।

Comments

धन्यवाद। तो निरंतर गहराई वाले निर्णय पेड़, 2-आयामी हाइपरप्लेन, (मुझे लगता है कि अन्य कम आयामी सेटिंग्स आप का उल्लेख करते हैं) सभी केवल बहुपद के कई कार्यों को करने की श्रेणी में आते हैं, जो थकावट से सीखा जा सकता है। लॉग (के) लॉगलॉग (के) बिट्स और अंतराल के यूनियनों में समानताएं दिलचस्प हैं कि उनमें सुपरपोलिनोमियाल कई कार्य हैं। क्या अन्य भी ऐसे हैं?

— आरोन रोथ

हालाँकि, R ^ 2 में असीम रूप से कई हाइपरप्लेन हैं, बस O (n ^ 2) डेटा बिंदुओं को वर्गीकृत करते हुए समान हैं। मैं अपने सिर के ऊपर से किसी भी अन्य दिलचस्प वर्गों को नहीं जानता, लेकिन अगर मुझे लगता है कि कोई भी / मेरे बारे में सोचता है, तो मैं अपना जवाब संपादित करूंगा।

— लेव Reyzin

तो आप अनबिके वीसी-आयाम कक्षाएं चाहते हैं?

— सुरेश वेंकट

अनबाउंड वीसी आयाम निश्चित रूप से दिलचस्प होगा, लेकिन बड़े परिमित (निश्चित डी के लिए) कक्षाएं पहले से ही बेहद दिलचस्प हैं (और दुर्लभ प्रतीत होती हैं)

— हारून रोथ

@LevReyzin कलाई व्याख्यान लिंक काम नहीं कर रहा है। आप कृपया इसे ठीक कर सकते हैं? मैंने नेट पर सर्च किया लेकिन यह भी नहीं पाया।

— आइरबिट