एक समता का प्रश्न

Question

आइए हम बिट्स के एक सेट पर कार्यों की एक कक्षा को परिभाषित करते हैं । ठीक दो वितरण पी , क्यू कि कर रहे हैं "यथोचित" एक दूसरे से अलग हैं (यदि आप चाहें, तो अपने परिवर्तन संबंधी दूरी कम से कम है ε , या कुछ इसी तरह)।$n$$p, q$$\epsilon$

अब इस वर्ग में प्रत्येक फ़ंक्शन को k सूचकांक S के संग्रह द्वारा परिभाषित किया गया है , और निम्नानुसार मूल्यांकन किया जाता है: यदि चयनित बिट्स की समता 0 है, तो p से एक यादृच्छिक नमूना लौटाएं, अन्यथा q से एक यादृच्छिक नमूना लौटाएं ।$f$$k$$S$$p$$q$

समस्या : मान लीजिए मैं कुछ करने के लिए दिया ओरेकल पहुँच कर रहा हूँ इस वर्ग से, और जब मुझे पता है ε (या दूरी के कुछ अन्य उपाय), मैं नहीं जानता कि पी और क्यू ।$f$$\epsilon$$p$$q$

वहाँ कॉल मैं पीएसी जानने के लिए बनाने की जरूरत है की संख्या पर कोई सीमा नहीं कर रहे हैं ? मुमकिन है मेरा उत्तर के मामले में हो जाएगा n , कश्मीर और ε ।$f$$n, k$$\epsilon$

नोट : मैंने आउटपुट डोमेन निर्दिष्ट नहीं किया है। फिर से, मैं लचीला हूं, लेकिन अब हम कहते हैं कि और q एक परिमित डोमेन [ 1 .. M ] पर परिभाषित हैं । सामान्य तौर पर, मुझे उस मामले में भी दिलचस्पी होगी जब वे आर से परिभाषित होते हैं (उदाहरण के लिए, यदि वे गौसियन हैं)$p$$q$$[1..M]$${\mathbb R}$

Comments

मुझे यकीन नहीं है कि मैं मॉडल को समझता हूं। आप एक ओरेकल कॉल में क्या निर्दिष्ट करते हैं? क्या हमेशा लक्ष्य द्वारा निर्दिष्ट वितरण से तैयार किए गए उदाहरण हैं?

— लेव Reyzin

एक ओरेकल कॉल में, आप f () का आह्वान करते हैं और यह एक मान लौटाता है।

— सुरेश वेंकट

लक्ष्य कार्य के आधार पर तो , या तो पी या क्ष हमेशा उदाहरण उत्पन्न करने के लिए प्रयोग किया जाता है? (मुझे लगता है कि आप कुछ वर्ग सीखने पीएसी हैं एफ ।)$f \in F$$p$$q$$F$

— लेव Reyzin

हां यह सही है। समस्या यह है कि कौन सा सीखें (या उपयोग की जा रही समता बिट सीखें)

— सुरेश वेंकट

मुझे यकीन नहीं है कि आप पीएसी मॉडल को इस मॉडल के लिए कैसे अनुकूल बनाते हैं। लेकिन ऐसा लगता है कि अलग करने के लिए सक्षम होने के लिए काफी है से क्ष संभावना के साथ 1 - 1 / ( 2 कश्मीर ) और फिर आप प्राप्त कर सकते हैं च ( एक्स ) के लिए मूल्यों कश्मीर रैखिक स्वतंत्र एक्स और गाऊसी उन्मूलन का उपयोग खोजने के लिए च (के बाद से च रैखिक है)। दो अच्छी तरह से अलग किए गए गौसियों को भेदना उदाहरण के लिए आसान होगा। $p$$q$$1 - 1/(2k)$$f(x)$$k$$x$$f$$f$

— साशो निकोलेव

Answer 1

नीचे टिप्पणी में चर्चा यह बताती है कि मैंने इस प्रश्न को गलत समझा है। मेरा जवाब कोई इनपुट लेने और वापस लौटने वाले ओरेकल पर आधारित है जहां एक्स ~ पी या एक्स ~ क्ष , के आधार पर च ∈ एफ । यह स्पष्ट रूप से नहीं पूछा जा रहा है।$(x, f(x))$$x \sim p$$x \sim q$$f \in F$

---

लक्ष्य वितरण हर लक्ष्य के लिए तय हो गई है क्योंकि , पीएसी नमूना ऊपरी बाध्य लागू होता है (इस तथ्य यह है कि इस के लिए लक्ष्य वितरण के लिए बाध्य भी पूरी तरह से इस पर निर्भर कर सकते हैं से इस प्रकार च * )। इसलिए, मीटर ≤ ~ हे ( $f^* \in F$$f^*$ उदाहरण त्रुटि के एक परिकल्पना को खोजने के लिए पर्याप्त होना चाहिए≤εWP≥1-δ। नोट - इन उदाहरणों को देखने के बाद, किसी कोएफसे एक सुसंगत परिकल्पना खोजने की आवश्यकता है, और यह ट्रैक्टेबल नहीं हो सकता है।

$$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$$ $\le \epsilon$$\ge 1-\delta$$F$

दूसरी ओर, एक मिल सकता है एक लगभग कम भी होने की स्थिति के लिए बाध्य मिलान , समान वितरण, जहां मीटर ≥ Ω ( वी सी ( एफ ) ) उदाहरण अभी भी आवश्यक हैं (यह थोड़ा सुधार किया जा सकता) ।$p=q=U$$m \ge \Omega(\mathrm{VC}(F))$

और q के बीच की वैचारिक दूरी , साथ ही k इन सीमाओं के बीच छोटे अंतर में भूमिका निभा सकते हैं, लेकिन मुझे इसमें संदेह है।$p$$q$$k$

Comments

$(f,D)$$x$$D$$(x, f(x))$$f$$n$)। लेव, क्या आपका जवाब पहले प्रकार के एक ओरेकल, या दूसरे प्रकार का है? यदि दूसरा प्रकार, क्या हम अभी भी पीएसी-लर्निंग के बारे में बात कर रहे हैं?

— केकी बुरजोरजी

$(x, f(x))$$x \sim D$$f$$p$$q$$p=q$

$p$$q$

$f$$x$$f(x)$$p$$q$$x$

$p=\mathcal N(+0.25, 1)$$q = \mathcal N(-0.25, 1)$def fitness() ...random_number_generator.set_seed(x)