ऐसे कार्य जो कुशल रूप से कम्प्यूटेशनल नहीं बल्कि सीखने योग्य हैं

हम जानते हैं कि (देखें, उदाहरण के लिए, [1] के सिद्धांत 1 और 3), मोटे तौर पर, उपयुक्त परिस्थितियों में, कार्य जिन्हें बहुपद काल में ट्यूरिंग मशीन द्वारा कुशलतापूर्वक गणना की जा सकती है ("कुशलता से कम्प्यूटेबल") बहुपद तंत्रिका नेटवर्क से व्यक्त किया जा सकता है उचित आकार के साथ, और इस प्रकार किसी भी इनपुट वितरण के तहत बहुपद नमूना जटिलता ("सीखने योग्य") के साथ सीखा जा सकता है।

यहाँ "सीखने योग्य" केवल जटिल जटिलता की परवाह किए बिना, नमूना जटिलता की चिंता करता है।

मैं एक बहुत ही बारीकी से संबंधित समस्या के बारे में सोच रहा हूं: क्या कोई ऐसा कार्य मौजूद है जिसे बहुपद समय में ट्यूरिंग मशीन द्वारा कुशलतापूर्वक गणना नहीं की जा सकती है ("कुशलता से गणना योग्य नहीं"), लेकिन इस बीच, बहुपद नमूना नमूना जटिलता ("सीखने योग्य") के साथ सीखा जा सकता है किसी भी इनपुट वितरण के तहत?

[१] रूही लिवनी, शाई शेल्व-शवार्ट्ज, ओहद शमीर, " प्रशिक्षण तंत्रिका नेटवर्क की कम्प्यूटेशनल दक्षता पर ", २०१४

— Minkov
स्रोत

मैं "और इस प्रकार सीखा जा सकता है" के साथ मुद्दा लेता हूं। बहुत कुशलता से गणना योग्य कार्य (कहते हैं, डीएफए) जो सीखने में बहुत मुश्किल हैं, यहां तक कि लगभग भी।

— आर्येह

यह शायद बात याद आ रही है, लेकिन ( ) -biased बूलियन कार्यों के वर्ग के बारे में क्या ? (यानी, कम या ज्यादा, एक यादृच्छिक फ़ंक्शन प्रत्येक मान के साथ स्वतंत्र रूप से संभावना )। किसी भी , समान वितरण के तहत पीएसी-शिक्षण तुच्छ (0 नमूना आवश्यक है, स्थिर फ़ंक्शन एक अच्छी परिकल्पना है), लेकिन ऐसा लगता है कि किसी भी मूल्यांकन एल्गोरिथ्म की आवश्यकता होगी सुपरपोलीनोमियल समय व्यतीत करें (क्योंकि फ़ंक्शन की कोई संरचना नहीं है)। मैं सबसे अधिक संभावना है कि प्रश्न को गलत समझ रहा हूं।

2^{- \sqrt{n}}

$2^{-\sqrt{n}}$

1

$1$

2^{- \sqrt{n}}

$2^{-\sqrt{n}}$

ε > 2^{- \sqrt{n}}

$\varepsilon > 2^{-\sqrt{n}}$

0

$0$

— क्लेमेंट सी।

आपकी शब्दावली थोड़ी भ्रमित करने वाली है। जब हम कहते हैं कि "कुशलता से सीखने योग्य," हम आमतौर पर कम्प्यूटेशनल दक्षता का उल्लेख करते हैं। सिर्फ "सीखने योग्य" कहने का मतलब है कि दक्षता का नमूना लेना पर्याप्त है।

— लेव Reyzin

@ मिंकोव पीएसी के लिए, आपको किसी भी वितरण के संबंध में सीखना चाहिए। अन्यथा प्रश्न दिलचस्प नहीं है (जैसा कि क्लीमेंट बताता है)।

— लेव Reyzin

लोग मतदान क्यों बंद कर रहे हैं? मुझे लगता है कि यह एक गहरा और सूक्ष्म सवाल है!

— आर्येह

मैं इस प्रश्न के एक संस्करण को औपचारिक रूप दूंगा जहां "दक्षता" को "संगणना" द्वारा प्रतिस्थापित किया जाता है।

चलो सभी भाषाओं की अवधारणा वर्ग पर ट्यूरिंग मशीन के कारण पहचानी राज्यों या इससे कम। सामान्य तौर पर, और , के मूल्यांकन की समस्या अनिर्दिष्ट है। $C_n$ $L\subseteq\Sigma^*$ $n$ $x\in\Sigma^*$ $f\in C_n$ $f(x)$

हालांकि, लगता है हम एक (उचित, वसूली योग्य) पीएसी सीखने ओरेकल की पहुंच है के लिए । अर्थात, किसी भी , oracle साइज़ एक लेबल किए गए नमूने का अनुरोध करता है, जैसे कि, इस तरह के नमूने को अज्ञात वितरण से आइडेंट खींचा गया था , oracle C_n में एक परिकल्पना आउटपुट करता है , जिसमें कम से कम संभावना के साथ , -generalization त्रुटि से अधिक नहीं होती है । हम दिखाएंगे कि यह तांडव ट्यूरिंग-कम्प्यूटेबल नहीं है। $A$ $C_n$ $\epsilon,\delta>0$ $m_0(n,\epsilon,\delta)$ $D$ $A$ $\hat f\in C_n$ $1-\delta$ $D$ $\epsilon$

वास्तव में, हम दिखाएंगे कि एक सरल समस्या अनिर्दिष्ट है: एक निर्धारित नमूना, जिसे एक लेबल नमूना दिया गया है , क्या में साथ सुसंगत रूप से मौजूद है । मान लीजिए (एक विरोधाभास प्राप्त करने के लिए) कि एक ट्यूरिंग मशीन है जो स्थिरता की समस्या का फैसला करती है। $S$ $f\in C_n$ $S$ $K$

हम निम्नलिखित उल्लेखनीय सम्मेलनों को बनाते हैं। सामान्य लिक्सोग्राफ़िक ऑर्डर के माध्यम से साथ को पहचानें । के लिए , हम कहते हैं कि एक टीएम "एस-प्रिंट" अगर यह में तार के सभी स्वीकार करता है सूचकांक करने के लिए इसी सेंट और नहीं है स्वीकार करें (संभवत: रुककर नहीं) सूचकांकों संगत तार । चूँकि (अनुमान से) का उपयोग करने योग्य नहीं है, यह निम्न प्रकार से कार्य करता है: , को सबसे छोटा माना जाता है जैसे कि में कुछ TM $\Sigma^*$ $\mathbb{N}=\{0,1,2,\ldots\}$ $x\in\{0,1\}^*$ $M$ $x$ $\Sigma^*$ $i$ $x_i=1$ $x_i=0$ $K$ $\tilde K:x\mapsto k$ $k$ $C_k$ S- प्रिंट , ट्यूरिंग-कम्प्यूटेबल है। यह आगे इस प्रकार है कि फ़ंक्शन , जो कि को कम से कम (lexicographically) string जैसे कि को मैप करता है। , कम्प्यूटेशनल भी है। $x$ $g:k\mapsto x$ $k\in\mathbb{N}$ $x\in\{0,1\}^*$ $\tilde K(x)>k$

अब टीएम परिभाषित इस प्रकार है: एस प्रिंट , जहां की एन्कोडिंग है , स्ट्रिंग की लंबाई को दर्शाता है, और इस तरह के के अस्तित्व का दावा करने के लिए पुनरावृत्ति प्रमेय का आह्वान किया जा रहा है । फिर की कुछ एन्कोडिंग लंबाई है,, और यह कुछ स्ट्रिंग को प्रिंट करता है । निर्माण के द्वारा, , और इसलिए को किसी भी TM द्वारा विवरण लंबाई साथ S- नहीं किया जा सकता $M$ $M$ $g(|\langle M\rangle|)$ $\langle M\rangle$ $M$ $|x|$ $M$ $M$ $\ell=|\langle M\rangle|$ $x_M\in\{0,1\}^*$ $\tilde K(x_M)>\ell$ $x_M$ $\ell$ या कम है। और फिर भी इसे टीएम की एस-प्रिंट आउटपुट के रूप में परिभाषित किया गया है जिसमें विवरण लंबाई --- एक विरोधाभास है। $\ell$

— Aryeh
स्रोत

चुनौती: दक्षता के माध्यम से एक एक के लिए कम्प्यूटेशनलता के माध्यम से मेरे "अनन्त" तर्क को रूपांतरित करें। मुझे लगता है कि @ minkov के प्रश्न का उत्तर नकारात्मक है: आप कुशलता से एक फ़ंक्शन क्लास नहीं सीख सकते हैं जिसका आप कुशलता से मूल्यांकन नहीं कर सकते हैं। मुझे लगता है कि यदि आप उचित या वास्तविक पीएसी से आगे बढ़ते हैं तो यह सच होता रहेगा।

— आर्येह