नो-फ्री-लंच प्रमेय और के-एनएन स्थिरता

Question

कम्प्यूटेशनल लर्निंग में, एनएफएल प्रमेय कहता है कि कोई सार्वभौमिक शिक्षार्थी नहीं है। प्रत्येक लर्निंग एल्गोरिदम के लिए, एक वितरण होता है जो सीखने वाले को उच्च त्रुटि के साथ एक बड़ी त्रुटि के साथ हाइपोटिस का कारण बनता है (हालांकि कम त्रुटि हाइपोटिस है)। निष्कर्ष यह है कि सीखने के लिए, हाइपोटिस क्लास या डिस्ट्रीब्यूशन को प्रतिबंधित करना होगा। अपनी पुस्तक "पैटर्न की मान्यता का एक संभाव्य सिद्धांत" में, देवरोए एट अल ने के-निकटतम पड़ोसियों के शिक्षार्थी के लिए निम्नलिखित थिरोम को साबित किया: जहां

$$\text{Assume } \mu \text{ has a density. if } k\to \infty \text{ and } k/n\to0 \\ \text{ then for every } \epsilon>0, \text{ there's } N, \text{ s.t.} \text{ for all } n>N : \\ P(R_n - R^* > \epsilon)< 2exp(-C_dn \epsilon ^{2})$$ $R^*$बे-इष्टतम नियम की त्रुटि है , K-NN आउटपुट की सही त्रुटि है (संभावना आकार के प्रशिक्षण सेट से अधिक है ), इंस्टेंस स्पेस पर प्रायिकता उपाय है और कुछ स्थिर है जो केवल यूक्लिडियन आयाम पर निर्भर करता है। इसलिए, हम उतने ही करीब पहुंच सकते हैं जितना कि हम सबसे अच्छी परिकल्पना करना चाहते हैं (कुछ प्रतिबंधित वर्ग में सबसे अच्छा नहीं), बिना किसी धारणा के। तो मैं यह समझने की कोशिश कर रहा हूं कि यह परिणाम एनएफएल थिरेम का विरोध कैसे नहीं करता है? धन्यवाद!$R_n$$n$$\mu$$\mathbb{R}^d$$C_d$

Answer 1

जिस तरह से मैं एनएफएल प्रमेय को समझता हूं वह यह है कि कोई भी सीखने का एल्गोरिथ्म नहीं है जो हर कार्य में बाकी की तुलना में बेहतर है। हालांकि यह स्पष्ट गणितीय अर्थ में प्रमेय नहीं है कि इसका एक प्रमाण है, बल्कि एक अनुभवजन्य अवलोकन है।

केएनएन के लिए आपने जो कहा है, उसके समान ही, न्यूरल नेटवर्क्स के लिए यूनिवर्सल अप्रीमेंशन प्रमेय भी है , जिसमें कहा गया है कि 2-लेयर न्यूरल नेटवर्क दिया गया है, हम किसी भी मनमाने त्रुटि के साथ किसी भी फ़ंक्शन का अनुमान लगा सकते हैं।

अब, यह एनएफएल को कैसे नहीं तोड़ता है? यह मूल रूप से बताता है कि आप एक सरल 2-परत एनएन के साथ किसी भी बोधगम्य समस्या को हल कर सकते हैं । कारण यह है कि जबकि, सैद्धांतिक रूप से एनएन कुछ भी अनुमानित कर सकते हैं, अभ्यास में बहुत मुश्किल से उन्हें कुछ भी सिखा सकते हैं। इसलिए कुछ कार्यों के लिए, अन्य एल्गोरिदम बेहतर हैं।

एनएफएल की व्याख्या करने का एक अधिक व्यावहारिक तरीका निम्नलिखित है:

निर्धारित-प्राथमिकता का कोई तरीका नहीं है जो एल्गोरिथ्म किसी दिए गए कार्य के लिए सबसे अच्छा करेगा।

Comments

उत्तर के लिए धन्यवाद, लेकिन कुछ गलतियाँ हैं .. सबसे पहले, एनएफएल प्रमेय के पास एक प्रमाण है (उदाहरण के लिए, शाल-श्वेत और बेन-दाविद, समझ मशीन सीखने, अध्याय 5)। यूनिवर्सल एप्रिसिएशन प्रमेय के लिए - यह प्रमेय expresivness से संबंधित है, जबकि एनएफएल प्रमेय सामान्यकरण से संबंधित है।

— माइकल जे