यूनिवर्सल फंक्शन सन्निकटन

Question

यह सार्वभौमिक सन्निकटन प्रमेय के माध्यम से जाना जाता है कि एक एकल छिपे हुए परत और एक मनमाना सक्रियण फ़ंक्शन के साथ एक तंत्रिका नेटवर्क किसी भी निरंतर कार्य को अनुमानित कर सकता है।

अन्य मॉडल क्या हैं जो सार्वभौमिक फ़ंक्शन सन्निकटनकर्ता भी हैं

Comments

मैं इस साइट को इस प्रश्न और कुछ उत्तरों को उभारने के लिए शामिल हुआ।

— प्रसाद राघवेंद्र

Answer 1

प्रतिगमन के विषय के तहत, यह आँकड़े साहित्य में बड़े पैमाने पर व्यवहार किया जाता है। यहाँ दो मानक संदर्भ हैं वासरमन की पुस्तक "नॉनपैरेट्रिक आँकड़ों के सभी" और त्स्यबकोव की "नॉनएपामेट्रिक अनुमान से परिचय"। मैं कुछ मानक सामानों के बारे में संक्षेप में बात करूंगा, और आंकड़ों के बाहर संकेत देने की कोशिश करूंगा (यह एक सामान्य विषय है और विभिन्न क्षेत्रों में अलग-अलग संस्कृतियां हैं: विभिन्न प्रकार के प्रमेयों को साबित करें, विभिन्न धारणाएं बनाएं)।

1. (कर्नेल रेजिस्टर, जिसे कभी-कभी नादराय-वाटसन एस्टिमेटर भी कहा जाता है।) यहां आप किसी भी बिंदु पर फ़ंक्शन को पास के मानों के भारित संयोजन के रूप में लिखते हैं। अधिक संक्षेप में, चूंकि यह सांख्यिकी साहित्य में है, आप आमतौर पर मानते हैं कि आपके पास कुछ उदाहरण हैं कुछ वितरण से लिया गया है, और कुछ कर्नेल K को ठीक कर सकते हैं (इस बारे में सोच सकते हैं एक गाऊसी, लेकिन शून्य मतलब क्या सबसे ज्यादा मायने रखती है), और लिखने है च ( एक्स ) : = Σ मैं च ( एक्स $((x_i,f(x_i)))_{i=1}^n$$K$ जहांगn→∞(आप के रूप में छोटी दूरी के लिए अधिक संवेदनशील होते हैंnबढ़ जाती है)। गारंटी है कि, के रूप में

   $$\hat f(x) := \sum_i f(x_i) \left(\frac{ K(c_n(x-x_i)) }{ \sum_j K(c_n(x-x_j))}\right),$$ $c_n\to\infty$$n$ , विरूपण की एक probilistic कसौटी (sup-नोर्म, उच्च संभावना की उम्मीद, जो कुछ भी) शून्य को जाता है। (यह शायद ही मायने रखता है कि K कैसा दिखता है --- यह अधिक मायने रखता है कि आप c n कैसे चुनते हैं।)$n\to\infty$$K$$c_n$

2. (आधार विधियां।) एक समान बात "आधार कार्यों" के कुछ परिवार को चुनना है, वेवलेट्स या टुकड़े-टुकड़े रैखिक कार्यों जैसी चीजें, लेकिन वास्तव में कुछ भी जो वेक्टर अंतरिक्ष लिए एक (संभवतः अधूरा) आधार बनाता है , और एक भारित रैखिक का निर्धारण करता है। स्केल और अनुवादित तत्वों का संयोजन। यहां की तकनीकें (1.) से काफी भिन्न हैं; डेटा बिंदुओं पर केंद्रित आधार कार्यों को बंद करने के बजाय, आप कुछ विरूपण मानदंड को कम करने के लिए प्रत्येक के वजन और स्थान की सावधानीपूर्वक गणना करते हैं। (आमतौर पर, उनकी मात्रा एक प्रायोरी तय हो गई है।) एक दृष्टिकोण "के आधार पीछा", जहाँ आप लालच से नए कार्यों में जोड़ने के बीच कुछ सन्निकटन त्रुटि को कम करने का प्रयास करते समय है च और $L^2$$\hat f$$f$। यहां दृष्टिकोणों की विविधता की भावना प्राप्त करने के लिए, एक साफ-सुथरा कागज रहीमी एंड रीचेट का "यादृच्छिक ठिकानों के साथ कार्यों का एक समान सन्निकटन" है। शायद मुझे कहना चाहिए कि इन सभी का ग्रैंड-डैडी फूरियर विस्तार है; वेवलेट्स पर मल्लट की पुस्तक में इस पर बहुत अच्छी सामग्री है।

3. (पेड़ के तरीके।) एक और तरीका एक समारोह को एक पेड़ के रूप में देखना है; प्रत्येक स्तर पर, आप डोमेन के कुछ विभाजन के साथ काम कर रहे हैं, और वापसी के लिए, उदाहरण के लिए, औसत बिंदु। (पेड़ की प्रत्येक छंटाई भी एक विभाजन देती है।) सीमा में, इस विभाजन की सुंदरता अब फ़ंक्शन को विवेकाधीन नहीं करेगी, और आपने इसे बिल्कुल ठीक किया है। इस विभाजन को चुनना कितना कठिन है। (आप इसे "प्रतिगमन पेड़" के तहत गूगल कर सकते हैं।)

4. (बहुपद विधियां; स्प्लीन और अन्य प्रक्षेप तकनीक भी देखें।) टेलर की प्रमेय द्वारा, आप जानते हैं कि आप मनमाने ढंग से व्यवहार किए गए कार्यों के करीब पहुंच सकते हैं। यह एक बहुत ही बुनियादी दृष्टिकोण की तरह लग सकता है (यानी, बस लैग्रेग इंटरपोलिंग पॉलीओनोमियल का उपयोग करें), लेकिन जहां चीजें दिलचस्प हो जाती हैं, जो यह तय करने में हैप्रक्षेप करने के लिए अंक। यह संख्यात्मक एकीकरण के संदर्भ में बड़े पैमाने पर जांच की गई थी; आप "क्लेन्शॉ-कर्टिस क्वाड्रैचर" और "गॉसियन क्वाडरेचर" के विषयों के तहत कुछ अद्भुत गणित पा सकते हैं। मैं इसे यहाँ इसलिए फेंक रहा हूँ क्योंकि यहाँ ऊपर दी गई धारणाओं के प्रकार बहुत अधिक भिन्न हैं और बहुत भिन्न हैं। मैं इस क्षेत्र को पसंद करता हूं, लेकिन ये तरीके वास्तव में आयाम के अभिशाप से बुरी तरह से ग्रस्त हैं, कम से कम मुझे लगता है कि यही कारण है कि वे कम से कम चर्चा करते हैं क्योंकि वे करते थे (यदि आप गणित के साथ सांख्यिक एकीकरण करते हैं, तो मुझे लगता है कि यह यूनिवेरिएरी डोमेन के लिए द्विघात करता है लेकिन बहुभिन्नरूपी डोमेन के लिए नमूना तकनीक)।

अपने फ़ंक्शन वर्ग में विभिन्न प्रतिबंधों को ध्यान में रखते हुए, आप सभी प्रकार के अन्य व्यापक रूप से उपयोग किए जाने वाले परिदृश्यों को प्राप्त करने के लिए उपरोक्त को त्वरित कर सकते हैं। उदाहरण के लिए, बूलियन मूल्यवान कार्यों के साथ, थ्रेसहोल्डिंग (1.) निकटतम पड़ोसी अनुमानक या एसवीएम जैसे कुछ स्थानीय कर्नेल (गॉसियन) के साथ बहुत कुछ दिखाई देगा। उपरोक्त सामान का एक बहुत आयाम के अभिशाप से ग्रस्त है (सीमा आयाम पर घातीय निर्भरता दर्शाती है)। मशीन लर्निंग में आप अपने परिवार को कुछ परिवार (यानी, "पैरामीट्रिक तरीके), या एक अंतर्निहित बाधा द्वारा अपनी कक्षा को स्पष्ट रूप से प्राप्त करते हैं या आमतौर पर लक्ष्य समारोह जटिलता के लिए अनुमानित गुणों से संबंधित कुछ (यानी, का एक एनालॉग) कमजोर सीखने को बढ़ाने में धारणा)।

$f:\mathbb{R}^d \to \mathbb{R}$

$$f(x) = \sum_{j=0}^{2d}h_j\left(\sum_{i=1}^d g_{j,i}(x_i)\right),$$ $g_{j,i} : \mathbb{R}\to\mathbb{R}$$h_j:\mathbb{R}\to\mathbb{R}$$g$$h$$\Theta(d^2)$

(आपने केवल फ़ंक्शन कक्षाओं के बारे में पूछा, लेकिन मुझे लगा कि आप तरीकों में भी दिलचस्पी लेंगे .. यदि नहीं .. उफ़)

Comments

"1957 से!", क्या यह 1957 का घातांक है, इसलिए यह भविष्य से है! :)

— nbro