क्या गाऊसी प्रक्रिया (प्रतिगमन) में सार्वभौमिक सन्निकटन गुण है?

क्या [ए, बी] पर कोई निरंतर कार्य कर सकता है, जहां ए और बी वास्तविक संख्या हैं, गॉसियन प्रोसेस (रिग्रेशन) द्वारा फ़ंक्शन (कुछ मानक में) के करीब या मनमाने ढंग से हो सकते हैं?

gaussian-process approximation

— माइकल डी
स्रोत

थोड़ा और विस्तार में बताओ!

— हेनरी।

हाँ! खैर, वास्तव में, यह कोवरियन फ़ंक्शन पर निर्भर करता है, लेकिन उनमें से कुछ के लिए वे करते हैं । डस्टिन ट्रान एट अल। वेरिएशन गॉसियन प्रोसेस के लिए बायेसियन फ्रेमवर्क में एक सार्वभौमिक सन्निकटन प्रमेय भी साबित हुआ , जो कि युद्ध के कार्यों के कारण एक अधिक जटिल मॉडल है, लेकिन यह बहुत निकट से संबंधित है। यदि प्रश्न फिर से खुल जाता है तो मैं एक उत्तर लिखूंगा। PS ध्यान दें कि सार्वभौमिक सन्निकटन, जैसा कि न्यूरल नेटवर्क्स के लिए होता है, केवल एक कॉम्पैक्ट सेट पर होता है, न कि ।

R^{p}

$\mathbb{R}^p$

— डेल्टावी

इस प्रश्न में "सार्वभौमिक सन्निकटन" का संदर्भ संदर्भित विकिपीडिया लेख में कथन के साथ बहुत कम या कुछ भी नहीं है। वास्तव में, यह भी स्पष्ट नहीं है कि किसी प्रक्रिया के साथ कोई फ़ंक्शन कैसे अनुमानित कर सकता है । क्या आप यह पूछना चाहते हैं कि आप क्या पूछना चाहते हैं?

— whuber

तकनीकी के हालांकि @whuber एक छोटा सा ढीला, मुझे लगता है कि प्रश्न अनिवार्य साधन हो सकता "किसी इनपुट समारोह के लिए , वहाँ एक विशेष जीपी जो मनमाने ढंग से पास करने के लिए है की एक अहसास है (कुछ के आदर्श में)?" या शायद, "जैसा कि हम एक फ़ंक्शन से असीम रूप से कई नमूना बिंदुओं का निरीक्षण करते हैं, और उस डेटा के साथ मानक जीपी निष्कर्ष निकालते हैं, क्या सीखा हुआ पोस्ट फ़ंक्शन सही फ़ंक्शन (कुछ अर्थों में) का दृष्टिकोण करता है ?" ये दोनों निश्चित रूप से अलग-अलग गुण हैं, लेकिन मैं उन्हें जवाबदेह होने के लिए पर्याप्त समझूंगा (और इसलिए पांचवां पुन: वोट डाल सकता हूं)।

f

$f$

f

$f$

f

$f$

f

$f$

— डगल

हो सकता है, आप सन्निकटन के बजाय अभिसरण साबित करना चाहते हैं। अन्यथा, प्रमाण सरल है: आप माध्य के लिए फ़ंक्शन को पहले की तरह ले सकते हैं। यह से अधिक नहीं है , लेकिन यह काम करता है।

x = x

$x=x$

— कारेल मेसक

@ डगल नोट्स के रूप में, आपके प्रश्न की व्याख्या करने के दो अलग-अलग तरीके हैं। वे बारीकी से संबंधित हैं, भले ही ऐसा प्रतीत न हो।

पहली व्याख्या है: को का एक संक्षिप्त उपसमूह मानें (कॉम्पैक्टनेस निम्नलिखित सभी के लिए मौलिक है !!!), पर परिभाषित एक सतत सहसंयोजक कार्य (या कर्नेल) हो । AND दर्शा साथ पर निरंतर कार्य के normed अंतरिक्ष , अधिकतम आदर्श के साथ सुसज्जित । किसी भी समारोह के लिए , कर सकते हैं $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ एक prespecified सहिष्णुता के लिए अनुमान लगाया जा RKHS (प्रजनन कर्नेल हिल्बर्ट अंतरिक्ष) से जुड़े में एक समारोह से $\epsilon$ $k$ ? आप अच्छी तरह से आश्चर्यचकित हो सकते हैं कि एक आरकेएचएस क्या है, गॉसियन प्रोसेस रिग्रेशन के साथ यह सब क्या करना है। एक RKHS वेक्टर अंतरिक्ष के लिए सभी संभव कार्यों के संयोजन रैखिक सभी संभव परिमित द्वारा गठित के बंद होने है जहां । यह गाऊसी प्रक्रिया प्रतिगमन से बहुत सख्ती से संबंधित है, क्योंकि एक गाऊसी प्रक्रिया से पहले $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ अंतरिक्ष पर , तो सब संभव पीछे साधन है जिसके गाऊसी प्रक्रिया प्रतिगमन द्वारा उत्पन्न किया जा सकता है की अंतरिक्ष (के बंद होने) वास्तव में RKHS है। तथ्य की बात के रूप में, सभी संभव पीछे के साधन रूप के हैं $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

$f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

$K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$

$f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ $f$

— DeltaIV
स्रोत