असीम आयामी आधार फ़ंक्शन दृश्य के माध्यम से गौसियन प्रक्रिया प्रतिगमन को समझना

यह अक्सर कहा जाता है कि गौसियन प्रक्रिया प्रतिगमन (जीपीआर) बेस कार्यों के लिए (संभवतः) अनंत राशि के साथ बायेसियन रैखिक प्रतिगमन से मेल खाती है। मैं वर्तमान में इसे समझने की कोशिश कर रहा हूं कि जीपीआर का उपयोग करके मैं किस प्रकार के मॉडल व्यक्त कर सकता हूं।

क्या आपको लगता है कि यह जीपीआर को समझने की कोशिश करने का एक अच्छा तरीका है?

पुस्तक में गॉसियन प्रोसेस्स फॉर मशीन लर्निंग रासमुसेन एंड विलियम्स दिखाते हैं कि पैरामीटरयुक्त घातांक कर्नेल समतुल्य रूप से पहले विश्वास के साथ बायेसियन प्रतिगमन के रूप में वर्णित किया जा सकता हैवजन पर और फार्म के आधार कार्यों की एक अनंत राशि

क (एक्स, {एक्स}^{'}; एल) = σ_{पी}^{2} \exp (- \frac{(एक्स - एक्स)^{2}}{2 {एल}^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

इस प्रकार, कर्नेल का पैरामीटर पूरी तरह से आधार कार्यों के एक पैरामीटर में अनुवादित होकर हो सकता है।

φ_{सी} (एक्स; एल) = \exp (- \frac{(एक्स - सी)^{2}}{2 {एल}^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

क्या किसी भिन्न कर्नेल के पैरामीटर को हमेशा पूर्व और आधार कार्यों के पैरामीटराइजेशन में अनुवादित किया जा सकता है या क्या अलग-अलग कर्नेल हैं, जैसे कि आधार फ़ंक्शन की संख्या कॉन्फ़िगरेशन पर निर्भर करती है?

$k(x,x')$

क (एक्स, {एक्स}^{'}) = Σ_{मैं = 1}^{\infty} λ_{मैं} φ_{मैं} (एक्स) φ_{मैं} ({एक्स}^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

मेरा अगला प्रश्न व्यापारियों के प्रमेय के विलोम के बारे में है।

आधार फ़ंक्शंस के कौन से सेट वैध कर्नेल की ओर ले जाते हैं?

और विस्तार

पैरामीटर किए गए आधार फ़ंक्शंस के कौन से सेट वैध वियरेबल कर्नेल की ओर ले जाते हैं?

gaussian-process kernel-trick basis-function

— जूलियन कार्ल
स्रोत

यहाँ कुछ टिप्पणी कर रहे हैं। शायद विवरण में कोई और व्यक्ति भर सकता है।

1) आधार निरूपण हमेशा एक अच्छा विचार है। यदि आप वास्तव में अपने सहसंयोजक कार्य के साथ कुछ कम्प्यूटेशनल करना चाहते हैं तो उनसे बचना मुश्किल है। आधार विस्तार आपको कर्नेल और कुछ के साथ काम करने के लिए एक अनुमान दे सकता है। उम्मीद यह है कि आप एक आधार पा सकते हैं जो उस समस्या के लिए समझ में आता है जिसे आप हल करने की कोशिश कर रहे हैं।

$\theta$ $\theta$

आमतौर पर, आधार फ़ंक्शन की संख्या अनंत (अनंत) होगी, इसलिए यह संख्या पैरामीटर के साथ भिन्न नहीं होगी, जब तक कि कुछ मूल्यों के कारण कर्नेल पतित नहीं हो जाते।

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$

यदि आधार फ़ंक्शन ऑर्थोगोनल नहीं हैं, तो यह दिखाना अधिक कठिन होगा कि उनमें से परिभाषित एक सहसंयोजक सकारात्मक निश्चित है। जाहिर है, उस स्थिति में आप एक ईजन-विस्तार के साथ काम नहीं कर रहे हैं, लेकिन ब्याज के कार्य का अनुमान लगाने के कुछ अन्य तरीके के साथ।

हालाँकि, मुझे नहीं लगता कि लोग आम तौर पर कार्यों के एक समूह से शुरू करते हैं और फिर उनसे एक सहसंयोजक कर्नेल बनाने की कोशिश करते हैं।

पुन: कर्नेल की भिन्नता और आधार कार्यों की भिन्नता। मैं वास्तव में इस सवाल का जवाब नहीं जानता, लेकिन मैं निम्नलिखित अवलोकन की पेशकश करूंगा।

कार्यात्मक विश्लेषण कार्य (एक अनंत आयामी अंतरिक्ष से) सन्निकटन कार्यों द्वारा परिमित राशि द्वारा सरल कार्य करता है। इस काम को करने के लिए, सब कुछ शामिल अभिसरण के प्रकार पर निर्भर करता है। आमतौर पर, यदि आप ब्याज के कार्यों पर मजबूत अभिसरण गुण (एकसमान अभिसरण या पूर्ण योग) के साथ एक कॉम्पैक्ट सेट पर काम कर रहे हैं, तो आपको उस तरह का सहज परिणाम प्राप्त होता है जिसकी आपको तलाश है: साधारण कार्यों के गुण सीमा समारोह - उदाहरण के लिए यदि कर्नेल एक पैरामीटर का एक अलग कार्य है, तो विस्तार कार्यों को एक ही पैरामीटर के अलग-अलग कार्य और इसके विपरीत होना चाहिए। कमजोर अभिसरण गुण या गैर-कॉम्पैक्ट डोमेन के तहत, ऐसा नहीं होता है। मेरे अनुभव में, हर "उचित" विचार के लिए एक काउंटर-उदाहरण है, जिसके साथ कोई भी आता है।

नोट: इस प्रश्न के पाठकों से संभावित भ्रम को दूर करने के लिए, ध्यान दें कि बिंदु 1 का गॉसियन विस्तार बिंदु 2 के प्रतिजन-विस्तार का उदाहरण नहीं है।

— Placidia
स्रोत