गाऊसी प्रक्रिया प्रतिगमन खिलौना समस्या

मैं गाऊसी प्रक्रिया प्रतिगमन के लिए कुछ अंतर्ज्ञान हासिल करने की कोशिश कर रहा था, इसलिए मैंने कोशिश करने के लिए एक सरल 1D खिलौना समस्या बनाई। मैंने लिया $x_i=\{1,2,3\}$ इनपुट्स के रूप में, और $y_i=\{1,4,9\}$ प्रतिक्रियाओं के रूप में। ((प्रेरित ’से) $y=x^2$ )

प्रतिगमन के लिए मैंने एक मानक वर्ग घातांक कर्नेल फ़ंक्शन का उपयोग किया:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

मैंने मान लिया कि मानक विचलन के साथ शोर था $\sigma_n$ , ताकि सहसंयोजक मैट्रिक्स बन गया:

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

हाइपरपैरामीटर $(\sigma_n,l,\sigma_f)$ डेटा की लॉग संभावना को अधिकतम करके अनुमानित किया गया था। एक बिंदु पर एक भविष्यवाणी करने के लिए $x_\star$ , मुझे निम्न द्वारा क्रमशः माध्य और विचरण मिला

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

कहाँ पे $k_\star$ के बीच covariance का वेक्टर है $x_\star$ और इनपुट्स, और $y$ आउटपुट का एक वेक्टर है।

के लिए मेरे परिणाम $1<x<3$ नीचे दिखाए गए हैं। नीली रेखा क्षुद्र है और लाल रेखा मानक विचलन अंतराल को चिह्नित करती है।

परिणाम

मुझे यकीन नहीं है कि यह सही है; मेरे इनपुट ('X' द्वारा चिह्नित) नीली रेखा पर नहीं हैं। मेरे द्वारा देखे गए अधिकांश उदाहरणों में आदानों को प्रतिच्छेद करने वाले माध्य हैं। क्या यह एक सामान्य सुविधा होने की उम्मीद है?

regression gaussian-process

— Comp_Warrior
स्रोत

अगर मुझे अनुमान लगाना था, तो आप जिन उदाहरणों को देख रहे थे, उनमें कोई अवशिष्ट त्रुटि नहीं थी। उस स्थिति में लाइन सभी बिंदुओं से होकर गुजरेगी।

— लड़का

@Guy बिल्कुल सही।

जवाबों:

डेटापॉइंट से गुजरने वाला माध्य फ़ंक्शन आमतौर पर ओवर-फिटिंग का एक संकेत है। सीमांत संभावना को अधिकतम करके उच्च-मापदंडों का अनुकूलन बहुत सरल मॉडल का पक्ष लेंगे जब तक कि कुछ और अधिक जटिल औचित्य के लिए पर्याप्त डेटा न हो। जैसा कि आपके पास केवल तीन डेटा पॉइंट्स हैं, जो कम शोर के साथ एक पंक्ति में कम या ज्यादा हैं, जो मॉडल पाया गया है वह मुझे बहुत उचित लगता है। अनिवार्य रूप से डेटा को या तो मध्यम शोर के साथ एक रैखिक अंतर्निहित फ़ंक्शन के रूप में समझाया जा सकता है, या थोड़ा शोर के साथ एक मामूली गैर-रैखिक अंतर्निहित फ़ंक्शन। पूर्व दो परिकल्पनाओं का सरल है, और "ओक्टम के रेजर" का पक्षधर है।

— डिक्रान मार्सुपियल
स्रोत

इनपुट के लिए धन्यवाद। क्या आप मुझे "ओवर-फिटिंग" के बारे में अधिक बता सकते हैं; क्या यह एक सकारात्मक / नकारात्मक विशेषता है?

— Comp_Warrior

ओवर-फिटिंग एक नकारात्मक चीज है, इसका मूल रूप से मतलब है कि मॉडल डेटा में यादृच्छिक भिन्नता को याद कर रहा है, जो सामान्य प्रदर्शन को और खराब करता है। आदर्श रूप से आप चाहते हैं कि मॉडल इसे दूषित करते हुए शोर की अनदेखी करते हुए डेटा के अंतर्निहित रूप को सीखे। पाठ्यपुस्तक सीखने वाली अधिकांश अच्छी मशीन, इसे एक प्रारंभिक अध्याय में कवर करेगी।

— डिक्रान मार्सुपियल

बस ब्याज से बाहर, नीचे क्यों?

— डिक्रान मार्सुपियल

मैंने तुम्हें नीचा नहीं दिखाया; वास्तव में मैं उखाड़ फेंका!

— Comp_Warrior

कोई समस्या नहीं Comp_Warrior, मुझे नहीं लगता था कि यह आप थे, लेकिन किसी ने मेरे जवाब को कम कर दिया और मुझे इस पर कुछ प्रतिक्रिया देने में खुशी होगी। हम सभी पतनशील हैं और अगर मुझे अपने उत्तर में कुछ गलत मिला है, तो मैं इसे सुधारने के लिए उत्सुक हूं।

— डिक्रान मार्सुपियल

आप एक नॉइज़ टर्म के अलावा (गॉसियन प्रक्रिया में एक डली प्रभाव के रूप में जाना जाता है) के साथ क्रैगिंग अनुमानकों का उपयोग कर रहे हैं। यदि शोर शब्द शून्य पर सेट किया गया था, अर्थात,

σ_{n}^{2} δ_{पी क्ष} = 0

$\sigma^2_n \delta_{pq}=0$

तब आपकी भविष्यवाणियां एक प्रक्षेप के रूप में कार्य करेंगी और नमूना डेटा बिंदुओं से गुजरेंगी।

यह मेरे लिए ठीक दिखता है, रासमुसेन द्वारा जीपी पुस्तक में यह निश्चित रूप से उदाहरण दिखाता है जहां माध्य फ़ंक्शन प्रत्येक डेटा बिंदु से नहीं गुजरता है। ध्यान दें कि प्रतिगमन रेखा अंतर्निहित फ़ंक्शन के लिए एक अनुमान है, और हम मान रहे हैं कि अवलोकन अंतर्निहित फ़ंक्शन मान और कुछ शोर हैं। यदि तीनों बिंदुओं पर आधारित प्रतिगमन रेखा यह अनिवार्य रूप से कह रही है कि प्रेक्षित मूल्यों में कोई शोर नहीं है।

आप सेटिंग द्वारा शोर की धारणा को मजबूर कर सकते हैं $\sigma_n = 0$ , और बस अन्य हाइपर-मापदंडों का अनुकूलन।

मुझे यह भी संदेह है कि हाइपर-परमेटर $l$ एक बहुत उथले फ़ंक्शन देने के लिए अपेक्षाकृत बड़े मूल्य पर सेट किया जा रहा है।

आप धारण करने की कोशिश कर सकते हैं $l$ विभिन्न छोटे मूल्यों पर तय किया गया है, और देखें कि यह वक्र कैसे बदलता है। शायद अगर तुम मजबूर हो $l$ थोड़ा छोटा होने के लिए, प्रतिगमन रेखा सभी डेटा बिंदुओं से होकर गुजरेगी।

जैसा कि डिक्रान मार्सुपियल ने कहा है, यह गौसियन प्रोसेस की विशेषता में बनाया गया है, सीमांत संभावना उन मॉडलों को दंडित करती है जो बहुत विशिष्ट हैं, और जो कई डेटा सेटों की व्याख्या कर सकते हैं।

— मैक्स एस।
स्रोत