एक कागज में गाऊसी प्रक्रिया प्रतिगमन समीकरणों की व्युत्पत्ति पर संदेह

मैं इस पत्र को पढ़ रहा हूं , और मुझे गौसियन प्रोसेस रिग्रेशन के समीकरणों की व्युत्पत्ति के बाद कठिनाई हो रही है। वे रासमुसेन और विलियम्स की सेटिंग और नोटेशन का उपयोग करते हैं । इस प्रकार, , शून्य-माध्य, स्थिर और सामान्य रूप से विचरण के साथ वितरित शोर माना जाता है: $\sigma^2_{noise}$

y = f (x) + ϵ, ϵ \sim N (0, σ_{n o i s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

जीपी माध्य से पहले एक जीपी को लिए ग्रहण किया जाता है , जिसका अर्थ है कि , माध्य 0 और सहसंयोजक मैट्रिक्स के साथ एक गाऊसी वेक्टर है $f(\mathbf{x})$ $\forall \ d\in N$ $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$

Σ_{d} = (\begin{matrix} k (x_{1}, x_{1}) & k (x_{1}, x_{d}) \\ ⋱ \\ k (x_{d}, x_{1}) & k (x_{d}, x_{d}) \end{matrix})

$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$

अब से, हम यह मानते हैं कि हाइपरपरमेटर्स ज्ञात हैं। तब Eq। (4) पेपर स्पष्ट है:

p (f, f^{*}) = N (0, (\begin{matrix} K_{f, f} & K_{f^{*}, f} \\ K_{f^{*}, f} & K_{f^{*}, f^{*}} \end{matrix}))

$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$

यहाँ संदेह आया:

समीकरण (5):

$p (y | f) = N (f, σ_{n o i s e}^{2} I)$ $p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$
$E[\mathbf{f}]=0$ , लेकिन मुझे लगता है कि क्योंकि जब मैं पर शर्त हूं , तब जहाँ एक स्थिर वेक्टर है और केवल यादृच्छिक है। सही बात? $E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$ $\mathbf{f}$ $\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$ $\mathbf{c}$ $\boldsymbol{\epsilon}$
वैसे भी, यह Eq है। (6) जो मेरे लिए अधिक अस्पष्ट है:

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f)}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$
यह बेयस प्रमेय का सामान्य रूप नहीं है। बेयस का प्रमेय होगा

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f, f^{*})}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$
मुझे यह समझ में आया कि दो समीकरण समान क्यों हैं: सहज रूप से, प्रतिक्रिया वेक्टर केवल इसी अव्यक्त वेक्टर पर निर्भर करता है , इस प्रकार कंडीशनिंग on या on समान वितरण के लिए नेतृत्व करना चाहिए। हालांकि, यह एक अंतर्ज्ञान है, एक सबूत नहीं है! क्या आप मुझे यह दिखाने में मदद कर सकते हैं कि क्यों $\mathbf{y}$ $\mathbf{f}$ $\mathbf{f}$ $(\mathbf{f},\mathbf{f^*})$

$p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$

regression bayesian gaussian-process

— DeltaIV
स्रोत

यदि हम ठीक करते हैं , तो शोर में से सभी अनिश्चितता आती है। तो समीकरण के लिए (5) लेख में हमने दिया है कि हम प्रत्येक बिंदु पर स्वतंत्र रूप से विचरण और शून्य मतलब है । हम प्रारंभिक मतलब जोड़ते हैं और उत्तर प्राप्त करते हैं। $\mathbf{f}$ $\mathbf{y}$ $\mathbf{f}$ $\sigma_{noise}^2$ $0$
सुझाए गए समानता को सिद्ध करने का एक तरीका है वितरण को खोजने के लिए। बाएं हाथ की तरफ और गुणवत्ता के दाईं ओर। वे दोनों गाऊसी हैं, बाईं ओर के लिए हम पहले से ही जवाब जानते हैं। दाहिने हाथ की ओर हम इसी तरह आगे बढ़ते हैं। आइए हम लिए सशर्त वितरण खोजें । परिणाम के पहले भाग से हम जानते हैं: प्रायिकता नियमों का उपयोग करना आसान है बाहर से $p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$ $(\mathbf{y}, \mathbf{y}^*)$ $p (y, y^{*} | f, f^{*}) = N ((f, f^{*}), σ_{n o i s e}^{2} I) .$ $p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$ $\mathbf{y}^*$ $(\mathbf{y}, \mathbf{y}^*)$ , जैसा कि सहसंयोजक मैट्रिक्स विकर्ण है, और वैक्टर और स्वतंत्र हैं। ऐसा करने से हम प्राप्त करते हैं: $\mathbf{y}$ $\mathbf{y}^*$ $p (y | f, f^{*}) = N (f, σ_{n o i s e}^{2} I) = p (y | f) .$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$

— एलेक्सी ज़ेत्सेव
स्रोत