एक बहुभिन्नरूपी गाऊसी के सहवर्ती पश्च वितरण का अनुमान

15

मुझे कुछ नमूनों के साथ एक बीवरिएट गौसियन के वितरण को "सीखना" चाहिए, लेकिन पूर्व वितरण पर एक अच्छी परिकल्पना है, इसलिए मैं बायेसियन दृष्टिकोण का उपयोग करना चाहूंगा।

मैंने अपने पूर्व को परिभाषित किया:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

और मेरे वितरण ने परिकल्पना

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

अब मैं यहाँ पर धन्यवाद जानता हूँ कि दिए गए आंकड़ों का अनुमान लगाने के लिए

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

मैं गणना कर सकता हूं:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

अब सवाल आता है, शायद मैं गलत हूं, लेकिन मुझे लगता है कि अनुमानित पैरामीटर लिए केवल सहसंयोजक मैट्रिक्स है , न कि मेरे डेटा का अनुमानित । मैं जो चाहूंगा वह भी गणना करेगा $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

मेरे डेटा से पूरी तरह से निर्दिष्ट वितरण सीखने के लिए।

क्या यह संभव है? क्या यह पहले से ही कम्प्यूटिंग द्वारा हल किया गया है और यह सिर्फ गलत तरीके से ऊपर दिए गए फॉर्मूले में व्यक्त किया गया है (या मैं इसे गलत तरीके से बता रहा हूं)? संदर्भ की सराहना की जाएगी। बहुत बहुत धन्यवाद। $\mathbf{\Sigma_n}$

संपादित करें

टिप्पणियों से, यह प्रतीत हुआ कि मेरा दृष्टिकोण "गलत" था, इस अर्थ में कि मैं एक निरंतर सह-ग्रहण मान रहा था, जिसे द्वारा परिभाषित किया गया था । मुझे इस पर एक पूर्व भी लगाने की आवश्यकता होगी, , लेकिन मुझे नहीं पता कि मुझे क्या वितरण का उपयोग करना चाहिए, और बाद में इसे अपडेट करने की प्रक्रिया क्या है। $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
स्रोत

आपने पहले ही अपने डेटा के सहसंयोजक को निर्दिष्ट किया है - और आपने इसे अपडेट करने के लिए कोई पूर्व वितरण निर्दिष्ट नहीं किया है से?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— कोरोन

में तुम्हारी बात समझ रहा हूँ। इसलिए मेरे दृष्टिकोण से मैंने मूल रूप से यह माना कि विचरण स्थिर और निर्दिष्ट था। अगर मैं इसका अनुमान लगाना चाहता हूं, तो मुझे इस पर पूर्व की आवश्यकता है। अब, मेरी समस्या यह है कि यह स्पष्ट नहीं है कि कैसे इसे परिभाषित करें, और इसके लिए एक उपयुक्त वितरण क्या होगा, लेकिन यह पहले प्रश्न के दायरे से बाहर लगता है।

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— अनबाइबरला

फिर प्रश्न को

— बदलिए

11

आप बेवेरियन अपडेट को कोवरियन संरचना के लिए उसी भावना से अपडेट कर सकते हैं जैसे आपने माध्य को अपडेट किया था। बहुभिन्नरूपी के सहसंयोजक मैट्रिक्स के लिए पूर्ववर्ती संयुग्म-व्युत्क्रम वितरण है, इसलिए यह वहां शुरू करने के लिए समझ में आता है:

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

फिर जब आप अपने नमूना प्राप्त लंबाई की आप नमूना सहप्रसरण अनुमान गणना कर सकते हैं $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

यह तब सहसंयोजक मैट्रिक्स के अपने अनुमान को अपडेट करने के लिए इस्तेमाल किया जा सकता है

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

आप कोविर्सियस (पोस्टीरियर मीन एस्टीमेटर) के लिए अपने बिंदु अनुमान के रूप में इसका उपयोग करने का विकल्प चुन सकते हैं

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

या आप मोड का उपयोग करने के लिए चुन सकते हैं (अधिकतम एक पोस्टीरियर एस्टीमेटर)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
स्रोत

बहुत बहुत धन्यवाद। अब मुझे लगता है कि मेरी अनुमान प्रक्रिया में कुछ बदल जाएगा। पहले कदम के रूप में, मुझे आपकी प्रक्रिया के साथ सहसंयोजक का अनुमान लगाना चाहिए, फिर मेरे वितरण ने अनुमानित परिकल्पना woulb be और चूंकि का अनुमान है और इसका स्वयं का वितरण है, मुझे पूरा यकीन है कि यह किसी भी तरह गणना करने के लिए मेरे पिछले सूत्र को बदल देगा। (जैसा कि नमूना प्रसरण का उपयोग करते समय गाऊसी MLE पर होता है)।

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— 18

आपके द्वारा वर्णित दृष्टिकोण का उपयोग करने के बजाय ताकि मेरे पास सहसंयोजक के लिए वास्तविक मूल्य हो, जैसे कि मुझे पहले पता था। एक लगातार दृष्टिकोण में, यह गलत लगेगा, लेकिन शायद कुछ ऐसा है जो मुझे इस तथ्य से याद आ रहा है कि मुझे लगता है कि पूर्व ज्ञात है और यह प्रक्रिया को सही बनाता है?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— 18

7

ठीक है, मुझे अपनी समस्या का वास्तविक समाधान मिल गया। मैं इसे पोस्ट कर रहा हूं भले ही मेरे (गलत) प्रश्न का सही उत्तर चयनित हो।

मूल रूप से, मेरा प्रश्न बताता है कि कोवरियन जानने वाले माध्य का अनुमान कैसे लगाया जाता है, और माध्य जानने वाले सहसंयोजक का अनुमान कैसे लगाया जाता है। लेकिन मेरी वास्तविक समस्या अज्ञात दोनों मापदंडों के साथ अनुमान लगा रही थी।

मुझे यहां बताए गए व्युत्पत्ति के साथ विकिपीडिया पर उत्तर मिला । बहुभिन्नरूपी सामान्य संयुग्मित पूर्व सामान्य-प्रतिलोम-विष्ट है, जो मूल रूप से बहुभिन्नरूपी नॉर्मल पर एक वितरण है।

पूर्व मापदंडों को निर्दिष्ट करने की है जो कि माध्य को परिभाषित करने के लिए हैं, सहसंयोजक को परिभाषित करने के लिए , और दो स्केलर मान और कि मैं कि हम कितने आत्मविश्वास से परिभाषित करते हैं। क्रमशः पहले दो मापदंडों के अनुमान पर। $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

एक -ariate सामान्य के नमूनों के अवलोकन के बाद अद्यतन वितरण का स्वरूप है $n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

कहाँ पे

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

इसलिए मेरे इच्छित अनुमानित पैरामीटर हैं

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
स्रोत