अधिकतम संभावना का उपयोग करके सामान्य मॉडल को मल्टीवेरेट करते समय सहसंयोजक मैट्रिक्स के गुणों को कैसे सुनिश्चित किया जाए?

22

मान लीजिए मेरे पास निम्न मॉडल है

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

जहाँ $y_i\in \mathbb{R}^K$ , $x_i$ व्याख्यात्मक चर का एक वेक्टर है, $\theta$ के गैर रेखीय समारोह मापदंडों है $f$ और $\varepsilon_i\sim N(0,\Sigma)$ , जहां $\Sigma$ स्वाभाविक रूप से है $K\times K$ मैट्रिक्स ।

लक्ष्य का अनुमान लगाना सामान्य है और । स्पष्ट पसंद अधिकतम संभावना विधि है। इस मॉडल के लिए के लिए लॉग-संभावना (यह मानते हुए हम एक नमूना है ) की तरह दिखता है $\theta$ $\Sigma$ $(y_i,x_i),i=1,...,n$

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

अब यह सरल लगता है, लॉग-लाइक निर्दिष्ट है, डेटा में रखा गया है, और गैर-रेखीय अनुकूलन के लिए कुछ एल्गोरिथ्म का उपयोग करें। समस्या यह है कि यह सुनिश्चित करने के लिए कि सकारात्मक निश्चित है। उदाहरण के लिए उपयोग करना आर में (या किसी भी अन्य गैर रेखीय अनुकूलन एल्गोरिथ्म) मेरे गारंटी नहीं है कि सकारात्मक निश्चित है। $\Sigma$ optim $\Sigma$

तो सवाल यह सुनिश्चित करने के लिए कैसे वह यह है कि सकारात्मक निश्चित रहता है? मैं दो संभावित समाधान देखता हूं: $\Sigma$

Reparametrise के रूप में जहां ऊपरी त्रिकोणीय या सममित मैट्रिक्स है। तब हमेशा सकारात्मक-निश्चित हो जाएगा और स्वेच्छापूर्ण हो सकता है। $\Sigma$ $RR'$ $R$ $\Sigma$ $R$
प्रोफ़ाइल संभावना का उपयोग करें। के लिए फार्मूले प्राप्त और । कुछ के साथ प्रारंभ और दोहराएं , जब तक अभिसरण। $\hat\theta(\Sigma)$ $\hat{\Sigma}(\theta)$ $\theta_0$ $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$

क्या कोई और तरीका है और इन 2 तरीकों के बारे में क्या वे काम करेंगे, क्या वे मानक हैं? यह काफी मानक समस्या लगती है, लेकिन त्वरित खोज ने मुझे कोई संकेत नहीं दिया। मुझे पता है कि बायेसियन का अनुमान भी संभव होगा, लेकिन फिलहाल मैं इसमें शामिल नहीं होना चाहता।

maximum-likelihood optimization covariance

— mpiktas
स्रोत

मैं एक कलमन एल्गोरिथ्म में एक ही मुद्दा है, लेकिन समस्या बहुत अधिक जटिल है और हैमिल्टन चाल का उपयोग करने के लिए आसान नहीं है। मुझे आश्चर्य है कि उसके बाद एक सरल बात बस का उपयोग करने के लिए क्या करना है कि क्या

। इस तरह मैं कोड को एक त्रुटि नहीं देने के लिए मजबूर करता हूं और समाधान नहीं बदलता। यह भी इस शब्द के लिए बाध्यता का अंतिम भाग के रूप में एक ही संकेत के लिए मजबूर करने का लाभ है। कोई विचार?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

यह मानते हुए कि सहप्रसरण मैट्रिक्स के निर्माण में, आप स्वचालित रूप समरूपता मुद्दे की देखभाल कर रहे हैं, अपनी लॉग-संभावना हो जाएगा जब की वजह से सकारात्मक निश्चित नहीं है मॉडल सही में अवधि? एक संख्यात्मक त्रुटि से बचने के अगर मैं precalculate हैं और, अगर यह सकारात्मक नहीं है, तो लॉग संभावना बराबर -Inf, अन्यथा जारी रखते हैं। आपको निर्धारक वैसे भी गणना करना होगा, इसलिए यह आपको किसी भी अतिरिक्त गणना की लागत नहीं है। $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— मैक्रो
स्रोत

5

जैसा कि यह पता चला है कि आप आवश्यक गुणों को सुनिश्चित करने के लिए प्रोफ़ाइल अधिकतम संभावना का उपयोग कर सकते हैं। आप दिए गए के लिए साबित कर सकते हैं कि , द्वारा विस्तृत किया गया है $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

कहा पे

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

तब वह दिखाना संभव है

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

इसलिए हमें केवल अधिकतम करने की आवश्यकता है

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

स्वाभाविक रूप से इस मामले में सभी आवश्यक गुण को संतुष्ट करेगा। सबूत मामले के लिए समान हैं जब रैखिक है जो जेडी हैमिल्टन पृष्ठ 295 द्वारा टाइम सीरीज विश्लेषण में पाया जा सकता है , इसलिए मैंने उन्हें छोड़ दिया। $\Sigma$ $f$

— mpiktas
स्रोत

3

सहप्रसरण मैट्रिक्स के लिए एक विकल्प parameterization है eigenvalues के मामले में और "गिवेंस" कोण । $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

यानी हम लिख सकते हैं

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

जहां ऑर्थोनॉर्मल है, और $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

साथ । $\lambda_1 \geq ... \geq \lambda_p \geq 0$

इस बीच, के मामले में विशिष्ट parameterized किया जा सकता है कोण, , जहां और [१] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(विवरण जोड़ा जाना है)

[१]: हॉफमैन, राफेनेट्टी, राइडेनबर्ग। "एन यूलर एंगल्स का एन ‐ डायमेंशनल ऑर्थोगोनल मैट्रिसेस का सामान्यीकरण"। जे। मठ। भौतिकी। 13, 528 (1972)

— charles.y.zheng
स्रोत

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

2

$\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
स्रोत

क्या इस सेटिंग्स में विकर्ण तत्वों के नीचे कुछ भी हो सकता है जो मैं चाहता हूं कि विकर्ण सकारात्मक है? जब इस तरह से मैट्रिक्‍स को सुस्‍ती में बनाया जाता है तो वे सभी निश्चित नहीं होते।

— पीसीएल

Λ

$\Lambda$