कैसे एक मैट्रिक्स सकारात्मक निश्चित करने के लिए?

मैं निम्नलिखित कारक विश्लेषण मॉडल के लिए एक EM एल्गोरिथ्म को लागू करने की कोशिश कर रहा हूं;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

जहां पी आयामी यादृच्छिक वेक्टर है, अव्यक्त चर का एक क्ष आयामी वेक्टर है और मानकों का एक pxq मैट्रिक्स है। $W_j$ $a_j$ $B$

अन्य मॉडल के लिए इस्तेमाल किया मान्यताओं का एक परिणाम के रूप में, मुझे पता है कि जहां विचरण सहप्रसरण त्रुटि पदों की मैट्रिक्स है , = निदान ( , , ..., )। $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

काम करने के लिए ईएम एल्गोरिथ्म के लिए, मैं गुंबद के आकलन से जुड़े पुनरावृत्तियों कर रहा हूँ और मैट्रिक्स और मैं का प्रतिलोम कंप्यूटिंग कर रहा हूँ इन पुनरावृत्तियों के दौरान प्रत्येक यात्रा पर के नए अनुमानों का उपयोग कर और । दुर्भाग्य से पुनरावृत्तियों के दौरान, इसके सकारात्मक निश्चितता खो देता है (लेकिन यह नहीं करना चाहिए, क्योंकि यह एक विचरण-सहप्रसरण मैट्रिक्स है) और इस स्थिति एल्गोरिथ्म के अभिसरण खंडहर। मेरे प्रश्न हैं: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

क्या यह स्थिति दिखाती है कि मेरे एल्गोरिथ्म में कुछ गड़बड़ है क्योंकि ईएम के हर कदम पर संभावना बढ़नी चाहिए?
मैट्रिक्स को सकारात्मक निश्चित करने के लिए व्यावहारिक तरीके क्या हैं?

संपादित करें: मैं एक मैट्रिक्स व्युत्क्रम लेम्मा का उपयोग करके व्युत्क्रम की गणना कर रहा हूं जो बताता है कि:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

जहां दाईं ओर केवल मैट्रिसेस के व्युत्क्रम शामिल हैं । $q\times q$

factor-analysis expectation-maximization

— एंडी अमोस
स्रोत

यह बेहतर ढंग से समझने में मदद कर सकता है कि कैसे

अपनी सकारात्मक निश्चितता खो देता है। इसका तात्पर्य यह है कि

या

(या दोनों) गैर-सकारात्मक निश्चित होते जा रहे हैं। यही कारण है कि जब ऐसा करने के लिए मुश्किल है

से सीधे गणना की जाती है

और भी कठिन है जब

अपनी विकर्ण पर वर्गों के साथ एक विकर्ण मैट्रिक्स के रूप में गणना की जाती है!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

आम तौर पर एफए

में @ शुभंकर , इसलिए

कभी सकारात्मक निश्चित नहीं है। लेकिन (सैद्धांतिक रूप से)

होना चाहिए, यह मानते हुए कि

'सभी शून्य से अधिक हैं।

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

यह इस सवाल से संबंधित है: stats.stackexchange.com/questions/6364/...

— गिलियड

@JMS धन्यवाद। मुझे लगता है कि मेरी टिप्पणी अभी भी प्रासंगिक है:

अनिश्चितकालीन हो सकता है, लेकिन अभी भी किसी भी नकारात्मक eigenvalues नहीं होना चाहिए। समस्याएं पैदा होगा जब की सबसे छोटी

हालांकि उलट एल्गोरिथ्म में संख्यात्मक त्रुटि के बराबर है,। यदि यह मामला है, एक ही समाधान करने के लिए SVD लागू करने के लिए है

बाहर वास्तव में छोटे (या नकारात्मक) eigenvalues और शून्य है, तो recompute

और जोड़ने के

।

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

यह

में छोटे तत्व हो गए हैं ;

के बाद से अन्यथा अच्छी तरह से वातानुकूलित किया जाना चाहिए

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

— JMS

ठीक है, जब से आप एफए कर रहे हैं मैं मान रहा हूं कि पूर्ण स्तंभ रैंक और । हमें हालांकि कुछ और विवरणों की आवश्यकता है। यह एक संख्यात्मक समस्या हो सकती है; यह आपके डेटा की समस्या भी हो सकती है। $B$ $q$ $q<p$

आप उलटा कैसे कंप्यूटिंग कर रहे हैं? क्या आपको स्पष्ट रूप से व्युत्क्रम की आवश्यकता है, या एक रेखीय प्रणाली के समाधान के रूप में गणना को फिर से व्यक्त कर सकते हैं? (यानी को लिए हल करें , जो आमतौर पर तेज और अधिक स्थिर है) $A^{-1}b$ $Ax=b$

क्या हो रहा है ? क्या अनुमान वास्तव में छोटे / 0 / नकारात्मक हैं? कुछ मायने में यह, महत्वपूर्ण कड़ी है, क्योंकि पाठ्यक्रम रैंक की कमी की है और परिभाषित करता है एक विलक्षण सहप्रसरण मैट्रिक्स जोड़ने से पहले , ताकि आप इसे उलट नहीं कर सकता। सकारात्मक विकर्ण मैट्रिक्स जोड़ना तकनीकी रूप से यह पूर्ण रैंक बनाता है लेकिन अभी भी बुरी तरह बीमार वातानुकूलित जा सकता है अगर छोटा है। $D$ $BB'$ $D$ $D$ $BB'+D$ $D$

अक्सर विशेष स्वभाव का प्रसरण (आपके लिए अनुमान , के विकर्ण तत्वों ) शून्य या यहाँ तक कि नकारात्मक निकट स्थित है; इन्हें हेयवुड केस कहा जाता है। उदाहरण के लिए देखें http://www.technion.ac.il/docs/sas/stat/chap26/sect21.htm (किसी भी FA पाठ को इस पर भी चर्चा करनी चाहिए, यह एक बहुत पुरानी और प्रसिद्ध समस्या है)। यह मॉडल गलत निर्धारण, आउटलेर्स, बुरी किस्मत, सौर फ्लेयर्स के परिणामस्वरूप हो सकता है ... एमएलई विशेष रूप से इस समस्या से ग्रस्त है, इसलिए यदि आपका ईएम एल्गोरिदम एमएलई को बाहर निकालने के लिए डिज़ाइन किया गया है। $\sigma^2_i$ $D$

$BB'+D$

— JMS
स्रोत

दूसरी बात यह है कि एल्गोरिदम के मुख्य भाग में, आप वास्तव में एक मैट्रिक्स को पलटना नहीं चाहते हैं। हालांकि मानक अनुमान प्राप्त करने के लिए आपको बहुत अंत में आवश्यकता हो सकती है। इस ब्लॉग पोस्ट को देखें johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— संस्कारम

पुनरावृत्तियों की संख्या बढ़ने के साथ डी मैट्रिक्स के मूल्य छोटे होते जा रहे हैं। शायद यह समस्या है जैसा आपने बताया।

— एंडी अमोस

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$