क्या एक नमूना सहसंयोजक मैट्रिक्स हमेशा सममित और सकारात्मक निश्चित होता है?

33

जब एक नमूने के सहसंयोजक मैट्रिक्स की गणना की जाती है, तो क्या एक सममित और सकारात्मक-निश्चित मैट्रिक्स प्राप्त करने की गारंटी होती है?

वर्तमान में मेरी समस्या में 4600 अवलोकन वैक्टर और 24 आयामों का एक नमूना है।

sampling covariance

— मोर्टेन
स्रोत

सहसंयोजक मैट्रिक्स के नमूने के लिए मैं सूत्र का उपयोग करता हूं: जहां नमूनों की संख्या है और नमूना माध्य है।

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— मोर्टन

4

जिसे आम तौर पर 'नमूना सहसंयोजक मैट्रिक्स की गणना', या 'सहसंयोजक मैट्रिक्स का नमूना' के बजाय 'सहसंयोजक मैट्रिक्स का आकलन' कहा जाएगा।

— Glen_b -Reinstate मोनिका

1

एक सामान्य स्थिति जिसमें सहसंयोजक मैट्रिक्स निश्चित नहीं है, जब 24 "आयाम" एक मिश्रण की रचना को रिकॉर्ड करता है जो 100% तक बैठता है।

— whuber

41

वैक्टर का एक नमूना के लिए , साथ , नमूना मतलब वेक्टर है और नमूना सहसंयोजक मैट्रिक्स एक नॉनजो वेक्टर के लिए , हमारे पास इसलिए, हमेशा सकारात्मक अर्ध-निश्चित है । $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

के सकारात्मक निश्चित होने के लिए अतिरिक्त स्थिति को व्हीलर की टिप्पणी में दिया गया था। यह इस प्रकार है। $Q$

परिभाषित करें , । किसी भी nonzero , शून्य है अगर और केवल अगर , प्रत्येक । मान लीजिए कि सेट spans । फिर, वास्तविक संख्याएँ जैसे कि । लेकिन फिर हमारे पास , जो कि , एक विरोधाभास है। इसलिए, यदि का स्पैन , तो $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ सकारात्मक निश्चित है । यह स्थिति बराबर है । $\mathrm{rank} [z_1 \dots z_n] = k$

— जेन
स्रोत

2

मुझे यह दृष्टिकोण पसंद है, लेकिन कुछ देखभाल की सलाह देगा: जरूरी नहीं कि निश्चित सकारात्मक हो। ऐसा करने के लिए (आवश्यक और पर्याप्त) स्थितियां कोंस्टेंटिन के जवाब में मेरी टिप्पणी में वर्णित हैं।

Q

$Q$

— whuber

1

चूंकि की रैंक बराबर या उससे कम है , इसलिए रैंक के लिए शर्त को सरल बनाया जा सकता है।

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— एक प्रस्ताव

13

एक सही सहसंयोजक मैट्रिक्स हमेशा सममित और सकारात्मक * अर्ध * निश्चित होता है।

दो चर के बीच सहसंयोजक को । $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

यदि आप और के पदों को बदलते हैं तो यह समीकरण नहीं बदलता है । इसलिए मैट्रिक्स को सममित होना पड़ता है। $x$ $y$

यह भी सकारात्मक होना चाहिए * अर्ध- * निश्चित क्योंकि:

आप हमेशा अपने चर का रूपांतरण इस तरह से कर सकते हैं कि सहसंयोजक-मैट्रिक्स विकर्ण हो जाए। विकर्ण पर, आप अपने रूपांतरित चर के रूपांतरों को देखते हैं जो या तो शून्य या सकारात्मक हैं, यह देखना आसान है कि यह रूपांतरित मैट्रिक्स को सकारात्मक अर्धवार्षिक बनाता है। हालांकि, चूंकि परिभाषा की परिभाषा परिवर्तन-अपरिवर्तनीय है, इसलिए यह निम्नानुसार है कि किसी भी चुने हुए समन्वय प्रणाली में सहसंयोजक-मैट्रिक्स सकारात्मक अर्धचालक है।

जब आप अपने सहसंयोजक मैट्रिक्स का अनुमान लगाते हैं (अर्थात, जब आप अपने नमूना सहसंयोजक की गणना करते हैं ) तो ऊपर दिए गए सूत्र के साथ, यह obv होगा। अभी भी सममित रहें। यह भी सकारात्मक semidefinite (मुझे लगता है) होना चाहिए, क्योंकि प्रत्येक नमूने के लिए, पीडीएफ जो प्रत्येक नमूना बिंदु को समान संभावना देता है, उसके सहसंयोजक के रूप में नमूना सहसंयोजक है (किसी ने इसे सत्यापित करें), इसलिए ऊपर बताई गई सभी चीजें अभी भी लागू होती हैं।

— कोंस्टेंटिन शुबर्ट
स्रोत

1

पुनश्च: मुझे लगता है कि यह आपका सवाल नहीं है ...

— कॉन्स्टेंटिन Schubert

लेकिन अगर आप यह जानना चाहते हैं कि आपका नमूना एल्गोरिथ्म इसकी गारंटी देता है, तो आपको यह बताना होगा कि आप कैसे नमूना ले रहे हैं।

— कॉन्स्टेंटिन शुबर्ट

1

मोर्टेन, समरूपता सूत्र से तत्काल है। अर्द्ध निश्चितता दिखाने के लिए, आप स्थापित करने की आवश्यकता है कि

किसी भी वेक्टर के लिए

। लेकिन

है

बार की राशि (जहां , जिस कारण से की राशि है = , जो वेक्टर की चौकोर लंबाई है । क्योंकि और वर्गों का योग कभी भी ऋणात्मक नहीं हो सकता है, , QED

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$ । यह भी पता चलता है कि ठीक उन वैक्टर के लिए जो सभी के लिए ओर्थोगोनल ( यानी , सभी के लिए )। जब अवधि, तब और निश्चित होता है।

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

यदि आप किसी मैट्रिक्स को ज्यामितीय रूप से समझते हैं तो @Morten ट्रांसफ़ॉर्मेशन-इनविरेंस बहुत स्पष्ट है। अपने वेक्टर को एक तीर के रूप में सोचें। संख्याएँ जो आपके वेक्टर के समन्वय प्रणाली के साथ बदलती हैं, लेकिन आपके वेक्टर की दिशा और लंबाई नहीं है। अब, एक मैट्रिक्स के साथ गुणा का मतलब है कि आप उस तीर की लंबाई और दिशा बदलते हैं, लेकिन फिर से प्रभाव ज्यामितीय रूप से प्रत्येक समन्वय प्रणाली में समान है। स्केलर उत्पाद के साथ भी ऐसा ही है: इसे ज्यामितीय रूप से परिभाषित किया गया है और जियोमेट्री परिवर्तन-अपरिवर्तनीय है। तो आपके समीकरण का सभी प्रणालियों में समान परिणाम है।

— कॉन्सटेंटिन शुबर्ट

1

@ मॉर्टेन जब आप निर्देशांक में सोचते हैं, तो तर्क इस तरह से होता है: जब आपका परिवर्तन मैट्रिक्स है तब: with रूप में रूपांतरित समन्वय-सदिश, , इसलिए जब आप प्रत्येक तत्व को रूपांतरित करते हैं समीकरण , आपको , जो बराबर है , और, क्योंकि A ऑर्थोगोनल है। यूनिट मैट्रिक्स है और हमें फिर से , जिसका अर्थ है कि रूपांतरित और अनियंत्रित समीकरण का परिणाम समान स्केलर होता है, इसलिए उनके दोनों या तो अधिक शून्य नहीं होते हैं।

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— कॉन्स्टेंटिन शुबर्ट

0

Variance-Covariance मैट्रिसेस हमेशा सममित होते हैं, क्योंकि यह उक्त मैट्रिक्स के प्रत्येक शब्द की गणना करने के लिए वास्तविक समीकरण से सिद्ध किया जा सकता है।

इसके अलावा, Variance-Covariance मैट्रिस हमेशा आकार n के वर्ग मैट्रिसेस होते हैं, जहाँ n आपके प्रयोग में चर की संख्या होती है।

सममितीय मैट्रिसेस के आइजनवेक्टर हमेशा ऑर्थोगोनल होते हैं।

पीसीए के साथ, आप मैट्रिक्स के आइगेनवेल्यूज़ को यह देखने के लिए निर्धारित करते हैं कि क्या आप अपने प्रयोग में उपयोग किए जाने वाले चर की संख्या को कम कर सकते हैं।

— GEN
स्रोत

1

आपका स्वागत है जनरल ध्यान दें कि आपका उपयोगकर्ता नाम, पहचान, और आपके उपयोगकर्ता पृष्ठ का एक लिंक आपके द्वारा किए गए प्रत्येक पोस्ट में स्वचालित रूप से जुड़ जाता है, इसलिए आपके पोस्ट पर हस्ताक्षर करने की कोई आवश्यकता नहीं है।

— एंटोनी वर्नेट

3

सकारात्मक जवाब के मुद्दे को संबोधित करके इस उत्तर को बेहतर बनाया जा सकता है

— सिल्वरफ़िश

यह वास्तव में इस सवाल का जवाब नहीं देता है: यह सिर्फ असमर्थित दावे का एक संग्रह है जो प्रासंगिक हो सकता है या नहीं भी हो सकता है। क्या आप इसे इस तरह से नकार सकते हैं, जिससे पता चलता है कि सवाल का जवाब कैसे दिया जाता है और तर्क को समझाता है?

— whuber

0

मैं जेन के अच्छा तर्क को जिसके बाद बताता है कि क्यों हम अक्सर कहते हैं कि सहप्रसरण मैट्रिक्स सकारात्मक है निश्चित करता है, तो जोड़ना होगा । $n-1\geq k$

यदि एक सतत संभावना वितरण तो के बेतरतीब नमूने हैं लगभग निश्चित रूप से (संभाव्यता सिद्धांत अर्थ में) रैखिक रूप से स्वतंत्र हैं। अब, रैखिक स्वतंत्र नहीं है क्योंकि हैं $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ , लेकिन रैखिक रूप से स्वतंत्र, स्पैन । यदि , वे भी काल । $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

समाप्त करने के लिए, अगर एक सतत संभावना वितरण और के बेतरतीब नमूने हैं , सहप्रसरण मैट्रिक्स सकारात्मक निश्चित है। $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
स्रोत

0

मेरे जैसे गैर-गणितीय पृष्ठभूमि वाले उन लोगों के लिए जो जल्दी से गणितीय गणित के फार्मूले को नहीं पकड़ते हैं, यह सबसे अधिक उत्तर दिए गए उत्तर के लिए एक काम किया उदाहरण का उदाहरण है। सहसंयोजक मैट्रिक्स को अन्य तरीकों से भी प्राप्त किया जा सकता है।

— परीक्षित भिंडे
स्रोत

क्या आप बता सकते हैं कि यह स्प्रेडशीट सहसंयोजक मैट्रिक्स की सकारात्मक-निश्चितता को कैसे प्रदर्शित करती है?

— whuber

ऐसा नहीं होता। मेरे पास अपने उल्लेखनीय रूप में कोवरियन मैट्रिक्स की कल्पना करने में एक कठिन समय था। इसलिए मैंने अपने लिए यह शीट बनाई और सोचा कि इससे किसी की मदद हो सकती है।

— परीक्षित भिंडे

कृपया, प्रश्न का उत्तर शामिल करने के लिए इसे संपादित करें।

— whuber

संपन्न :) सुझाव देने के लिए धन्यवाद।

— परिक्षित भिंडे

सवाल "एक सममित और सकारात्मक-निश्चित मैट्रिक्स प्राप्त करने की गारंटी है?" मैं आपके पोस्ट के किसी भी तत्व को देखने में असमर्थ हूं जो इसे संबोधित करता है, क्योंकि (1) यह कभी भी एक सहसंयोजक मैट्रिक्स की पहचान नहीं करता है; (२) यह किसी भी चीज़ की सकारात्मक-निश्चितता को प्रदर्शित नहीं करता है।

— whuber