सबसे छोटा सहसंयोजक मैट्रिक्स खोजने के लिए उपयुक्त उपाय

Question

पाठ्यपुस्तक में मैं पढ़ रहा हूं कि वे दो कोविरियस मैट्रिसेस की तुलना करने के लिए सकारात्मक निश्चितता (अर्ध-सकारात्मक निश्चितता) का उपयोग करते हैं। यह विचार कि यदि pd है तो से छोटा है । लेकिन मैं इस रिश्ते का अंतर्ज्ञान पाने के लिए संघर्ष कर रहा हूं?$A-B$$B$$A$

यहाँ एक समान धागा है:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

परिपक्वता की तुलना करने के लिए निश्चितता का उपयोग करने के लिए अंतर्ज्ञान क्या है?

हालांकि जवाब अच्छे हैं लेकिन वे वास्तव में अंतर्ज्ञान को संबोधित नहीं करते हैं।

यहाँ एक उदाहरण है जो मुझे भ्रामक लगता है:

$$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$$

अब यहाँ अंतर का निर्धारक -25 है, इसलिए संबंध pd या psd नहीं है और इसलिए पहला मैट्रिक्स पहले से अधिक नहीं है?

मैं बस दो 3 * 3 कोवरियस मैट्रिसेस की तुलना करके देखना चाहता हूं कि कौन सा सबसे छोटा है? उनकी तुलना करने के लिए यूक्लिडियन मानदंड जैसी किसी चीज़ का उपयोग करना मेरे लिए अधिक सहज होगा? हालांकि इसका मतलब यह होगा कि ऊपर का पहला मैट्रिक्स दूसरी मैटिक से अधिक है। इसके अलावा मैं सिर्फ़ covariance मैट्रिसेस की तुलना करने के लिए इस्तेमाल किया जाने वाला pd / psd मानदंड देखता हूँ।

क्या कोई समझा सकता है कि pd / psd एक और उपाय जैसे कि यूक्लिडियन मानदंड का उपयोग करने से बेहतर क्यों है?

मैंने इस सवाल को गणित फोरम पर भी पोस्ट किया है (यह निश्चित नहीं था कि सबसे अच्छा क्या था) आशा है कि यह किसी भी नियम का उल्लंघन नहीं करेगा।

/math/628135/comparing-two-covariance-matrices

Comments

आप पढ़ने के लिए चाहते हो सकता है इस जहां के पीछे सकारात्मक (अर्ध) निश्चितता अंतर्ज्ञान माना जाता है। जब आप 2 प्रसरण तुलना aऔर b, अगर a-bसकारात्मक है तो हम कह सकते हैं कि परिवर्तनशीलता को दूर करने पर कि bसे बाहर aरहता है कुछ 'असली' परिवर्तनशीलता में छोड़ दिया a। इसी तरह बहुभिन्नरूपी भिन्नता (= कोविरियस मेट्रिसेस) Aऔर का मामला है B। यदि A-Bसकारात्मक निश्चित है तो इसका मतलब है कि A-Bयूक्लिडियन स्पेस में वैक्टर का कॉन्फ़िगरेशन "वास्तविक" है: दूसरे शब्दों में, से हटाने Bपर A, उत्तरार्द्ध अभी भी एक व्यवहार्य परिवर्तनशीलता है।

— ttnphns 17

दो कोविरियस मैट्रिस के "सबसे छोटे" से आपका क्या मतलब है?

— whuber

हाय व्हीबर, सहसंयोजक matrices प्रतिस्पर्धी अनुमानकों से संबंधित हैं, मैं अनुमानक का चयन करना चाहता हूं जिसमें सबसे छोटा विचरण हो। (क्या इससे बातें स्पष्ट होती हैं?)

— बाज

बाज: तो फिर सीधे अनुमान लगाने वालों की तुलना क्यों नहीं की जाती?

— Glen_b -Reinstate मोनिका

नमस्ते वहाँ विधि सेट की जाती है, जिसे वे विचरण कहते हैं (जिसमें सहसंयोजक शामिल हैं) के लिए अभिव्यक्ति दी गई है। हालांकि, भले ही मैं सिर्फ variances की तुलना करने के लिए था, इसमें अभी भी वेक्टर मूल्यों की तुलना करना शामिल होगा जिसमें मैट्रिक्स मूल्यों की तुलना करने के लिए समान समस्याएं होंगी?

— बाज

Answer 1

आपके द्वारा उल्लेख किए जाने वाले मैट्रिसेस के आदेश को Loewner ऑर्डर के रूप में जाना जाता है और सकारात्मक निश्चित मेट्रिसेस के अध्ययन में बहुत आंशिक रूप से उपयोग किया जाता है। पॉजिटिव-निश्चित (पोज़डेफ़) मैट्रोज़ के कई गुना पर ज्यामिति की एक पुस्तक-लंबाई का उपचार यहां है ।

मैं पहले अंतर्ज्ञान के बारे में आपके प्रश्न का समाधान करने की कोशिश करूंगा । A (सममितीय) मैट्रिक्स , posdef है अगर सभी । यदि सहसंयोजक मैट्रिक्स साथ एक यादृच्छिक चर (rv) है , तो c T X , कुछ एक-मंद उप-भूमि पर इसका प्रक्षेपण है, और V a r ( c T X ) = c T A c है । इसे अपने Q में A - B पर लागू करें , पहला: यह एक सहसंयोजक मैट्रिक्स है, दूसरा: सहसंयोजक मैट्रिक्स के साथ एक यादृच्छिक चर$A$$c^T A c\ge 0$$c \in \mathbb{R}^n$$X$$A$$c^T X$$\mathbb{Var}(c^T X) = c^T A c$$A-B$$B$ परियोजनाओंसभी दिशाओं मेंसहप्रसरण मैट्रिक्स के साथ एक आर.वी. की तुलना में छोटे विचरण के साथ$A$ । इससे यह सहज रूप से स्पष्ट हो जाता है कि यह आदेश केवल एक आंशिक हो सकता है, कई आरवी हैं जो अलग-अलग दिशाओं में बेतहाशा भिन्न भिन्नताओं के साथ प्रोजेक्ट करेंगे। कुछ यूक्लिडियन मानदंड के आपके प्रस्ताव में ऐसी प्राकृतिक सांख्यिकीय व्याख्या नहीं है।

आपका "भ्रमित करने वाला उदाहरण" भ्रमित करने वाला है क्योंकि दोनों मैट्रिसेस में निर्धारक शून्य है। इसलिए हर एक के लिए एक दिशा (eigenvector with eigenvalue शून्य) है जहां वे हमेशा शून्य के लिए प्रोजेक्ट करते हैं । लेकिन यह दिशा दो मैट्रिक्स के लिए अलग है, इसलिए उनकी तुलना नहीं की जा सकती है।

Loewner आदेश परिभाषित किया गया है ऐसा है कि $A \preceq B$ , $B$ की तुलना में अधिक सकारात्मक निश्चित है $A$ , अगर $B-A$ posdef है। यह एक आंशिक क्रम है, कुछ पोज़डेफ़ मेट्रिस के लिए न तो $B-A$ और न ही $A-B$ पोज़डेफ़ है। एक उदाहरण है:

$$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$$ इस चित्र को दिखाने का एक तरीका दो भूखंडों के साथ एक भूखंड खींच रहा है, लेकिन मूल पर केंद्रित है, मैट्रिसेस के साथ एक मानक तरीके से जुड़ा हुआ है (तब प्रत्येक दिशा में रेडियल दूरी विचरण के अनुपात के अनुपात में है) उस दिशा में प्रोजेक्ट करना):

इन मामलों में दो दीर्घवृत्त सम्‍मिलित होते हैं, लेकिन अलग-अलग घुमाए जाते हैं (वास्तव में कोण 45 डिग्री है)। यह इस तथ्य से मेल खाता है कि मैट्रिस $A$ और $B$ में समान स्वदेशी हैं, लेकिन आइजनवेक्टर को घुमाया जाता है।

जैसा कि यह उत्तर दीर्घवृत्त के गुणों पर निर्भर करता है, निम्नलिखित क्या सशर्त गाऊसी वितरण के पीछे अंतर्ज्ञान है? ज्यामितीय रूप से दीर्घवृत्त की व्याख्या करना सहायक हो सकता है।

अब मैं समझाऊंगा कि मेट्रिसेस से जुड़े एलिप्स को कैसे परिभाषित किया जाता है। एक आच्छादन मैट्रिक्स $A$ द्विघात रूप को परिभाषित करता है $Q_A(c) = c^T A c$ । यह एक फ़ंक्शन के रूप में प्लॉट किया जा सकता है, ग्राफ एक द्विघात होगा। यदि $A \preceq B$ तो $Q_B$ का ग्राफ हमेशा $Q_A$ के ग्राफ से ऊपर होगा । यदि हम ऊंचाई 1 पर क्षैतिज विमान के साथ रेखांकन काटते हैं, तो कटौती दीर्घवृत्त का वर्णन करेगी (जो वास्तव में दीर्घवृत्त को परिभाषित करने का एक तरीका है)। इस कटौती दीर्घवृत्त समीकरण द्वारा दिया जाता है

$$Q_A(c)=1, \quad Q_B(c)=1$$ और हम देखते हैं कि$A \preceq B$ के दीर्घवृत्त से मेल खाता है (अब इंटीरियर के साथ) ए के दीर्घवृत्त के भीतर समाहित है। यदि कोई आदेश नहीं है, तो कोई प्रतिबंध नहीं होगा। हम मानते हैं कि समावेशन आदेश लोवेनर आंशिक आदेश के विपरीत है, अगर हम नापसंद करते हैं कि हम व्युत्क्रम के दीर्घवृत्त खींच सकते हैं। इसका कारण यह है$A \preceq B$ के बराबर है$B^{-1} \preceq A^{-1}$ । लेकिन मैं यहाँ परिभाषित के रूप में दीर्घवृत्त के साथ रहूँगा।

एक दीर्घवृत्त का वर्णन अर्धवृत्त और उनकी लंबाई के साथ किया जा सकता है। हम यहाँ केवल $2\times 2$ -मैत्री की चर्चा करेंगे, क्योंकि वे वही हैं जो हम आकर्षित कर सकते हैं ... इसलिए हमें दो प्रमुख अक्षों और उनकी लंबाई की आवश्यकता है। यह पाया जा सकता है, जैसा कि यहां बताया गया है कि पोसडेफ मैट्रिक्स के एक ईगेंडेकोम्पोजिशन के साथ। तब प्रमुख कुल्हाड़ियों eigenvectors द्वारा दिया जाता है, और उनकी लंबाई $a,b$ गणना की जा सकती से eigenvalues $\lambda_1, \lambda_2$ द्वारा

$$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$$ $A$$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

मैं एक अंतिम उदाहरण दूंगा जहां मैट्रिसेस का आदेश दिया जा सकता है:

इस मामले में दो थे:

$$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$$

Answer 2

@kjetil b halvorsen आंशिक आदेश के रूप में सकारात्मक अर्ध-निश्चितता के पीछे ज्यामितीय अंतर्ज्ञान की एक अच्छी चर्चा देता है। मैं एक ही आभास पर एक अधिक मोटा हाथ ले जाऊँगा। एक जो आप अपने विचरण मैट्रिक्स के साथ क्या गणना की तरह से आगे बढ़ सकते हैं।

मान लीजिए कि आपके पास दो यादृच्छिक चर और । यदि वे स्केलर हैं, तो हम उनके रूपांतरों को स्केलर के रूप में गणना कर सकते हैं, और स्पष्ट तरीके से उनकी तुलना स्केलर वास्तविक संख्या और का उपयोग करके कर सकते हैं । इसलिए यदि और , तो हम कहते हैं कि यादृच्छिक चर में तुलना में एक छोटा विचरण है ।$x$$y$$V(x)$$V(y)$$V(x)=5$$V(y)=15$$x$$y$

दूसरी ओर, यदि और वेक्टर-मूल्यवान यादृच्छिक चर हैं (मान लें कि वे दो-वेक्टर हैं), तो हम उनके भिन्नताओं की तुलना कैसे करते हैं, यह स्पष्ट नहीं है। मान लें कि उनके संस्करण हैं: हम इन दो यादृच्छिक वैक्टर के variances की तुलना कैसे करते हैं? एक चीज जो हम कर सकते हैं, वह है कि उनके संबंधित तत्वों की भिन्नताओं की तुलना करें। अतः, हम कह सकते हैं कि का विचरण केवल वास्तविक संख्याओं की तुलना करके के विचरण से छोटा है , जैसे: और$x$$y$

$$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$$ $x_1$$y_1$$V(x_1)=1<8=V(y_1)$$V(x_2)=1<6=V(y_2)$। तो, शायद हम कह सकते हैं कि के विचरण है का विचरण अगर के प्रत्येक तत्व की विचरण है की इसी तत्व के विचरण । यह कह रही है जैसा होगा यदि विकर्ण तत्वों में से प्रत्येक के है की इसी विकर्ण तत्व ।$x$$\le$$y$$x$$\le$$y$$V(x) \le V(y)$$V(x)$$\le$$V(y)$

यह परिभाषा प्रथम दृष्टया उचित लगती है। इसके अलावा, जब तक विचरण मैट्रिक्स हम विचार कर रहे हैं, वे विकर्ण हैं (अर्थात सभी सहसंयोजक 0 हैं), यह अर्ध-निश्चितता का उपयोग करने के समान है। यही है, यदि भिन्नताएं फिर कह रहा है धनात्मक-अर्ध-निश्चित है (अर्थात ) केवल और । सभी तब तक अच्छे लगते हैं जब तक हम सहवास का परिचय नहीं देते। इस उदाहरण पर विचार करें:

$$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$$ $V(y)-V(x)$$V(x) \le V(y)$$V(x_1) \le V(y_1)$$V(x_2) \le V(y_2)$ $$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$$ अब, एक तुलना का उपयोग करके, जो केवल विकर्णों पर विचार करता है, हम कहेंगे , और, वास्तव में, यह अभी भी सच है कि तत्व-द्वारा-तत्व । इसके बारे में हमें परेशान करना शुरू हो सकता है कि अगर हम वैक्टर के तत्वों की कुछ भारित राशि की गणना करते हैं, जैसे कि और , तो हम इस तथ्य में भाग लेते हैं कि भले ही हम कह रहे हों ।$V(x) \le V(y)$$V(x_k) \le V(y_k)$$3x_1 + 2x_2$$3y_1 + 2y_2$$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$$V(x) \le V(y)$

यह अजीब है, है ना? जब और स्केलर होते हैं, तो गारंटी देता है कि किसी भी निश्चित, गैर-यादृच्छिक , ।$x$$y$$V(x) \le V(y)$$a$$V(ax) \le V(ay)$

, तो जो भी कारण के लिए, हम इस तरह यादृच्छिक चर के तत्वों के रैखिक संयोजन में रुचि रखते हैं, तो हम की हमारी परिभाषा को मजबूत करने के लिए चाहते हो सकता विचरण matrixes के लिए। हो सकता है कि हम कहना चाहते हैं और केवल अगर यह सत्य है कि , तो कोई बात नहीं है कि निश्चित संख्याएँ और हम चुनते हैं। ध्यान दें, यह विकर्ण-केवल परिभाषा की तुलना में एक मजबूत परिभाषा है क्योंकि अगर हम हैं तो इसे , और यदि हम तो हम कहते हैं ।$\le$$V(x) \le V(y)$$V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$$a_1$$a_2$$a_1=1,a_2=0$$V(x_1) \le V(y_1)$$a_1=0,a_2=1$$V(x_2) \le V(y_2)$

यह दूसरी परिभाषा, वह जो कहती है, यदि और केवल यदि हर संभव निश्चित वेक्टर , तो विचरण की तुलना करने की सामान्य विधि है धनात्मक अर्ध-निश्चितता के आधार पर मैट्रिक्स: अंतिम अभिव्यक्ति को देखें और सकारात्मक अर्ध-परिभाषा की परिभाषा देखें कि विचरण मैट्रिक्स के लिए की परिभाषा को वास्तव में चुना जाता है ताकि गारंटी दे सके यदि और केवल अगर किसी भी विकल्प के लिए , अर्थात जब धनात्मक अर्ध है -definite।$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$

$$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$$ $\le$$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$$\left( V(y)-V(x) \right)$

तो, आपके प्रश्न का उत्तर यह है कि लोग कहते हैं कि एक विचरण मैट्रिक्स एक विचरण मैट्रिक्स से छोटा है यदि सकारात्मक अर्ध-निश्चित है क्योंकि वे अंतर्निहित यादृच्छिक वैक्टर के तत्वों के रैखिक संयोजनों के variances की तुलना करने में रुचि रखते हैं। आप जो परिभाषा चुनते हैं वह इस प्रकार है कि आप क्या गणना करने में रुचि रखते हैं और कैसे यह परिभाषा आपको उन गणनाओं में मदद करती है।$V$$W$$W-V$