एक सहसंबंध मैट्रिक्स के शून्य eigenvalue के लिए पर्याप्त और आवश्यक शर्तें


11

यादृच्छिक चर को देखते हुए , प्रायिकता वितरण , सहसंबंध मैट्रिक्स सकारात्मक अर्ध-निश्चित है, अर्थात इसका सकारात्मक या शून्य हैं।nXiP(X1,,Xn)Cij=E[XiXj]E[Xi]E[Xj]

मैं पर स्थिति में दिलचस्पी कि आवश्यक और / या पर्याप्त हैं के लिए के लिए शून्य eigenvalues। उदाहरण के लिए, एक पर्याप्त शर्त यह है कि यादृच्छिक चर स्वतंत्र नहीं हैं: कुछ वास्तविक संख्याओं के लिए । उदाहरण के लिए, यदि P (X_1, \ ldots, X_n) = \ delta (X_1-X_2) p (X_2, \ ldots, X_n) , तो \ vec u = (1, -1,0, \ ldots, 0) है C का एक eigenvector शून्य eigenvalue के साथ। अगर हमारे पास हूँ पर स्वतंत्र रैखिक कमी x_i 'इस प्रकार की है, यह अर्थ होगा मीटर शून्य eigenvalues।PCmiuiXi=0uiP(X1,,Xn)=δ(X1X2)p(X2,,Xn)u=(1,1,0,,0)CmXim

वहाँ कम से कम एक अतिरिक्त (लेकिन तुच्छ) संभावना है, जब है Xa=E[Xa] कुछ के लिए a (यानी P(X1,,Xn)δ(XaE[Xa]) ), में है कि के बाद से मामला Cij में एक कॉलम और शून्य की एक पंक्ति है: Cia=Cai=0,i । जैसा कि यह वास्तव में दिलचस्प नहीं है, मैं मान रहा हूं कि संभावना वितरण उस रूप का नहीं है।

मेरा प्रश्न यह है: क्या रेखीय बाधाएं शून्य ईंजेन्यूएल्स को प्रेरित करने का एकमात्र तरीका है (यदि हम ऊपर दिए गए तुच्छ अपवाद को मना करते हैं), या यादृच्छिक चर पर गैर-रैखिक बाधाएं भी सी के शून्य eigenvalues ​​उत्पन्न कर सकती हैंC ?


1
परिभाषा के अनुसार, वैक्टर का एक संग्रह जिसमें शून्य वेक्टर शामिल है, रैखिक रूप से निर्भर है, इसलिए आपकी अतिरिक्त संभावना कुछ भी नया या अलग नहीं है। क्या आप कृपया समझा सकते हैं कि " एग्निवेल्यू होने" से आपका क्या मतलब है ? यह किसी प्रकार की टंकण त्रुटि की तरह दिखता है। m
whuber

@ शुभकर्ता: हाँ, टाइपो। सही किया। मुझे लगता है कि दो स्थितियां अलग हैं: एक चर के बीच के संबंध के बारे में है, जबकि दूसरा केवल चर की संभावना के बारे में है (अर्थात् )। p(Xa)=δ(XaE(Xa))
आदम

आपके प्रश्न का निरूपण भ्रामक है। यह रैखिक बीजगणित के एक प्राथमिक प्रमेय की तरह दिखता है, लेकिन "स्वतंत्र" यादृच्छिक चर के संदर्भ से यह पता चलता है कि यह लगभग पूरी तरह से हो सकता है। क्या यह समझना सही होगा कि हर बार जब आप "स्वतंत्र" का उपयोग करते हैं तो आप रैखिक स्वतंत्रता के अर्थ में होते हैं न कि (सांख्यिकीय) स्वतंत्र यादृच्छिक चर के अर्थ में? "लापता डेटा" का आपका संदर्भ और भी अधिक भ्रमित करने वाला है, क्योंकि यह बताता है कि आपके "यादृच्छिक चर" का वास्तव में डेटा मैट्रिक्स के सिर्फ कॉलम का मतलब हो सकता है। इन अर्थों को स्पष्ट करते हुए देखना अच्छा होगा।
whuber

@ उत्तर: मैंने प्रश्न संपादित किया है। उम्मीद है कि यह स्पष्ट है।
एडम

स्वतंत्रता के लिए स्थिति जरूरी नहीं कि शून्य होना चाहिए (कोई भी निरंतर करेगा), जब तक कि प्रत्येक का मतलब शून्य न हो। iuiXi=0Xi
सेक्स्टस एम्पिरिकस

जवाबों:


6

शायद अंकन को सरल बनाकर हम आवश्यक विचारों को सामने ला सकते हैं। यह पता चलता है कि हमें अपेक्षाओं या जटिल सूत्रों को शामिल करने की आवश्यकता नहीं है, क्योंकि सब कुछ विशुद्ध रूप से बीजगणितीय है।


गणितीय वस्तुओं की बीजगणितीय प्रकृति

यह सवाल वैक्टर के रूप में जाने वाले उन चरों के बीच यादृच्छिक चर और (2) रैखिक संबंधों के परिमित सेट के (1) सहसंयोजक मैट्रिक्स के बीच संबंधों की चिंता करता हैX1,,Xn

प्रश्न में सदिश स्थान सभी परिमित-भिन्नता वाले यादृच्छिक चर (किसी भी दिए गए प्रायिकता स्थान ) का सेट है, जो लगभग निश्चित रूप से निरंतर चर के उप-भाग को निरूपित करता है, जिसे निरूपित किया जाता है (यही कारण है कि, हम दो यादृच्छिक चर और को एक ही वेक्टर मानते हैं जब शून्य संभावना है कि इसकी अपेक्षा से अलग है।) हम केवल परिमित-आयामी वेक्टर के साथ काम कर रहे हैं। space द्वारा उत्पन्न किया गया है जो एक विश्लेषणात्मक के बजाय एक बीजीय समस्या है।एल 2 ( Ω , पी ) / आरएक्स वाई एक्स - वाई वी एक्स मैं ,(Ω,P)L2(Ω,P)/R.XYXYVXi,

क्या हम variances के बारे में जानने की जरूरत है

V केवल एक वेक्टर स्थान से अधिक है: यह एक द्विघात मॉड्यूल है, क्योंकि यह विचरण से सुसज्जित है। सभी प्रकार के बदलावों के बारे में हमें पता होना चाहिए:

  1. विचरण एक अदिश-मान समारोह है संपत्ति के साथ कि सभी वैक्टर के लिएक्यू ( एक एक्स ) = एक 2 क्यू ( एक्स ) एक्स QQ(aX)=a2Q(X)X.

  2. विचरण nondegenerate है।

दूसरे को कुछ स्पष्टीकरण की आवश्यकता है। एक "डॉट उत्पाद" निर्धारित करता है, जो कि एक सममित बिलिनियर रूप हैQ

XY=14(Q(X+Y)Q(XY)).

(इस कोर्स में कुछ भी नहीं की चर के सहप्रसरण के अलावा अन्य है और वेक्टर) और हैं ओर्थोगोनल जब उनके डॉट उत्पाद है ओर्थोगोनल पूरक वैक्टर के किसी सेट की के होते हैं सब वैक्टर ओर्थोगोनल प्रत्येक तत्व of लिखावाई एक्स वाई 0. एकवी ,XY.XY0.AVA,

A0={vVa.v=0 for all vV}.

यह स्पष्ट रूप से एक वेक्टर स्थान है। जब , है nondegenerate।QV0={0}Q

मुझे यह साबित करने की अनुमति दें कि विचरण वास्तव में नोंडेगेंरेट है, भले ही यह स्पष्ट प्रतीत हो। मान लीजिए कि का एक गैर-अक्षीय तत्व है इसका मतलब है सभीसमतुल्य रूप,वी एक्स Y = 0 वाई वी ;XV0.XY=0YV;

Q(X+Y)=Q(XY)

सभी वैक्टर के लिए लेना देता है= XY.Y=X

4Q(X)=Q(2X)=Q(X+X)=Q(XX)=Q(0)=0

और इस प्रकार हालांकि, हम जानते हैं (चेबीशेव की असमानता का उपयोग करते हुए, शायद) कि शून्य संस्करण के साथ एकमात्र यादृच्छिक चर लगभग निश्चित रूप से स्थिर हैं, जो उन्हें क्यूईडी में शून्य वेक्टर के साथ पहचानते हैं वी ,Q(X)=0.V,

प्रश्नों की व्याख्या करना

सवालों की ओर लौटते हुए, पूर्ववर्ती अंकन में यादृच्छिक चर के सहसंयोजक मैट्रिक्स , उनके सभी डॉट उत्पादों का एक नियमित सरणी है,

T=(XiXj).

बारे में सोचने का एक अच्छा तरीका है : यह किसी भी वेक्टर भेजकर सामान्य तरीके से पर एक रैखिक परिवर्तन को परिभाषित करता है। वेक्टर जिसका घटक मैट्रिक्स गुणन नियम द्वारा दिया गया हैआर एन एक्स = ( एक्स 1 , ... , x n ) आर एन टी ( x ) = y = ( y 1 , ... , x n ) मैं वेंTRnx=(x1,,xn)RnT(x)=y=(y1,,xn)ith

yi=j=1n(XiXj)xj.

गिरी इस रैखिक परिवर्तन का उपस्पेस यह शून्य करने के लिए भेजता है:

Ker(T)={xRnT(x)=0}.

पूर्वगामी समीकरण का अर्थ है कि जब हरixKer(T),i

0=yi=j=1n(XiXj)xj=Xi(jxjXj).

चूँकि यह हर लिए सही है यह : , के द्वारा ही सभी वैक्टरों के लिए है। नतीजतन, जब वेक्टर द्वारा दिया जाता है, तो में निहित होता है चूँकि विचरण , इसका अर्थ है अर्थात, मूल यादृच्छिक चर के बीच एक रैखिक निर्भरता का वर्णन करता है ।एक्स मैं वी एक्स केर ( टी ) , Σ जे एक्स जे एक्स जे वी 0जे एक्स जे एक्स जे = 0. एक्स एनi,XiVxKer(T),jxjXjV0.jxjXj=0.xn

आप आसानी से जांच सकते हैं कि तर्क की यह श्रृंखला प्रतिवर्ती है:

वैक्टर के रूप में बीच रैखिक निर्भरताएं के कर्नेल के तत्वों के साथ एक-से-एक पत्राचार में हैंXj T.

(याद रखें, यह कथन अभी भी को स्थान में एक स्थिर बदलाव के रूप में परिभाषित करता है - अर्थात, तत्वों के रूप में --rather के रूप में बस यादृच्छिक चर।)एल 2 ( Ω , पी ) / आरXjL2(Ω,P)/R

अंत में, परिभाषा के द्वारा, एक eigenvalue की किसी भी अदिश है जिसके लिए वहां मौजूद एक अशून्य वेक्टर के साथ जब एक eigenvalue है, तो संबंधित eigenvectors का स्थान का कर्नेल (स्पष्ट रूप से) हैλ x T ( x ) = λ x λ = 0 टी TλxT(x)=λx.λ=0T.


सारांश

हम प्रश्नों के उत्तर पर आ गए हैं: यादृच्छिक चर के रैखिक निर्भरता का सेट, तत्वों की योग्यता एक-से-एक के साथ मेल खाती है उनके सहसंयोजक मैट्रिक्स के कर्नेल ऐसा इसलिए है क्योंकि विचरण एक नोंग्जेनरेट चतुर्भुज रूप है। कर्नेल भी शून्य eigenvalue (या कोई शून्य eigenvalue नहीं होने पर शून्य उप-स्थान) से संबंधित eigenspace है।L2(Ω,P)/R,T.


संदर्भ

मैंने काफी हद तक अंकन और अध्याय IV की कुछ भाषा को अपनाया है

जीन-पियरे सेरे, ए कोर्स इन अरिथमैटिक। स्प्रिंगर-वेरलाग 1973।


वाह, यह बहुत अच्छा है! बस एक सवाल यह सुनिश्चित करने के लिए कि मुझे सब कुछ समझ में आता है: जब आप " as vectors" लिखते हैं, तो इसका मतलब यह नहीं है कि आप वेक्टर में यादृच्छिक चर (अर्थात X = ( X 1 , , X n ) ), या आप करते हैं। ? यदि मैं सही हूं, तो मैं अनुमान लगा रहा हूं कि आप यादृच्छिक वेरिएबल X i के संभावित मानों को वेक्टर में एकत्रित कर रहे हैं , जबकि प्रायिकता का वितरण विचरण की परिभाषा में छिपा है, है ना? XjX=(X1,,Xn)Xi
एडम

मुझे लगता है कि मुख्य पहलू जो बिल्कुल स्पष्ट नहीं है, वह निम्नलिखित है (जो संभवतः संभाव्यता सिद्धांत के मेरे औपचारिक ज्ञान की कमी को दिखा सकता है): आप यह दिखाते हैं कि यदि कोई 0 स्वदेशी है, तो हमारे पास । यह बाधा संभावित वितरण P का संदर्भ नहीं देती है, जो Q में छिपी हुई है (मुझे लगता है कि यह इस प्रदर्शन के बारे में चतुर बिंदु है)। लेकिन पी के संदर्भ के बिना एक्स 1 = एक्स 2 होने का क्या मतलब है ? या इसका मतलब सिर्फ इतना है कि P ly ( X 1 - X 2 )X1=X2PQX1=X2PPδ(X1X2), लेकिन फिर हमें कैसे पता चलेगा कि यह डेल्टा फ़ंक्शन में एक्स 1 और एक्स 2 का रैखिक संयोजन X1X2 होना चाहिए ?
एडम

मुझे डर है कि मैं इस संदर्भ में एडम के "डेल्टा फ़ंक्शन" के आपके उपयोग को नहीं समझता। यह आंशिक रूप से है क्योंकि मुझे इसकी कोई आवश्यकता नहीं दिखती है और आंशिक रूप से क्योंकि संकेतन अस्पष्ट है: उदाहरण के लिए यह क्रोनकर डेल्टा या डिराक डेल्टा होगा?
whuber

यह एक क्रोनर या डायराक होगा जो चर (असतत या निरंतर) पर निर्भर करता है। ये डेल्टा एकीकरण माप का हिस्सा हो सकते हैं, उदाहरण के लिए मैं 2-बाय -2 मेट्रिसेस (इसलिए चार वास्तविक चर एक्स 1 , एक्स 2 , एक्स 3 और एक्स 4 को कुछ वजन के साथ एकीकृत करता हूं) ( पी = एक्सप ( - t r) ( एम एम टी ) ) ), या मैं एक उप-समूह को एकीकृत। अगर ऐसा है सममित मैट्रिक्स (उदाहरण के लिए, जिसका तात्पर्य है एक्स 2 = एक्स 3MX1X2X3X4P=exp(tr(M.MT))X2=X3), मैं औपचारिक रूप से गुणा करके लगाया जा सकता है कि द्वारा δ ( एक्स 1 - एक्स 2 ) । यह एक रेखीय बाधा होगी। गैर-रेखीय बाधा का एक उदाहरण मार्टिज़न वेटरिंग्स के उत्तर के नीचे टिप्पणियों में दिया गया है। Pδ(X1X2)
एडम

(जारी) सवाल यह है: गैर-रैखिक बाधाओं को मैं अपने चर पर जोड़ सकता है कि क्या एक 0 प्रतिध्वनि पैदा कर सकता है। आपके उत्तरों से, यह प्रतीत होता है: केवल गैर-रेखीय बाधा जो कि रैखिक बाधा का संकेत देती है (जैसा कि मार्टिज़न वेटरिंग्स के जवाब के नीचे टिप्पणी में अनुकरणीय है)। शायद समस्या यह है कि समस्या के बारे में सोचने का मेरा तरीका भौतिकविद् के दृष्टिकोण से है, और मैं इसे एक अलग भाषा में समझाने के लिए संघर्ष करता हूं (मुझे लगता है कि इस सवाल को पूछने के लिए यहां सही जगह है, कोई भौतिकी नहीं। ईएस)।
एडम

5

रैखिक स्वतंत्रता केवल पर्याप्त नहीं है, बल्कि एक नेकसीरी स्थिति भी है

यह दर्शाने के लिए कि विचरण-सहसंयोजक मैट्रिक्स में शून्य के बराबर आईजेनवेल्यू हैं यदि और केवल यदि चर रैखिक रूप से स्वतंत्र नहीं हैं, तो यह केवल यह दिखाया जाना है कि "यदि मैट्रिक्स में शून्य के बराबर आईजेनवेल्यूल्स हैं तो चर रैखिक रूप से स्वतंत्र नहीं हैं"।

यदि आपके पास लिए एक शून्य ईजेंवल्यू है तो कुछ रैखिक संयोजन (eigenvector v द्वारा परिभाषित ) हैCij=Cov(Xi,Xj)v

Y=i=1nvi(Xi)

ऐसा है कि

Cov(Y,Y)=i=1nj=1nvivjCov(Xi,Xj)=i=1nvij=1nvjCij=i=1nvi0=0

जिसका अर्थ है कि जरूरतों एक निरंतर होने के लिए और इस तरह चर एक्स मैं है एक निरंतर को जोड़ने के लिए और या तो स्थिरांक खुद को (तुच्छ मामले) या नहीं रैखिक स्वतंत्र हैं।YXi

- साथ समीकरण में पहली पंक्ति सहसंयोजक कोव ( एक U + b V , c W + d X ) = a c की संपत्ति के कारण हैCov(Y,Y)

Cov(aU+bV,cW+dX)=acCov(U,W)+bcCov(V,W)+adCov(U,X)+bdCov(V,X)

- तीसरी लाइन से पीछे से कदम एक शून्य eigenvalue की संपत्ति की वजह से है

j=1nvjCij=0


गैर-रैखिक बाधाएं

इसलिए, चूंकि रैखिक बाधाएं एक आवश्यक स्थिति है (केवल पर्याप्त नहीं), गैर-रैखिक बाधाएं केवल तब ही प्रासंगिक होंगी जब वे अप्रत्यक्ष रूप से एक आवश्यक (आवश्यक) रैखिक बाधा का संकेत दें।

वास्तव में, शून्य eigenvalue और रैखिक बाधाओं से जुड़े eigenvectors के बीच एक सीधा पत्राचार है।

Cv=0Y=i=1nviXi=const

इस प्रकार शून्य-रेखीय बाधाओं के कारण गैर-रैखिक बाधाएं, संयुक्त रूप से, कुछ रैखिक अवरोध पैदा करती हैं।


गैर-रेखीय बाधाएं रैखिक बाधाओं को कैसे जन्म दे सकती हैं

टिप्पणियों में आपका उदाहरण यह सहज रूप से दिखा सकता है कि गैर-रैखिक बाधाएं व्युत्पत्ति को उलट कर रैखिक बाधाओं को कैसे जन्म दे सकती हैं। निम्नलिखित गैर-रेखीय बाधाओं

a2+b2=1c2+d2=1ac+bd=0adbc=1

को कम किया जा सकता है

a2+b2=1c2+d2=1ad=0b+c=0

आप इसका उलटा कर सकते हैं । कहते हैं कि आपके पास गैर-रेखीय प्लस रैखिक बाधाएं हैं, तो यह कल्पना करना अजीब नहीं है कि हम रैखिक बाधाओं को गैर-रैखिक बाधाओं में से रैखिक रैखिक बाधाओं को कैसे बदल सकते हैं। जैसे जब हम और b = - c को गैर-रैखिक रूप में 2 + b 2 = 1 में प्रतिस्थापित करते हैं तो आप एक और संबंध को d - b c = 1 बना सकते हैं । और जब आप एक = d और c = - गुणा करते हैंa=db=ca2+b2=1adbc=1a=d तो आप प्राप्त एक = - c=bac=bd


मुझे लगता है कि यह (और व्हिबर द्वारा उत्तर) मेरे प्रश्न का एक अप्रत्यक्ष उत्तर है (जो था: "रैखिक निर्भरता एकमात्र तरीका है एक शून्य eigenvalue प्राप्त करने के लिए") इस तरह से: भले ही यादृच्छिक चर के बीच निर्भरता गैर हो- रेखीय, यह हमेशा सिर्फ लिख कर एक रेखीय निर्भरता के रूप में लिखा जा सकता है । हालांकि मैं वास्तव में संभव गैर-रेखीय बाधाओं को चिह्नित करने के लिए रास्ता तलाश रहा था, मुझे लगता है कि यह फिर भी एक उपयोगी परिणाम है। Y=iνiXi
एडम

हां, मुझे पता है ... मैं जो कह रहा हूं वह यह है कि अगर कोई गैर-रैखिक निर्भरता है और एक शून्य प्रतिजनी है, तो आपके उत्तर से, इसका मतलब है कि गैर-रैखिक निर्भरता किसी तरह से "तथ्यपूर्ण" हो सकती है एक रैखिक निर्भरता में। यह एक कमजोर संस्करण है जिसे मैं ढूंढ रहा था, लेकिन फिर भी कुछ।
एडम

आपका एक उदाहरण जो काम नहीं करता है, जिसका अर्थ यह नहीं है कि यह मामला नहीं हो सकता ...
एडम

यहाँ आपके कहने का एक प्रति-उदाहरण है (यदि आपको लगता है कि यह नहीं है, तो इससे हमें यह पता लगाने में मदद मिल सकती है कि समस्या के मेरे सूत्रीकरण के साथ क्या गलत है :)): 2-बाय -2 रैंडम मैट्रिक्स , गैर-रेखीय बाधा एम M T = 1 और det M = 1 । इन 3 गैर-रेखीय अवरोधों को 2 रैखिक बाधाओं के संदर्भ में फिर से लिखा जा सकता है, और एक रैखिक: जिसका अर्थ है कि सहसंयोजक मैट्रिक्स में दो 0 eigenvector हैं। अवरोध को निकालें det एम = 1 , और वे गायब हो जाते हैं। MM.MT=1detM=1detM=1
एडम

, एम 12 = एक्स 2 , एम 21 = एक्स 3 और एम 22 = एक्स 4 । बाधाएं X 2 1 + X 2 2 = 1 , X 2 3 + X 2 4 = 1 , X 1 X 3 + X 2 X 4 = 0 हैंM11=X1M12=X2M21=X3M22=X4X12+X22=1X32+X42=1X1X3+X2X4=0(केवल दो स्वतंत्र हैं)। वे एक शून्य eigenvalue का मतलब नहीं है। हालाँकि, को जोड़ने पर दो eigenvectors का 0 eigenvalues ​​होता है। X1X4X2X3=1
एडम

2

मान लीजिए कि पास समान eigenvalue 0 के साथ एक eigenvector v है , तो var ( v T X ) = v T C v = 0 है । इस प्रकार, चेबीशेव की असमानता से, वी टी एक्स लगभग निश्चित रूप से स्थिर और वी टी[ एक्स ] के बराबर है । यही है, हर शून्य eigenvalue एक रैखिक प्रतिबंध से मेल खाती है, अर्थात् v T X = v T E [ X ]Cv0var(vTX)=vTCv=0vTXvTE[X]vTX=vTE[X]। किसी विशेष मामलों पर विचार करने की आवश्यकता नहीं है।

इस प्रकार, हम निष्कर्ष निकालते हैं:

"are linear constraints the only way to induce zero eigenvalues [?]"

Yes.

"can non-linear constraints on the random variables also generate zero eigenvalues of C ?"

Yes, if they imply linear constraints.


I agree. I was hoping that one could be more specific on the kind of non-linear constraints, but I guess that it is hard to do better if we do not specify the constraints.
Adam

2

The covariance marix C of X is symmetric so you can diagnonalize it as C=QΛQT, with the eigenvalues in the diagonal matrix Λ. Rewriting this as Λ=QTCQ, the rhs is the covariance matrix of QTX, so zero eigenvalues on the lhs correspond to linear combinations of X with degenerate distributions.


This is a very nice concise description, but how could we make it more intuitive that QTCQ=cov(QTX)?
Sextus Empiricus
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.