आदर्श बहुसांस्कृतिकता का एक उदाहरण क्या है?

Question

डिजाइन मैट्रिक्स संदर्भ में सही संपुर्णता का एक उदाहरण क्या है ?$X$

मैं एक उदाहरण चाहूंगा, जहां अनुमान नहीं लगाया जा सकता क्योंकि नहीं है।(एक्स'एक्स$\hat \beta = (X'X)^{-1}X'Y$$(X'X)$

Comments

मैं कॉलिनियरिटी के लिए अनुशंसित पद से गुजरा और महसूस किया कि यह समझने के लिए पर्याप्त है, लेकिन डेटा का उपयोग करने वाला एक सरल उदाहरण स्पष्टता को जोड़ देगा।

— TsTeaTime

"X और Y के संदर्भ में" से आपका क्या तात्पर्य है? Colinearity X चर के बीच मौजूद है, Y का इससे कोई लेना-देना नहीं है।

— गंग -

मैंने$X$

— TsTeaTime

की multicollineariry के रूप में के व्यक्तित्व में शो आप भी चाहते हैं इस सवाल को पढ़ने के लिए हो सकता है: stats.stackexchange.com/q/70899/3277 । एक्स ′$X$$X'X$

— ttnphns

Answer 1

इस समीकरण से संबंधित 3 चर, , और साथ एक उदाहरण है$y$$x_1$$x_2$

$$y = x_1 + x_2 + \varepsilon$$

कहाँ$\varepsilon \sim N(0,1)$

विशेष डेटा हैं

         y x1 x2
1 4.520866  1  2
2 6.849811  2  4
3 6.539804  3  6

तो यह स्पष्ट है कि $x_2$ की एक बहु है $x_1$ इसलिए हम सही समरैखिकता है।

हम मॉडल के रूप में लिख सकते हैं

$$Y = X \beta + \varepsilon$$

कहाँ पे:

$$Y = \begin{bmatrix}4.52 \\6.85 \\6.54\end{bmatrix}$$

$$X = \begin{bmatrix}1 & 1 & 2\\1 & 2 & 4 \\1 & 3 & 6\end{bmatrix}$$

तो हमारे पास

$$XX' = \begin{bmatrix}1 & 1 & 2\\1 & 2 & 4 \\1 & 3 & 6\end{bmatrix} \begin{bmatrix}1 & 1 & 1\\1 & 2 & 3 \\2 & 4 & 6\end{bmatrix} = \begin{bmatrix}6 & 11 & 16\\11 & 21 & 31 \\16 & 31 & 46\end{bmatrix}$$

अब हम के निर्धारक की गणना करते हैं :$XX'$

$$\det XX' = 6\begin{vmatrix}21 & 31 \\31 & 46\end{vmatrix} - 11 \begin{vmatrix}11 & 31 \\16 & 46\end{vmatrix} + 16\begin{vmatrix}11 & 21 \\16 & 31\end{vmatrix}= 0$$

आर में हम इसे इस प्रकार दिखा सकते हैं:

> x1 <- c(1,2,3)

x2एक से अधिक, बनाएँx1

> x2 <- x1*2

y, की एक रेखीय संयोजन बनाने x1, x2और कुछ अनियमितता

> y <- x1 + x2 + rnorm(3,0,1)

उसका अवलोकन करो

> summary(m0 <- lm(y~x1+x2))

x2गुणांक के लिए एक मूल्य का अनुमान लगाने में विफल रहता है :

Coefficients: (1 not defined because of singularities)
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   3.9512     1.6457   2.401    0.251
x1            1.0095     0.7618   1.325    0.412
x2                NA         NA      NA       NA

Residual standard error: 0.02583 on 1 degrees of freedom
Multiple R-squared:      1,     Adjusted R-squared:  0.9999 
F-statistic: 2.981e+04 on 1 and 1 DF,  p-value: 0.003687

मॉडल मैट्रिक्स $X$ है:

> (X <- model.matrix(m0))

(Intercept) x1 x2
1           1  1  2
2           1  2  4
3           1  3  6

तो $XX'$ है

> (XXdash <- X %*% t(X))
   1  2  3
1  6 11 16
2 11 21 31
3 16 31 46

जो कि उलटा नहीं है, जैसा कि दिखाया गया है

> solve(XXdash)
Error in solve.default(XXdash) : 
  Lapack routine dgesv: system is exactly singular: U[3,3] = 0

या:

det (XXdash) [१] ०

Answer 2

यहाँ बिल्कुल सही बहुसांस्कृतिकता का उत्पादन करने वाले कुछ सामान्य परिदृश्य हैं, यानी ऐसी स्थितियाँ जिनमें डिज़ाइन मैट्रिक्स के कॉलम रैखिक रूप से निर्भर होते हैं। रैखिक बीजगणित से याद रखें कि इसका मतलब है कि डिज़ाइन मैट्रिक्स के स्तंभों का रैखिक संयोजन है (जिनके गुणांक सभी शून्य नहीं हैं) जो शून्य के बराबर है। मैंने यह समझाने में मदद करने के लिए कुछ व्यावहारिक उदाहरणों को शामिल किया है कि यह नुकसान कितनी बार होता है - मैंने उनमें से लगभग सभी का सामना किया है!

1. एक वैरिएबल दूसरे का एक गुणक है , भले ही एक अवरोधन शब्द हो: शायद इसलिए कि आपने एक ही चर को दो बार अलग-अलग इकाइयों का उपयोग करके रिकॉर्ड किया है (उदाहरण के लिए "सेंटीमीटर में लंबाई" "मीटर में लंबाई" की तुलना में 100 गुना बड़ा है) या क्योंकि आपने एक चर को एक बार एक कच्चे नंबर के रूप में और एक बार अनुपात या प्रतिशत के रूप में दर्ज किया है, जब भाजक तय किया जाता है (जैसे "पेट्री डिश का उपनिवेशण क्षेत्र" और "पेट्री डिश उपनिवेश का प्रतिशत" एक दूसरे के सटीक गुणक होंगे यदि क्षेत्र प्रत्येक पेट्री डिश समान है)। हम समरैखिकता है क्योंकि अगर जहां डब्ल्यू और एक्स चर (अपने डिजाइन मैट्रिक्स के कॉलम) कर रहे हैं और $w_i = ax_i$$w$$x$$a$एक अदिश स्थिरांक है, फिर चर का एक रैखिक संयोजन है जो शून्य के बराबर है।$1(\vec w) - a(\vec x)$

2. एक अवरोधन शब्द है और एक चर एक दूसरे से एक निरंतर भिन्न होता है : यह तब होगा जब आप एक चर ( ) को केंद्र में रखते हैं और दोनों कच्चे x और केंद्रित w को अपने प्रतिगमन में शामिल करते हैं। यह तब भी होगा जब आपके चर को अलग-अलग इकाई प्रणालियों में मापा जाता है जो एक स्थिर से भिन्न होते हैं, उदाहरण के लिए यदि w "केल्विन में तापमान" है और x "° C में तापमान" के रूप में है तो w i = x i + 273.15 है । यदि हम इंटरसेप्ट शब्द को एक चर के रूप में मानते हैं जो हमेशा 1 होता है (लोगों के कॉलम के रूप में दर्शाया जाता है)$w_i = x_i - \bar x$$x$$w$$w$$x$$w_i = x_i + 273.15$$1$, डिजाइन मैट्रिक्स में) तो होनेडब्ल्यूमैं=एक्समैं+कश्मीरकुछ निरंतर के लिएकश्मीरका मतलब है कि1( → डब्ल्यू )-1( → एक्स )-कश्मीर( → 1 एन)की एक रेखीय संयोजन हैडब्ल्यू,डिजाइन मैट्रिक्स काxऔर1कॉलम जो शून्य के बराबर है।$\vec 1_n$$w_i = x_i + k$$k$$1(\vec w) - 1(\vec x) - k(\vec 1_n)$$w$$x$$1$

3. एक इंटरसेप्ट टर्म है और एक वेरिएबल दूसरे के एफाइन ट्रांसफॉर्मेशन द्वारा दिया गया है : यानी आपके पास वेरिएबल्स और x है , जो w i = a x i + b से संबंधित है जहां a और b कॉन्स्टेंट हैं। उदाहरण के लिए यह तब होता है जब आप चर को z i = x i - you x के रूप में $w$$x$$w_i = ax_i + b$$a$$b$ औरआपके प्रतिगमन मेंकच्चेxऔर मानकीकृतzचरदोनों शामिल हैं। यह तब भी होता है जब आपwको "° F में तापमान" औरxको "° C में तापमान" के रूपमेंरिकॉर्ड करते हैं, क्योंकि उन यूनिट सिस्टम एक सामान्य शून्य साझा नहीं करते हैं, लेकिनwi=1.8xi+32 से संबंधित हैं। या एक व्यापार के संदर्भ में, मान लीजिए निश्चित लागत हैख(जैसे वितरण को कवर) के रूप में एक लागत प्रत्येक आदेश के लिए, साथ ही$एकप्रति बेचा इकाई; तो अगर$wमैंiऔरxiऑर्डर की लागत है$z_i = \frac{x_i - \bar x}{s_x}$$x$$z$$w$$x$$w_i = 1.8x_i + 32$$b$$\$a$$\$w_i$$i$$x_i$आदेश दी गई इकाइयों की संख्या है, हमारे पास । ब्याज का रैखिक संयोजन 1 ( → w ) - a ( → x ) - b ( → 1 n ) = → 0 है । ध्यान दें कि यदि एक = 1 , तो (3) में एक विशेष मामले के रूप में (2) शामिल हैं; यदि b = 0 है , तो (3) एक विशेष मामले के रूप में (1) शामिल है।$w_i = ax_i + b$$1(\vec w) - a(\vec x) - b(\vec 1_n) = \vec 0$$a=1$$b=0$

4. एक अवरोधन शब्द है और कई चर का योग निश्चित है (उदाहरण के लिए प्रसिद्ध "डमी वैरिएबल ट्रैप") : उदाहरण के लिए यदि आपके पास "संतुष्ट ग्राहकों का प्रतिशत", "असंतुष्ट ग्राहकों का प्रतिशत" और "ग्राहकों का प्रतिशत" कभी भी संतुष्ट नहीं हैं न ही असंतुष्ट "तो ये तीन चर हमेशा (राउंडिंग एरर को रोकते हुए) 100 के योग होंगे। इनमें से एक वैरिएबल - या वैकल्पिक रूप से, इंटरसेप्ट टर्म - को संपार्श्विकता को रोकने के लिए प्रतिगमन से हटा दिया जाना चाहिए। "डमी वैरिएबल ट्रैप" तब होता है जब आप एक श्रेणीबद्ध चर के हर संभव स्तर के लिए संकेतक चर (अधिक सामान्यतः लेकिन कम उपयोगी "डमी" कहा जाता है) का उपयोग करते हैं। उदाहरण के लिए, मान लीजिए कि गैसें लाल, हरे या नीले रंग की योजनाओं में निर्मित होती हैं। यदि आपने श्रेणीगत चर रिकॉर्ड किया है "redgreenऔर blueबाइनरी चर होंगे, 1"हाँ" और 0"नहीं" के लिए) के रूप में संग्रहीत किया जाएगा, फिर प्रत्येक फूलदान के लिए केवल चर में से एक एक होगा, और इसलिए red + green + blue = 1। चूंकि अवरोधन शब्द, रैखिक संयोजन के लिए लोगों का एक वेक्टर है 1(red) + 1(green) + 1(blue) - 1(1) = 0। यहाँ सामान्य उपाय या तो इंटरसेप्ट को छोड़ना है, या किसी एक इंडिकेटर (जैसे बाहर छोड़ना red) को छोड़ना है, जो एक आधार रेखा या संदर्भ स्तर बन जाता है। इस मामले में, प्रतिगमन गुणांक greenलाल फूलदान से हरे रंग में स्विच करने से संबंधित माध्य प्रतिक्रिया में परिवर्तन को इंगित करेगा, अन्य व्याख्यात्मक चर को स्थिर रखेगा।

5. वैरिएबल के कम से कम दो उप-समूह होते हैं, प्रत्येक में एक निश्चित राशि होती है , भले ही कोई अवरोधन शब्द हो: मान लीजिए कि (4) में vases तीन आकारों में उत्पादित किए गए थे, और आकार के लिए वैरिएबल चर को तीन अतिरिक्त संकेतक संकेतक के रूप में संग्रहीत किया गया था । हमारे पास होता large + medium + small = 1। तब हमारे पास रैखिक संयोजन होता है 1(large) + 1(medium) + 1(small) - 1(red) - 1(green) - 1(blue) = 0, तब भी जब कोई अवरोधन शब्द नहीं होता है। दो सबसेट को एक ही राशि साझा करने की आवश्यकता नहीं है, उदाहरण के लिए यदि हमारे पास व्याख्यात्मक चर हैं जैसे कि हर यू i + v i = k 1 और x i + y i = $u, v, w, x$$u_i + v_i = k_1$ फिर k 2 ( → u ) + k 2 ( → v ) - k 1 ( → w ) - k 1 ( → x ) = → 0 ।$x_i + y_i = k_2$$k_2(\vec u) + k_2(\vec v) - k_1(\vec w) - k_1(\vec x) = \vec 0$

6. एक चर को कई अन्य चर के रैखिक संयोजन के रूप में परिभाषित किया गया है : उदाहरण के लिए, यदि आप प्रत्येक आयत की लंबाई , चौड़ाई w और परिधि p रिकॉर्ड करते हैं , तो p i = 2 l i + 2 w i तो हमारे पास रैखिक संयोजन 1 है ( + P ) - 2 ( → l ) - 2 ( → w ) = → $l$$w$$p$$p_i = 2l_i + 2w_i$$1(\vec p) - 2(\vec l) - 2(\vec w) = \vec 0$। एक अवरोधन अवधि के साथ एक उदाहरण: मान लें कि किसी मेल-ऑर्डर व्यापार दो उत्पाद लाइनों है, और हम है कि आदेश रिकॉर्ड शामिल यू मैं इकाई लागत में पहला उत्पाद की $ एक और वी मैं इकाई लागत पर दूसरे के $ ख , साथ तय वितरण प्रभारी $ ग । यदि हम एक व्याख्यात्मक चर के रूप में ऑर्डर की लागत $ x भी शामिल करते हैं , तो x i = a u i + b v i + c और इसलिए 1 ( → x ) $i$$u_i$$\$a$$v_i$$\$b$$\$c$$\$x$$x_i = a u_i + b v_i + c$ । यह (3) का एक स्पष्ट सामान्यीकरण है। यह हमें (4) के बारे में सोचने का एक अलग तरीका भी देता है: एक बार जब हम जानते हैं कि चर के सबसेट में से एक जिसका योग निश्चित है, तो शेष एक उनका पूरक है, इसलिए उन्हें और उनकी राशि के रैखिक संयोजन के रूप में व्यक्त किया जा सकता है । अगर हम जानते हैं कि 50% ग्राहक संतुष्ट थे और 20% असंतुष्ट थे, तो 100% - 50% - 20% = 30% न तो संतुष्ट होने चाहिए और न ही असंतुष्ट; अगर हम जानते हैं कि फूलदान लाल नहीं है () और यह हरा है () तो हम जानते हैं कि यह नीला नहीं है ()।$1(\vec x) - a(\vec u) - b(\vec v) -c(\vec 1_n) = \vec 0$red=0green=1blue = 1(1) - 1(red) - 1(green) = 1 - 0 - 1 = 0

7. एक चर स्थिर और शून्य है , भले ही एक अवरोधन शब्द हो: एक अवलोकन अध्ययन में, एक चर निरंतर होगा यदि आपका नमूना पर्याप्त (किसी भी!) भिन्नता को प्रदर्शित नहीं करता है। जनसंख्या में भिन्नता हो सकती है जो आपके नमूने में कैप्चर नहीं की जाती है, उदाहरण के लिए यदि बहुत सामान्य मोडल मूल्य है: शायद आपका नमूना आकार बहुत छोटा है और इसलिए मोड से अलग किए गए किसी भी मान को शामिल करने की संभावना नहीं थी, या आपके माप थे मोड से छोटे बदलावों का पता लगाने के लिए अपर्याप्त रूप से सटीक। वैकल्पिक रूप से, भिन्नता की कमी के लिए सैद्धांतिक कारण हो सकते हैं, खासकर यदि आप एक उप-जनसंख्या का अध्ययन कर रहे हैं। लॉस एंजिल्स में नए-बिल्ड गुणों के एक अध्ययन में, यह आश्चर्यजनक नहीं होगा कि प्रत्येक डेटा बिंदु AgeOfProperty = 0और हैState = California! प्रायोगिक अध्ययन में, आप एक स्वतंत्र चर को माप सकते हैं जो प्रायोगिक नियंत्रण में है। क्या आपके व्याख्यात्मक चर से कोई एक स्थिर और शून्य दोनों होना चाहिए, तो हमारे पास तुरंत है कि रैखिक संयोजन 1 ( → x ) (किसी अन्य चर के लिए गुणांक शून्य के साथ) → 0 है ।$x$$1(\vec x)$$\vec 0$

8. वहाँ एक अवरोधन शब्द है और कम से कम एक चर स्थिर है : यदि इसलिए प्रत्येक कि स्थिर है एक्स मैं = कश्मीर ≠ 0 , तो रैखिक संयोजन 1 ( → एक्स ) - कश्मीर ( → 1 n ) = → 0 ।$x$$x_i = k \neq 0$$1(\vec x) - k(\vec 1_n) = \vec 0$

9. कम से कम दो चर लगातार कर रहे हैं , कि क्या वहाँ एक अवरोधन शब्द है की परवाह किए बिना: यदि प्रत्येक और एक्स मैं = कश्मीर 2 ≠ 0 , तो रैखिक संयोजन कश्मीर 2 ( → डब्ल्यू ) - कश्मीर 1 ( → एक्स ) = → 0 ।$w_i = k_1 \neq 0$$x_i = k_2 \neq 0$$k_2(\vec w) - k_1(\vec x) = \vec 0$

10. डिज़ाइन मैट्रिक्स के कॉलमों की संख्या, , पंक्तियों की संख्या से अधिक है, $k$$n$ : यहां तक ​​कि जब आपके वैरिएबल के बीच कोई वैचारिक संबंध नहीं है, तो यह गणितीय रूप से आवश्यक है कि समय आपके डिज़ाइन मैट्रिक्स के कॉलम रैखिक रूप से निर्भर होंगे । यह बस संभव नहीं है कश्मीर रैखिक आयामों के एक नंबर के साथ एक अंतरिक्ष में स्वतंत्र वैक्टर की तुलना में कम कश्मीर उदाहरण के लिए, आप कागज के एक पत्रक (एक दो आयामी विमान, पर दो स्वतंत्र वैक्टर आकर्षित कर सकते हैं, जबकि: आर$k > n$$k$$k$$\mathbb R^2$) पृष्ठ पर खींचे गए किसी भी अन्य वेक्टर को उनके स्पैन के भीतर स्थित होना चाहिए, और इसलिए उनका एक रैखिक संयोजन होना चाहिए। ध्यान दें कि एक अवरोधन शब्द डिजाइन मैट्रिक्स में लोगों के एक कॉलम का योगदान देता है, इसलिए आपके कॉलम में से एक के रूप में गिना जाता है । (इस परिदृश्य को अक्सर "बड़े पी , छोटे एन " समस्या कहा जाता है: यह संबंधित सीवी प्रश्न भी देखें ।)$k$$p$$n$

आर कोड के साथ डेटा उदाहरण

प्रत्येक उदाहरण एक डिजाइन मैट्रिक्स देता , मैट्रिक्स एक्स ' एक्स (ध्यान दें कि यह हमेशा वर्ग और सममित है) और det ( एक्स ' एक्स ) । ध्यान दें कि यदि एक्स ' एक्स विलक्षण है (शून्य निर्धारक, इसलिए उलटी नहीं) तो हम अनुमान नहीं कर सकते β = ( एक्स ' एक्स ) - 1 एक्स ' y । शर्त यह है कि एक्स ' एक्स गैर विलक्षण शर्त यह है कि के बराबर है हो एक्स पूर्ण रैंक इसलिए इसकी कॉलम रैखिक स्वतंत्र हैं:$X$$X'X$$\det (X'X)$$X'X$$\hat \beta = (X'X)^{-1}X'y$$X'X$$X$यह गणित एसई प्रश्न देखें , या यह एक और इसका आक्षेप ।

(1) एक कॉलम दूसरे का कई है

# x2 = 2 * x1
# Note no intercept term (column of 1s) is needed
X <- matrix(c(2, 4, 1, 2, 3, 6, 2, 4), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    4
#[2,]    1    2
#[3,]    3    6
#[4,]    2    4


t(X) %*% X
#     [,1] [,2]
#[1,]   18   36
#[2,]   36   72

round(det(t(X) %*% X), digits = 9)
#0

(२) अवरोध शब्द और एक चर एक दूसरे से निरंतर भिन्न होता है

# x1 represents intercept term
# x3 = x2 + 2
X <- matrix(c(1, 2, 4, 1, 1, 3, 1, 3, 5, 1, 0, 2), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    4
#[2,]    1    1    3
#[3,]    1    3    5
#[4,]    1    0    2


t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    4    6   14
#[2,]    6   14   26
#[3,]   14   26   54

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, cols now linearly independent
# x2 = x1 + 2 with no intercept column
X <- matrix(c(2, 4, 1, 3, 3, 5, 0, 2), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    4
#[2,]    1    3
#[3,]    3    5
#[4,]    0    2


t(X) %*% X
#     [,1] [,2]
#[1,]   14   26
#[2,]   26   54
# Can you see how this matrix is related to the previous one, and why?

round(det(t(X) %*% X), digits = 9)
#80
# Non-zero determinant so X'X is invertible

(3) अवरोधन शब्द और एक चर दूसरे के परिवर्तन को प्रभावित करता है

# x1 represents intercept term
# x3 = 2*x2 - 3
X <- matrix(c(1, 2, 1, 1, 1, -1, 1, 3, 3, 1, 0, -3), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    1
#[2,]    1    1   -1
#[3,]    1    3    3
#[4,]    1    0   -3


t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    4    6    0
#[2,]    6   14   10
#[3,]    0   10   20

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, cols now linearly independent
# x2 = 2*x1 - 3 with no intercept column
X <- matrix(c(2, 1, 1, -1, 3, 3, 0, -3), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    1
#[2,]    1   -1
#[3,]    3    3
#[4,]    0   -3


t(X) %*% X
#     [,1] [,2]
#[1,]   14   10
#[2,]   10   20
# Can you see how this matrix is related to the previous one, and why?

round(det(t(X) %*% X), digits = 9)
#180
# Non-zero determinant so X'X is invertible

(4) कई वेरिएबल्स का इंटरसेप्ट टर्म और योग निश्चित है

# x1 represents intercept term
# x2 + x3 = 10
X <- matrix(c(1, 2, 8, 1, 1, 9, 1, 3, 7, 1, 0, 10), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    8
#[2,]    1    1    9
#[3,]    1    3    7
#[4,]    1    0   10


t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    4    6   34
#[2,]    6   14   46
#[3,]   34   46  294

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, then columns now linearly independent
# x1 + x2 = 10 with no intercept column
X <- matrix(c(2, 8, 1, 9, 3, 7, 0, 10), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    8
#[2,]    1    9
#[3,]    3    7
#[4,]    0   10

t(X) %*% X
#     [,1] [,2]
#[1,]   14   46
#[2,]   46  294
# Can you see how this matrix is related to the previous one, and why?

round(det(t(X) %*% X), digits = 9)
#2000
# Non-zero determinant so X'X is invertible

(4 ए) डमी चर जाल के साथ अवरोध शब्द

# x1 represents intercept term
# x2 + x3 + x4 = 1
X <- matrix(c(1, 0, 0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 0, 1, 0, 1, 0), ncol = 4, byrow=TRUE)

X
#     [,1] [,2] [,3] [,4]
#[1,]    1    0    0    1
#[2,]    1    1    0    0
#[3,]    1    0    1    0
#[4,]    1    1    0    0
#[5,]    1    0    1    0

t(X) %*% X
#     [,1] [,2] [,3] [,4]
#[1,]    5    2    2    1
#[2,]    2    2    0    0
#[3,]    2    0    2    0
#[4,]    1    0    0    1
# This matrix has a very natural interpretation - can you work it out?

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, then columns now linearly independent
# x1 + x2 + x3 = 1 with no intercept column
X <- matrix(c(0, 0, 1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0), ncol = 3, byrow=TRUE)  

X
#     [,1] [,2] [,3]
#[1,]    0    0    1
#[2,]    1    0    0
#[3,]    0    1    0
#[4,]    1    0    0
#[5,]    0    1    0

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    2    0    0
#[2,]    0    2    0
#[3,]    0    0    1
# Can you see how this matrix is related to the previous one?

round(det(t(X) %*% X), digits = 9)
#4
# Non-zero determinant so X'X is invertible

(5) निश्चित राशि वाले चर के दो सबसेट

# No intercept term needed
# x1 + x2 = 1
# x3 + x4 = 1
X <- matrix(c(0,1,0,1,1,0,0,1,0,1,1,0,1,0,0,1,1,0,1,0,0,1,1,0), ncol = 4, byrow=TRUE)

X
#     [,1] [,2] [,3] [,4]
#[1,]    0    1    0    1
#[2,]    1    0    0    1
#[3,]    0    1    1    0
#[4,]    1    0    0    1
#[5,]    1    0    1    0
#[6,]    0    1    1    0

t(X) %*% X
#     [,1] [,2] [,3] [,4]
#[1,]    3    0    1    2
#[2,]    0    3    2    1
#[3,]    1    2    3    0
#[4,]    2    1    0    3
# This matrix has a very natural interpretation - can you work it out?

round(det(t(X) %*% X), digits = 9)
#0

(६) एक चर अन्य का रैखिक संयोजन है

# No intercept term
# x3 = x1 + 2*x2
X <- matrix(c(1,1,3,0,2,4,2,1,4,3,1,5,1,2,5), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    1    3
#[2,]    0    2    4
#[3,]    2    1    4
#[4,]    3    1    5
#[5,]    1    2    5

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]   15    8   31
#[2,]    8   11   30
#[3,]   31   30   91

round(det(t(X) %*% X), digits = 9)
#0

(() एक चर स्थिर और शून्य है

# No intercept term
# x3 = 0
X <- matrix(c(1,1,0,0,2,0,2,1,0,3,1,0,1,2,0), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    1    0
#[2,]    0    2    0
#[3,]    2    1    0
#[4,]    3    1    0
#[5,]    1    2    0

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]   15    8    0
#[2,]    8   11    0
#[3,]    0    0    0

round(det(t(X) %*% X), digits = 9)
#0

(8) अवरोधन शब्द और एक स्थिर चर

# x1 is intercept term, x3 = 5
X <- matrix(c(1,1,5,1,2,5,1,1,5,1,1,5,1,2,5), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    1    5
#[2,]    1    2    5
#[3,]    1    1    5
#[4,]    1    1    5
#[5,]    1    2    5

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    5    7   25
#[2,]    7   11   35
#[3,]   25   35  125

round(det(t(X) %*% X), digits = 9)
#0

(९) दो स्थिर चर

# No intercept term, x2 = 2, x3 = 5
X <- matrix(c(1,2,5,2,2,5,1,2,5,1,2,5,2,2,5), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    5
#[2,]    2    2    5
#[3,]    1    2    5
#[4,]    1    2    5
#[5,]    2    2    5

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]   11   14   35
#[2,]   14   20   50
#[3,]   35   50  125

round(det(t(X) %*% X), digits = 9)
#0

(10) $k > n$

# Design matrix has 4 columns but only 3 rows
X <- matrix(c(1,1,1,1,1,2,4,8,1,3,9,27), ncol = 4, byrow=TRUE)

X
#     [,1] [,2] [,3] [,4]
#[1,]    1    1    1    1
#[2,]    1    2    4    8
#[3,]    1    3    9   27

t(X) %*% X
#     [,1] [,2] [,3] [,4]
#[1,]    3    6   14   36
#[2,]    6   14   36   98
#[3,]   14   36   98  276
#[4,]   36   98  276  794

round(det(t(X) %*% X), digits = 9)
#0

Answer 3

अंतर्ज्ञान में मदद करने के लिए कुछ तुच्छ उदाहरण:

1. $\mathbf{x_1}$$\mathbf{x_2}$
   • $\mathbf{x_1} = 100 \mathbf{x_2}$$X$
2. $\mathbf{x_1} = \mathbf{1}$$\mathbf{x_2}$$\mathbf{x_3}$
   • $\mathbf{x_2} = \frac{9}{5}\mathbf{x_3} + 32 \mathbf{x_1}$$X$
3. $\mathbf{x_1} = \mathbf{1}$$\mathbf{x_2}$$\mathbf{x_3}$
   • $\mathbf{x_2} = \mathbf{x_3} - 5\mathbf{x_1}$$X$

वहाँ तरीकों की एक भीड़ है कि डेटा का एक स्तंभ आपके अन्य डेटा का एक रैखिक कार्य होगा। उनमें से कुछ स्पष्ट हैं (उदाहरण के लिए। मीटर बनाम सेंटीमीटर) जबकि अन्य अधिक सूक्ष्म हो सकते हैं (उदाहरण के लिए। छोटे बच्चों के लिए उम्र और वर्षों की स्कूली शिक्षा)।

$\mathbf{x_1}$$X$$\mathbf{x_2}$$\mathbf{1}$

Comments

स्कूली शिक्षा और उम्र का उदाहरण बहुत अच्छा है, हालांकि यह इंगित करने योग्य है कि संबंध केवल स्कूल में रहने के दौरान ही है! इसका तार्किक विस्तार यह है कि जब आपके पास उम्र, स्कूली शिक्षा के वर्ष और काम के वर्ष होते हैं, जो स्नातक स्तर से आगे के रिश्ते को जारी रख सकता है। (बेशक इस तरह की बहुसंस्कृति शायद ही कभी सही हो जाती है - हमेशा ऐसे अपवाद होते हैं, जैसे बच्चे जिन्होंने एक अलग उम्र में स्कूल शुरू किया था क्योंकि वे एक अलग देश से आए थे - लेकिन यह अक्सर काफी गंभीर है।)

— सिल्वरफ़िश

@Silverfish अच्छे अंक! मैंने अभी कुछ संपादन / सुधार किए हैं।

— मैथ्यू गुन