मैं वैक्टर के लिए लोअर-केस लेटर्स और मैट्रिसेस के लिए अपर-केस लेटर्स का उपयोग करूंगा।
प्रपत्र के रैखिक मॉडल के मामले में:
y=Xβ+ε
जहां एक है रैंक के मैट्रिक्स , और हम यह मान ।Xn×(k+1)k+1≤nε∼N(0,σ2)
हम अनुमान कर सकते हैं द्वारा , के बाद से का विलोम मौजूद है।β^(X⊤X)−1X⊤yX⊤X
अब, एनोवा के मामले के लिए, हमारे पास उस को पूर्ण-रैंक नहीं है। इसका निहितार्थ यह है कि हमारे पास और हमें सामान्यीकृत व्युत्क्रम लिए व्यवस्थित करना होगा ।X(X⊤X)−1(X⊤X)−
इस सामान्यीकृत व्युत्क्रम का उपयोग करने की समस्याओं में से एक यह है कि यह अद्वितीय नहीं है। एक और समस्या यह है कि हम लिए एक निष्पक्ष अनुमानक नहीं ढूंढ सकते हैं , क्योंकि
β
β^=(X⊤X)−X⊤y⟹E(β^)=(X⊤X)−X⊤Xβ.
इसलिए, हम अनुमान नहीं लगा सकते । लेकिन क्या हम रैखिक संयोजन का अनुमान लगा सकते हैं ?ββ
हम इस बात का एक रैखिक संयोजन है s ', कहते हैं कि , है बहुमूल्य यदि वहां मौजूद एक वेक्टर कि इस तरह के ।βg⊤βaE(a⊤y)=g⊤β
विरोधाभासों बहुमूल्य कार्यों का एक विशेष मामला है, जिसमें के गुणांकों का योग कर रहे हैं शून्य के बराबर है।g
और, रेखीय मॉडल में श्रेणीबद्ध भविष्यवक्ताओं के संदर्भ में विरोधाभास सामने आते हैं। (यदि आप @amoeba द्वारा लिंक किए गए मैनुअल की जांच करते हैं , तो आप देखते हैं कि उनके सभी कंट्रास्ट कोडिंग श्रेणीबद्ध चर से संबंधित हैं)। फिर, @Curious और @amoeba का उत्तर देते हुए, हम देखते हैं कि वे ANOVA में उत्पन्न होते हैं, लेकिन केवल "निरंतर" भविष्यवाणियों के साथ "शुद्ध" प्रतिगमन मॉडल में नहीं (हम ANCOVA में विरोधाभासों के बारे में भी बात कर सकते हैं, क्योंकि हम इसमें कुछ श्रेणीबद्ध चर हैं)।
अब, मॉडल जहां पूर्ण-रैंक नहीं है, और , रैखिक फ़ंक्शन अनुमान है अगर कोई वेक्टर ऐसा । अर्थात, की पंक्तियों का एक रैखिक संयोजन है । इसके अलावा, वेक्टर कई विकल्प हैं , जैसे कि , जैसा कि हम नीचे दिए गए उदाहरण में देख सकते हैं।
y=Xβ+ε
XE(y)=X⊤βg⊤βaa⊤X=g⊤g⊤Xaa⊤X=g⊤
उदाहरण 1
वन-वे मॉडल पर विचार करें:
yij=μ+αi+εij,i=1,2,j=1,2,3.
X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢111111111000000111⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥,β=⎡⎣⎢μτ1τ2⎤⎦⎥
और मान लें कि , इसलिए हम अनुमान लगाना चाहते हैं ।g⊤=[0,1,−1][0,1,−1]β=τ1−τ2
हम देख सकते हैं कि वेक्टर विभिन्न विकल्प हैं, जो : take ; या ; या ।aa⊤X=g⊤a⊤=[0,0,1,−1,0,0]a⊤=[1,0,0,0,0,−1]a⊤=[2,−1,0,0,1,−2]
उदाहरण 2
दो-तरफ़ा मॉडल लें:
।
yij=μ+αi+βj+εij,i=1,2,j=1,2
X=⎡⎣⎢⎢⎢11111100001110100101⎤⎦⎥⎥⎥,β=⎡⎣⎢⎢⎢⎢⎢⎢μα1α2β1β2⎤⎦⎥⎥⎥⎥⎥⎥
हम की पंक्तियों के रैखिक संयोजनों को ले कर अनुमानित कार्यों को परिभाषित कर सकते हैं ।X
पंक्तियों 2, 3, और 4 ( ) से पंक्ति 1 को घटाना :
X
⎡⎣⎢⎢⎢1000−10−1−10011−1−1−0−10101⎤⎦⎥⎥⎥
और पंक्तियों 2 और 3 को चौथी पंक्ति से लेना:
⎡⎣⎢⎢⎢1000−10−1−00010−1−1−0−00100⎤⎦⎥⎥⎥
इसे पैदावार से
गुणा करते हुए:β
g⊤1βg⊤2βg⊤3β=μ+α1+β1=β2−β1=α2−α1
तो, हमारे पास तीन रैखिक स्वतंत्र अनुमान कार्य हैं। अब, केवल और को इसके गुणांक माना जा सकता है, क्योंकि इसके गुणांकों का योग (या, पंक्ति) संबंधित वेक्टर ) का योग शून्य के बराबर है।g⊤2βg⊤3βg
एक तरफ़ा संतुलित मॉडल
yij=μ+αi+εij,i=1,2,…,k,j=1,2,…,n.
और मान लीजिए कि हम परिकल्पना का परीक्षण करना चाहते हैं ।H0:α1=…=αk
इस सेटिंग में मैट्रिक्स पूर्ण-रैंक नहीं है, इसलिए अद्वितीय नहीं है और यह नहीं है। यह बहुमूल्य हम गुणा कर सकते हैं बनाने के लिए द्वारा , जब तक कि । दूसरे शब्दों में, अनुमान योग्य iff ।Xβ=(μ,α1,…,αk)⊤βg⊤∑igi=0∑igiαi∑igi=0
यह सच क्यों है?
हम जानते हैं कि का अनुमान है कि कोई वेक्टर मौजूद है या नहीं ऐसा । और की अलग-अलग पंक्तियों को लेते हुए , फिर:
g⊤β=(0,g1,…,gk)β=∑igiαiag⊤=a⊤XXa⊤=[a1,…,ak]
[0,g1,…,gk]=g⊤=a⊤X=(∑iai,a1,…,ak)
और परिणाम इस प्रकार है।
यदि हम एक विशिष्ट विपरीत का परीक्षण करना चाहते हैं, तो हमारी परिकल्पना । उदाहरण के लिए: , जिसे रूप में लिखा जा सकता है , इसलिए हम की औसत और की तुलना कर रहे हैं ।H0:∑giαi=0H0:2α1=α2+α3H0:α1=α2+α32α1α2α3
इस परिकल्पना को रूप में व्यक्त किया जा सकता है , जहाँ । इस स्थिति में, और हम इस परिकल्पना का परीक्षण निम्नलिखित आंकड़ों के साथ करते हैं:
H0:g⊤β=0g⊤=(0,g1,g2,…,gk)q=1
F=[g⊤β^]⊤[g⊤(X⊤X)−g]−1g⊤β^SSE/k(n−1).
यदि को रूप में व्यक्त किया जाता है, जहां मैट्रिक्स की
परस्पर विरोधाभास हैं ( ), तो हम का परीक्षण कर सकते हैं जो सांख्यिकीय , जहांH0:α1=α2=…=αkGβ=0
G=⎡⎣⎢⎢⎢⎢⎢g⊤1g⊤2⋮g⊤k⎤⎦⎥⎥⎥⎥⎥
g⊤igj=0H0:Gβ=0F=SSHrank(G)SSEk(n−1)SSH=[Gβ^]⊤[G(X⊤X)−1G⊤]−1Gβ^।
उदाहरण 3
इसे बेहतर ढंग से समझने के लिए, हम का उपयोग करते हैं , और मान लें कि हम का परीक्षण करना चाहते हैं जिसे रूप में व्यक्त किया जा सकता है
k=4H0:α1=α2=α3=α4,
H0:⎡⎣⎢α1−α2α1−α3α1−α4⎤⎦⎥=⎡⎣⎢000⎤⎦⎥
या, :
H0:Gβ=0
H0:⎡⎣⎢000111−1−0−0−0−1−1−0−0−1⎤⎦⎥G,our contrast matrix⎡⎣⎢⎢⎢⎢⎢⎢μα1α2α3α4⎤⎦⎥⎥⎥⎥⎥⎥=⎡⎣⎢000⎤⎦⎥
तो, हम देखते हैं कि हमारे विपरीत मैट्रिक्स की तीन पंक्तियों को ब्याज के विरोधाभास के गुणांक द्वारा परिभाषित किया गया है। और प्रत्येक स्तंभ कारक स्तर देता है जो हम अपनी तुलना में उपयोग कर रहे हैं।
बहुत कुछ जो मैंने लिखा है, वह रेनचर और शाल्जे, "सांख्यिकी में रेखीय मॉडल", अध्याय 8 और 13 (उदाहरण, प्रमेयों का शब्दांकन, कुछ व्याख्याएं) से लिया गया था, लेकिन अन्य शब्द जैसे "कंटेंट मैट्रिक्स" "(जो वास्तव में, इस पुस्तक में दिखाई नहीं देता है) और यहाँ दी गई परिभाषा मेरी अपनी थी।
मेरे जवाब के लिए ओपी के विपरीत मैट्रिक्स से संबंधित
ओपी मैट्रिक्स में से एक (जो इस मैनुअल में भी पाया जा सकता है ) निम्नलिखित है:
> contr.treatment(4)
2 3 4
1 0 0 0
2 1 0 0
3 0 1 0
4 0 0 1
इस स्थिति में, हमारे कारक के 4 स्तर हैं, और हम मॉडल को निम्नानुसार लिख सकते हैं: यह मैट्रिक्स के रूप में लिखा जा सकता है:
⎡⎣⎢⎢⎢y11y21y31y41⎤⎦⎥⎥⎥=⎡⎣⎢⎢⎢⎢μμμμ⎤⎦⎥⎥⎥⎥+⎡⎣⎢⎢⎢a1a2a3a4⎤⎦⎥⎥⎥+⎡⎣⎢⎢⎢ε11ε21ε31ε41⎤⎦⎥⎥⎥
या
⎡⎣⎢⎢⎢y11y21y31y41⎤⎦⎥⎥⎥=⎡⎣⎢⎢⎢11111000010000100001⎤⎦⎥⎥⎥X⎡⎣⎢⎢⎢⎢⎢⎢μa1a2a3a4⎤⎦⎥⎥⎥⎥⎥⎥β+⎡⎣⎢⎢⎢ε11ε21ε31ε41⎤⎦⎥⎥⎥
अब, एक ही मैनुअल पर डमी कोडिंग उदाहरण के लिए, वे संदर्भ समूह के रूप में उपयोग करते हैं । इस प्रकार, हम रो 1 को मैट्रिक्स में हर दूसरी पंक्ति से घटाते हैं , जो कि पैदावार देता है :a1XX˜
⎡⎣⎢⎢⎢1000−1−1−1−1010000100001⎤⎦⎥⎥⎥
यदि आप contr.treatment (4) मैट्रिक्स में पंक्तियों और स्तंभों की संख्या का निरीक्षण करते हैं, तो आप देखेंगे कि वे सभी पंक्तियों और कारकों 2, 3, और 4 से संबंधित स्तंभों पर विचार करते हैं। यदि हम ऐसा ही करते हैं उपरोक्त मैट्रिक्स पैदावार:
⎡⎣⎢⎢⎢010000100001⎤⎦⎥⎥⎥
इस तरह, contr.treatment (4) मैट्रिक्स हमें बता रहा है कि वे कारक 2, 3 और 4 की तुलना कारक 1 से कर रहे हैं, और कारक 1 की निरंतरता से तुलना कर रहे हैं (यह ऊपर की मेरी समझ है)।
और, को परिभाषित करना (अर्थात उपरोक्त मैट्रिक्स में केवल उसी पंक्तियों को 0 पर ले जाना):
G
⎡⎣⎢000−1−1−1100010001⎤⎦⎥
हम परीक्षण कर सकते हैं और विरोधाभासों का अनुमान लगा सकते हैं।H0:Gβ=0
hsb2 = read.table('http://www.ats.ucla.edu/stat/data/hsb2.csv', header=T, sep=",")
y<-hsb2$write
dummies <- model.matrix(~factor(hsb2$race)+0)
X<-cbind(1,dummies)
# Defining G, what I call contrast matrix
G<-matrix(0,3,5)
G[1,]<-c(0,-1,1,0,0)
G[2,]<-c(0,-1,0,1,0)
G[3,]<-c(0,-1,0,0,1)
G
[,1] [,2] [,3] [,4] [,5]
[1,] 0 -1 1 0 0
[2,] 0 -1 0 1 0
[3,] 0 -1 0 0 1
# Estimating Beta
X.X<-t(X)%*%X
X.y<-t(X)%*%y
library(MASS)
Betas<-ginv(X.X)%*%X.y
# Final estimators:
G%*%Betas
[,1]
[1,] 11.541667
[2,] 1.741667
[3,] 7.596839
और अनुमान वही हैं।
@Ttnphns का जवाब मेरे साथ संबंधित है।
उनके पहले उदाहरण में, सेटअप में तीन स्तरों वाले एक स्पष्ट कारक ए है। हम इसे मॉडल के रूप में लिख सकते हैं (मान लीजिए, सादगी के लिए, ):
j=1
yij=μ+ai+εij,for i=1,2,3
और मान लें कि हम अपने संदर्भ समूह / कारक के रूप में साथ , या का परीक्षण करना चाहते हैं ।H0:a1=a2=a3H0:a1−a3=a2−a3=0a3
इसे मैट्रिक्स रूप में लिखा जा सकता है:
⎡⎣⎢y11y21y31⎤⎦⎥=⎡⎣⎢μμμ⎤⎦⎥+⎡⎣⎢a1a2a3⎤⎦⎥+⎡⎣⎢ε11ε21ε31⎤⎦⎥
या
⎡⎣⎢y11y21y31⎤⎦⎥=⎡⎣⎢111100010001⎤⎦⎥X⎡⎣⎢⎢⎢μa1a2a3⎤⎦⎥⎥⎥β+⎡⎣⎢ε11ε21ε31⎤⎦⎥
अब, यदि हम पंक्ति 1 और पंक्ति 2 से पंक्ति 3 को घटाते हैं, तो हमारे पास वह बन जाता है (मैं इसे " :XX˜
X˜=⎡⎣⎢001100010−1−1−1⎤⎦⎥
उपरोक्त मैट्रिक्स के अंतिम 3 कॉलम की तुलना @ttnphns 'मैट्रिक्स । आदेश के बावजूद, वे काफी समान हैं। वास्तव में, यदि गुणा करें, तो हम:LX˜β
⎡⎣⎢001100010−1−1−1⎤⎦⎥⎡⎣⎢⎢⎢μa1a2a3⎤⎦⎥⎥⎥=⎡⎣⎢a1−a3a2−a3μ+a3⎤⎦⎥
तो, हमारे पास कार्य हैं: ; ; ।c⊤1β=a1−a3c⊤2β=a2−a3c⊤3β=μ+a3
चूँकि , हम ऊपर से देखते हैं कि हम अपने स्थिरांक की तुलना संदर्भ समूह (a_3) के गुणांक से कर रहे हैं; समूह 1 के गुणांक group3 के गुणांक तक; और समूह 2 के गुणांक group3 के लिए। या, जैसा कि @ttnphns ने कहा: "हम तुरंत देखते हैं, गुणांक का अनुसरण करते हुए, कि अनुमानित कॉन्स्टेंट संदर्भ समूह में Y माध्य के बराबर होगा; वह पैरामीटर b1 (यानी डमी वैरिएबल A1) अंतर के बराबर होगा: Y का अर्थ है Group1 माइनस में; Group3 में Y का मतलब है; और पैरामीटर b2 का अंतर है: समूह 2 में माध्य का मतलब है group3 में। "H0:c⊤iβ=0
इसके अलावा, यह देखें कि (इसके विपरीत की परिभाषा का पालन करें: अनुमानित फ़ंक्शन + पंक्ति योग = 0), कि वैक्टर और विरोधाभास हैं। और, अगर हम एक मैट्रिक्स की कमी का निर्माण करते हैं, तो हमारे पास है:c1c2G
G=[001001−1−1]
का परीक्षण करने के लिए हमारा कंट्रास्ट मैट्रिक्सH0:Gβ=0
उदाहरण
हम @ttnphns के "उपयोगकर्ता परिभाषित विपरीत उदाहरण" के रूप में एक ही डेटा का उपयोग करेंगे (मैं उल्लेख करना चाहता हूं कि मैंने जो सिद्धांत यहां लिखा है, उसे बातचीत के साथ मॉडल पर विचार करने के लिए कुछ संशोधनों की आवश्यकता है, इसलिए मैंने इस उदाहरण को चुना है। हालांकि विरोधाभासों की परिभाषा और - जिसे मैं कहता हूं - इसके विपरीत मैट्रिक्स समान रहते हैं)।
Y<-c(0.226,0.6836,-1.772,-0.5085,1.1836,0.5633,0.8709,0.2858,0.4057,-1.156,1.5199,
-0.1388,0.4865,-0.7653,0.3418,-1.273,1.4042,-0.1622,0.3347,-0.4576,0.7585,0.4084,
1.4165,-0.5138,0.9725,0.2373,-1.562,1.3985,0.0397,-0.4689,-1.499,-0.7654,0.1442,
-1.404,-0.2201,-1.166,0.7282,0.9524,-1.462,-0.3478,0.5679,0.5608,1.0338,-1.161,
-0.1037,2.047,2.3613,0.1222)
F_<-c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3,3,4,4,4,4,4,4,4,4,4,
5,5,5,5,5,5,5,5,5,5,5)
dummies.F<-model.matrix(~as.factor(F_)+0)
X_F<-cbind(1,dummies.F)
G_F<-matrix(0,4,6)
G_F[1,]<-c(0,3,3,-2,-2,-2)
G_F[2,]<-c(0,1,-1,0,0,0)
G_F[3,]<-c(0,0,0,2,-1,-1)
G_F[4,]<-c(0,0,0,0,1,-1)
G
[,1] [,2] [,3] [,4] [,5] [,6]
[1,] 0 3 3 -2 -2 -2
[2,] 0 1 -1 0 0 0
[3,] 0 0 0 2 -1 -1
[4,] 0 0 0 0 1 -1
# Estimating Beta
X_F.X_F<-t(X_F)%*%X_F
X_F.Y<-t(X_F)%*%Y
Betas_F<-ginv(X_F.X_F)%*%X_F.Y
# Final estimators:
G_F%*%Betas_F
[,1]
[1,] 0.5888183
[2,] -0.1468029
[3,] 0.6115212
[4,] -0.9279030
इसलिए, हमारे पास समान परिणाम हैं।
निष्कर्ष
मुझे ऐसा लगता है कि कंट्रास्ट मैट्रिक्स क्या है इसकी कोई एक परिभाषित अवधारणा नहीं है।
यदि आप Scheffe ("विश्लेषण का विश्लेषण", पृष्ठ 66) द्वारा दिए गए कंट्रास्ट की परिभाषा लेते हैं, तो आप देखेंगे कि यह एक अनुमानित कार्य है जिसका गुणांक शून्य के बराबर है। इसलिए, यदि हम अपने श्रेणीगत चर के गुणांक के विभिन्न रैखिक संयोजनों का परीक्षण करना चाहते हैं, तो हम मैट्रिक्स उपयोग करते हैं । यह एक मैट्रिक्स है जिसमें पंक्तियाँ शून्य के बराबर होती हैं, जिनका उपयोग हम अपने गुणांक के मैट्रिक्स को गुणा करने के लिए करते हैं ताकि उन गुणांक का अनुमान लगाया जा सके। इसकी पंक्तियाँ उन विभिन्न रेखीय संयोजनों का संकेत देती हैं जिनका हम परीक्षण कर रहे हैं और इसके स्तंभ यह दर्शाते हैं कि किन कारकों (गुणांक) की तुलना की जा रही है।G
जैसा कि ऊपर मैट्रिक्स का निर्माण इस तरह से किया गया है कि इसकी प्रत्येक पंक्तियाँ एक कॉन्ट्रास्ट वेक्टर (जो कि 0 के योग्य हैं) से बनी हैं, मेरे लिए यह को "कंट्रास्ट मैट्रिक्स" ( मोनाहन - "रैखिक मॉडलों पर एक प्राइमर" - इस शब्दावली का उपयोग भी करता है)।GG
हालाँकि, जैसा कि @ttnphns द्वारा खूबसूरती से समझाया गया है, सॉफ्टवेअर कुछ और ही "कंट्रास्ट मैट्रिक्स" कह रहे हैं, और मैं मैट्रिक्स और अंतर्निहित कमांड्स / मैट्रिस से SPSS (@ttnphns) के बीच सीधा संबंध नहीं खोज सका। ) या आर (ओपी का सवाल), केवल समानताएं। लेकिन मेरा मानना है कि यहाँ प्रस्तुत अच्छी चर्चा / सहयोग इस तरह की अवधारणाओं और परिभाषाओं को स्पष्ट करने में मदद करेगा।G
