प्रतिगमन के लिए बहुपद विरोधाभास

मैं प्रतिगमन फिटिंग में बहुपद विरोधाभासों के उपयोग को नहीं समझ सकता। विशेष रूप से, मैं इस पृष्ठR पर वर्णित अंतराल अंतराल (समान रूप से स्थान के साथ क्रमिक चर) को व्यक्त करने के लिए उपयोग किए जाने वाले एन्कोडिंग का उल्लेख कर रहा हूं ।

उस पृष्ठ के उदाहरण में , अगर मुझे सही तरीके से समझ में आया, तो आर एक अंतराल चर के लिए एक मॉडल फिट करता है, कुछ गुणांक लौटाता है जो इसके रैखिक, द्विघात, या घन प्रवृत्ति को मापता है। इसलिए, फिट मॉडल होना चाहिए:

w r i t e = 52.7870 + 14.2587 X - 0.9680 X^{2} - 0.1554 X^{3},

${\rm write} = 52.7870 + 14.2587X - 0.9680X^2 - 0.1554X^3,$

जहाँ $X$ को अंतराल चर के विभिन्न स्तर के अनुसार मान $1$ , $2$ , $3$ या लेना चाहिए $4$ ।

क्या ये सही है? और, यदि हां, तो बहुपद विरोधाभासों का उद्देश्य क्या था?

r regression contrasts

— Pippo
स्रोत

नहीं, वे गुणांक ऑर्थोगोनल बहुपद शब्दों के लिए हैं: आपने कच्चे बहुपद के लिए मॉडल लिखा है ।

X

$X$ ,

X^{2}

$X^2$ और

क्रमशः

, और

X^{3}

$X^3$ मूल्यों के

(लुक-अप टेबल से) बदलें ।

L

$L$

Q

$Q$

C

$C$

— Scortchi - को पुनः स्थापित मोनिका

प्रिय @Scortchi, आपके उत्तर के लिए धन्यवाद। मैं समझने का अनुमान लगाता हूं कि आपका क्या मतलब है, लेकिन तब मुझे ईमानदारी से समझ नहीं आया कि ये ऑर्थोगोनल बहुपद शब्द कैसे काम करते हैं। : पी

— पिप्पो

एक उल्लेखनीय बात के रूप में, आपके पास जो है वह काफी फिट मॉडल नहीं है। आपको या तो लिखने (या ई [लिखने]) पर एक विशाल 'टोपी' की आवश्यकता है, जिसका अर्थ है लिखने का अनुमानित मूल्य या लिखने का अपेक्षित मूल्य; या आपको अवशिष्ट को इंगित करने के लिए अंत में एक '+ ई' की आवश्यकता होती है।

— गंग -

@Scortchi क्या है, या आप "लुक-अप टेबल" कैसे पा सकते हैं?

— एंटोनी परेलाडा

@AntoniParellada: यह ओपी से जुड़े पृष्ठ की तालिका है: ats.ucla.edu/stat/r/library/contrast_coding.htm#ORTHOGONAL । और साथ मिला contr.polyआर में

— Scortchi - को पुनः स्थापित मोनिका

बस पुनरावृत्ति करने के लिए (और यदि ओपी हाइपरलिंक भविष्य में विफल हो जाता है), हम एक डेटासेट hsb2को इस तरह देख रहे हैं :

   id     female race ses schtyp prog read write math science socst
1  70        0    4   1      1    1   57    52   41      47    57
2 121        1    4   2      1    3   68    59   53      63    61
...
199 118      1    4   2      1    1   55    62   58      58    61
200 137      1    4   3      1    2   63    65   65      53    61

जिसे यहां आयात किया जा सकता है ।

हम चर readको चालू और क्रमबद्ध / क्रमिक चर में बदलते हैं:

hsb2$readcat<-cut(hsb2$read, 4, ordered = TRUE)
(means = tapply(hsb2$write, hsb2$readcat, mean))
 (28,40]  (40,52]  (52,64]  (64,76] 
42.77273 49.97849 56.56364 61.83333

अब हम पूरी तरह से तैयार सिर्फ एक नियमित रूप से एनोवा चलाने के लिए कर रहे हैं - हाँ, यह अनुसंधान है, और हम मूल रूप से एक सतत निर्भर चर, है write, और एक व्याख्यात्मक कई स्तरों के साथ चर, readcat। आर में हम उपयोग कर सकते हैंlm(write ~ readcat, hsb2)

1. विपरीत मैट्रिक्स उत्पन्न करना:

आदेशित चर के चार अलग-अलग स्तर हैं readcat, इसलिए हमारे पास विरोधाभास होंगे। $n-1=3$

table(hsb2$readcat)

(28,40] (40,52] (52,64] (64,76] 
     22      93      55      30

सबसे पहले, पैसे के लिए चलते हैं, और अंतर्निहित आर फ़ंक्शन पर एक नज़र डालें:

contr.poly(4)
             .L   .Q         .C
[1,] -0.6708204  0.5 -0.2236068
[2,] -0.2236068 -0.5  0.6708204
[3,]  0.2236068 -0.5 -0.6708204
[4,]  0.6708204  0.5  0.2236068

अब हुड के नीचे क्या चला गया विच्छेद करें:

scores = 1:4  # 1 2 3 4 These are the four levels of the explanatory variable.
y = scores - mean(scores) # scores - 2.5

$y = \small [-1.5, -0.5, 0.5, 1.5]$

$\small \text{seq_len(n) - 1} = [0, 1, 2, 3]$

n = 4; X <- outer(y, seq_len(n) - 1, "^") # n = 4 in this case

$\small\begin{bmatrix} 1&-1.5&2.25&-3.375\\1&-0.5&0.25&-0.125\\1&0.5&0.25&0.125\\1&1.5&2.25&3.375 \end{bmatrix}$

वहाँ क्या हुआ? के outer(a, b, "^")तत्वों को बढ़ाता aहै b, ताकि संचालन से पहला स्तंभ परिणाम हो, , , और ; दूसरे कॉलम से , , और ; तीसरा $\small(-1.5)^0$ $\small(-0.5)^0$ $\small 0.5^0$ $\small 1.5^0$ $\small(-1.5)^1$ $\small(-0.5)^1$ $\small0.5^1$ $\small1.5^1$ $\small(-1.5)^2=2.25$ , , और ; और चौथा, , , और । $\small(-0.5)^2 = 0.25$ $\small0.5^2 = 0.25$ $\small1.5^2 = 2.25$ $\small(-1.5)^3=-3.375$ $\small(-0.5)^3=-0.125$ $\small0.5^3=0.125$ $\small1.5^3=3.375$

इसके बाद हम इस मैट्रिक्स का एक orthonormal अपघटन करते हैं और Q ( ) का कॉम्पैक्ट प्रतिनिधित्व करते हैं । इस पोस्ट में इस्तेमाल किए गए आर में क्यूआर फैक्टराइजेशन में उपयोग किए जाने वाले कार्यों के कुछ आंतरिक कामकाज को आगे यहां बताया गया है । $QR$ c_Q = qr(X)$qr

$\small\begin{bmatrix} -2&0&-2.5&0\\0.5&-2.236&0&-4.584\\0.5&0.447&2&0\\0.5&0.894&-0.9296&-1.342 \end{bmatrix}$

... जिनमें से हम केवल विकर्ण को बचाते हैं ( z = c_Q * (row(c_Q) == col(c_Q)))। विकर्ण में क्या निहित है: अपघटन के भाग के "नीचे" प्रविष्टियां । बस? खैर, नहीं ... यह पता चला है कि एक ऊपरी त्रिकोणीय मैट्रिक्स के विकर्ण में मैट्रिक्स के आइगेनवेल्यूज़ होते हैं! $\bf R$ $QR$

अगला हम निम्नलिखित फ़ंक्शन को कॉल करें: raw = qr.qy(qr(X), z), जिसके परिणामस्वरूप "मैन्युअल" दो आपरेशन द्वारा भी दोहराया जा सकता है: 1. का संक्षिप्त रूप टर्निंग , यानी , में , एक परिवर्तन के साथ प्राप्त किया जा सकता है, और 2. बाहर ले जाने मैट्रिक्स गुणन , जैसा कि में है । $Q$ qr(X)$qr $Q$ Q = qr.Q(qr(X)) $Qz$ Q %*% z

महत्वपूर्ण रूप से, के eigenvalues द्वारा को गुणा करने से घटक कॉलम वैक्टर की ऑर्थोगोनलिटी में परिवर्तन नहीं होता है, लेकिन यह देखते हुए कि eigenvalues का निरपेक्ष मान शीर्ष क्रम से ऊपर बाएं से दाएं दाईं ओर घटते क्रम में दिखाई देता है, का गुणन घटने की ओर बढ़ जाएगा उच्च क्रम बहुपद स्तंभों में मान: $\bf Q$ $\bf R$ $Qz$

Matrix of Eigenvalues of R
     [,1]      [,2] [,3]      [,4]
[1,]   -2  0.000000    0  0.000000
[2,]    0 -2.236068    0  0.000000
[3,]    0  0.000000    2  0.000000
[4,]    0  0.000000    0 -1.341641

गुणन क्रियाओं के पहले और बाद के और बाद के अप्रभावित पहले दो स्तंभों के बाद के स्तंभ वैक्टर (द्विघात और घन) में मानों की तुलना करें । $QR$

Before QR factorization operations (orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5 2.25 -3.375
[2,]    1 -0.5 0.25 -0.125
[3,]    1  0.5 0.25  0.125
[4,]    1  1.5 2.25  3.375


After QR operations (equally orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5    1 -0.295
[2,]    1 -0.5   -1  0.885
[3,]    1  0.5   -1 -0.885
[4,]    1  1.5    1  0.295

अंत में हम (Z <- sweep(raw, 2L, apply(raw, 2L, function(x) sqrt(sum(x^2))), "/", check.margin = FALSE))मैट्रिक्स rawको ऑर्थोनॉमिक वैक्टर में बदलते हैं :

Orthonormal vectors (orthonormal basis of R^4)
     [,1]       [,2] [,3]       [,4]
[1,]  0.5 -0.6708204  0.5 -0.2236068
[2,]  0.5 -0.2236068 -0.5  0.6708204
[3,]  0.5  0.2236068 -0.5 -0.6708204
[4,]  0.5  0.6708204  0.5  0.2236068

इस समारोह बस विभाजित (द्वारा मैट्रिक्स "को सामान्य" "/") द्वारा प्रत्येक तत्व columnwise । तो इसे दो चरणों में विघटित किया जा सकता है:, जिसके परिणामस्वरूप, प्रत्येक स्तंभ के लिए हरमेंहर स्तंभ मेंप्रत्येक तत्व कोके संबंधित मान से विभाजित किया जाता है। $\small\sqrt{\sum_\text{col.} x_i^2}$ $(\text{i})$ apply(raw, 2, function(x)sqrt(sum(x^2)))2 2.236 2 1.341 $(\text{ii})$ $(\text{i})$

इस बिंदु पर कॉलम वैक्टर का एक असामान्य आधार बनाते हैं , जब तक कि हम पहले कॉलम से छुटकारा नहीं पा लेते हैं, जो इंटरसेप्ट होगा, और हमने इसका परिणाम फिर से तैयार किया है : $\mathbb{R}^4$ contr.poly(4)

$\small\begin{bmatrix} -0.6708204&0.5&-0.2236068\\-0.2236068&-0.5&0.6708204\\0.2236068&-0.5&-0.6708204\\0.6708204&0.5&0.2236068 \end{bmatrix}$

इस मैट्रिक्स के कॉलम हैं ऑर्थोनॉर्मल हैं , जैसा कि इसके द्वारा दिखाया जा सकता है (sum(Z[,3]^2))^(1/4) = 1और z[,3]%*%z[,4] = 0, उदाहरण के लिए (संयोग से वही पंक्तियों के लिए जाता है)। और, प्रत्येक स्तंभ प्रारंभिक ऊपर उठाने का परिणाम है करने के लिए -ST, -nd और यानी - -rd शक्ति क्रमश: रैखिक, द्विघात और घन । $\text{scores - mean}$ $1$ $2$ $3$

2. व्याख्यात्मक चर में स्तरों के बीच अंतर को समझाने के लिए कौन से विरोधाभासी (स्तंभ) महत्वपूर्ण योगदान देते हैं?

हम सिर्फ एनोवा को चला सकते हैं और सारांश देख सकते हैं ...

summary(lm(write ~ readcat, hsb2))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  52.7870     0.6339  83.268   <2e-16 ***
readcat.L    14.2587     1.4841   9.607   <2e-16 ***
readcat.Q    -0.9680     1.2679  -0.764    0.446    
readcat.C    -0.1554     1.0062  -0.154    0.877

... देखने के लिए की एक रेखीय प्रभाव है कि वहाँ readcatपर writeहै, तो मूल मानों (पोस्ट की शुरुआत में कोड के तीसरे खंड में) के रूप में reproduced किया जा सकता है कि:

coeff = coefficients(lm(write ~ readcat, hsb2))
C = contr.poly(4)
(recovered = c(coeff %*% c(1, C[1,]),
               coeff %*% c(1, C[2,]),
               coeff %*% c(1, C[3,]),
               coeff %*% c(1, C[4,])))
[1] 42.77273 49.97849 56.56364 61.83333

... और ...

... या बहुत बेहतर ...

होने के नाते ओर्थोगोनल विरोधाभासों उनके घटकों का योग शून्य करने के लिए कहते हैं $\displaystyle \sum_{i=1}^t a_i = 0$ के लिए स्थिरांक, और उनमें से किसी भी दो के बिंदु गुणनफल शून्य है। अगर हम उनकी कल्पना कर सकें तो वे कुछ इस तरह दिखेंगे: $a_1,\cdots,a_t$

ऑर्थोगोनल कॉन्ट्रास्ट के पीछे का विचार यह है कि हम जो एक्सट्रैक्ट (एक रेखीय रिग्रेशन के माध्यम से गुणांक पैदा करने वाले इस मामले में) कर सकते हैं, डेटा के स्वतंत्र पहलुओं का परिणाम होगा। अगर हम बस इस्तेमाल करते हैं तो ऐसा नहीं होगा $X^0, X^1, \cdots. X^n$

आलेखीय रूप से, यह समझना बहुत आसान है। बड़े वर्ग ब्लैक ब्लॉक्स में समूहों द्वारा वास्तविक साधनों की तुलना अनुमानित मूल्यों से करें, और देखें कि द्विघात और घन बहुपद के न्यूनतम योगदान के साथ एक सीधी रेखा सन्निकटन (केवल घट के साथ सन्निहित वक्रों के साथ) इष्टतम है:

यदि, प्रभाव के लिए, एनोवा के गुणांक अन्य सन्निकटन (द्विघात और घन) के लिए रैखिक विपरीत के लिए बड़े थे, निरर्थक साजिश जो इस प्रकार है कि प्रत्येक "योगदान" के बहुपद भूखंडों को स्पष्ट रूप से चित्रित किया जाएगा:

कोड यहाँ है ।

— एंटोनी पारेलाडा
स्रोत

+1 वाह। क्या यह उत्तर (मैंने इसे अब तक अंत तक नहीं पढ़ा है) को मेरे पुराने, भूले हुए प्रश्न के उत्तर के रूप में देखा जा सकता है, यह भी आँकड़े ।stackexchange.com/q/63639/3277 ?

— ttnphns

(+1) @ttnphns: यकीनन यह और भी बेहतर होगा।

— Scortchi - को पुनः स्थापित मोनिका

बस एक टिप: आप मुझे यहाँ लिंक के साथ टिप्पणी करना चाहते हैं; या वहां एक उत्तर जारी करें - जिसे मुझे स्वीकार करने की संभावना है।

— tnnphns

@ttnphns और @Sortchi आपका धन्यवाद! मैंने इन अवधारणाओं को समझने के लिए कुछ समय बिताया, और बहुत प्रतिक्रिया की उम्मीद नहीं की। इसलिए यह बहुत सकारात्मक आश्चर्य है। मुझे लगता है कि qr.qy()फ़ंक्शन को समझाने के संबंध में कुछ झुर्रियाँ हैं , लेकिन मैं यह देखने की कोशिश करूंगा कि क्या मेरे पास कुछ समय होने के साथ ही मैं आपके प्रश्न के बारे में कुछ न्यूनतम कह सकता हूं।

— एंटोनी परेलाडा

@ एल्विस मैंने एक अच्छा सारांश वाक्य चुनने की कोशिश की और इसे पोस्ट में कहीं रख दिया। मुझे लगता है कि यह एक अच्छा बिंदु है, और एक अच्छे गणितीय स्पष्टीकरण के लिए कहता है, लेकिन यह इस बिंदु पर बहुत अधिक विस्तृत हो सकता है।

— एंटोनी परेलाडा

मैं आपके उदाहरण का उपयोग करके बताऊंगा कि यह कैसे काम करता है। चार समूहों के साथ बहुपद विरोधाभासों का उपयोग करके निम्नलिखित पैदावार होती है।

\begin{aligned} इ w आर मैं टी इ_{1} & = μ - 0.67 एल + 0.5 क्यू - 0.22 सी \\ इ w आर मैं टी इ_{2} & = μ - 0.22 एल - 0.5 क्यू + 0.67 सी \\ इ w आर मैं टी इ_{3} & = μ + 0.22 एल - 0.5 क्यू - 0.67 सी \\ इ w आर मैं टी इ_{4} & = μ + 0.67 एल + 0.5 क्यू + 0.22 सी \end{aligned}

$\begin{align} E\,write_1 &= \mu -0.67L + 0.5Q -0.22C\\ E\,write_2 &= \mu -0.22L -0.5Q + 0.67C\\ E\,write_3 &= \mu + 0.22L -0.5Q -0.67C\\ E\,write_4 &= \mu + 0.67L + 0.5Q + 0.22C \end{align}$

जहां पहला समीकरण सबसे कम पढ़ने वाले स्कोर के समूह के लिए काम करता है और सबसे अच्छा पढ़ने के स्कोर के समूह के लिए चौथा एक है। हम इन समीकरणों की तुलना सामान्य रेखीय प्रतिगमन (दबाने वाले) का उपयोग करके दिए गए से कर सकते हैं $read_i$ निरंतर है)

E w r i t e_{i} = μ + r e a d_{i} L + r e a d_{i}^{2} Q + r e a d_{i}^{3} C

$E\,write_i=\mu+read_iL + read_i^2Q+read_i^3C$

Usually instead of $L,Q,C$ you would have $\beta_1, \beta_2, \beta_3$ and written at first position. But this writing resembles the one with polynomial contrasts. So numbers in front of $L, Q, C$ are actually instead of $read_i, read_i^2, read_i^3$ . You can see that coefficients before $L$ have linear trend, before $Q$ quadratic and before $C$ cubic.

Then R estimates parameters $\mu, L,Q,C$ and gives you

\hat{μ} = 52.79, \hat{L} = 14.26, \hat{Q} = - 0.97, \hat{C} = - 0.16

$\widehat{\mu}=52.79, \widehat{L}=14.26, \widehat{Q}=−0.97, \widehat{C}=−0.16$ Where

\hat{μ} = \frac{1}{4} \sum_{i = 1}^{4} E w r i t e_{i}

$\widehat{\mu}=\frac{1}{4}\sum_{i=1}^4E\,write_i$ and estimated coefficients

\hat{μ}, \hat{L}, \hat{Q}, \hat{C}

$\widehat{\mu}, \widehat{L}, \widehat{Q}, \widehat{C}$ are something like estimates at normal linear regression. So from the output you can see if estimated coefficients are significantly different from zero, so you could anticipate some kind of linear, quadratic or cubic trend.

In that example is significantly non-zero only $\widehat{L}$ . So your conclusion could be: We see that the better scoring in writing depends linearly on reading score, but there is no significant quadratic or cubic effect.

— Fimba
स्रोत