पीसीए के माध्यम से ऑर्थोगोनल रिग्रेशन (कुल कम से कम वर्ग) कैसे करें?

मैं हमेशा पर lm() का रैखिक प्रतिगमन करने के लिए R में उपयोग करता हूं । यह फ़ंक्शन एक गुणांक लौटाता है जैसे कि $y$ $x$ $\beta$

y = β x .

$y = \beta x.$

आज मैंने कुल कम से कम वर्गों के बारे में सीखा और princomp()इसे पूरा करने के लिए उस फ़ंक्शन (प्रमुख घटक विश्लेषण, पीसीए) का उपयोग किया जा सकता है। यह मेरे लिए अच्छा होना चाहिए (अधिक सटीक)। मैंने कुछ परीक्षणों का उपयोग किया है princomp(), जैसे:

r <- princomp( ~ x + y)

मेरी समस्या यह है: इसके परिणामों की व्याख्या कैसे करें? मैं प्रतिगमन गुणांक कैसे प्राप्त कर सकता हूं? "गुणांक" से मेरा तात्पर्य संख्या $\beta$ जिसे मुझे करीब संख्या देने के लिए $x$ मान को गुणा करने के लिए उपयोग करना है । $y$

— सस्ता
स्रोत

एक पल लोग, मैं थोड़ा उलझन में हूँ। इसे देखें: zoonek2.free.fr/UNIX/48_R/09.html इसे PCA (प्रिंसिपल कंपोनेंट एनालिसिस, उर्फ़ "ऑर्थोगोनल रिग्रेशन" या "चौकों का सीधा जोड़ " या "कुल कम से कम वर्ग") कहा जाता है, इसलिए मुझे लगता है कि हम बात कर रहे हैं। के साथ TLS के बारे में () नहीं?

— Dail

नहीं; वे दो अलग चीजें हैं, पीसीए के बारे में विकिपीडिया लेख देखें। तथ्य यह है कि यहाँ प्रयोग किया जाता है एक हैक है (मुझे नहीं पता कि कितना सटीक है, लेकिन मैं इसे जांचने जा रहा हूं); यही कारण है कि गुणांक के जटिल निष्कर्षण।

एक संबंधित प्रश्न: आंकड़े.stackexchange.com/questions/2691/… और एक ब्लॉग पोस्ट में से एक के जवाब से संदर्भित है: cerebralmastication.com/2010/09/…

— जोनाथन

कुल न्यूनतम वर्ग बनाम कम से कम वर्ग

आइए पहले केवल एक भविष्यवक्ता (स्वतंत्र) चर के सबसे सरल मामले पर विचार करें । सादगी के लिए, और दोनों को केंद्रित होने दें, अर्थात अवरोधन हमेशा शून्य होता है। मानक ओएलएस प्रतिगमन और "ऑर्थोगोनल" टीएलएस प्रतिगमन के बीच का अंतर इस पर स्पष्ट रूप से दिखाया गया है (मेरे द्वारा अनुकूलित) पीसीए पर सबसे लोकप्रिय धागे में सबसे लोकप्रिय उत्तर से। $x$ $x$ $y$

ओएलएस बनाम टीएलएस

OLS फिट के समीकरण मनाया मूल्यों के बीच वर्ग दूरी कम करके भविष्यवाणी मूल्यों और $y=\beta x$ $y$ । टीएलएसलाइन परबिंदुओं और उनके प्रक्षेपण केबीच वर्ग दूरी को कम करके एक ही समीकरण को फिट करता है। इस सरलतम मामले में टीएलएस लाइन 2 डी डेटा का पहला प्रमुख घटक है। जानने के लिए, पर पीसीए हैअंक अर्थात निर्माणसहप्रसरण मैट्रिक्सऔर इसके पहले आइजन्वेक्टर खोजने के $\hat y$ $(x,y)$ $\beta$ $(x,y)$ $2\times 2$ $\boldsymbol \Sigma$ ; तो । $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

मतलाब में:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

आर में:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

वैसे, यह सही ढलान का उत्पादन करेगा भले ही और केंद्रित नहीं थे (क्योंकि अंतर्निहित पीसीए फ़ंक्शन स्वचालित रूप से केंद्रित होते हैं)। अवरोधन ठीक करने के लिए, गणना । $x$ $y$ $\beta_0 = \bar y - \beta \bar x$

ओएलएस बनाम टीएलएस, कई प्रतिगमन

एक आश्रित चर को देखते हुए और कई स्वतंत्र चरों (फिर से, सभी सादगी के लिए केंद्रित), प्रतिगमन एक समीकरण फिट बैठता है $y$ $x_i$ OLS की प्रेक्षित मूल्यों के बीच वर्ग त्रुटियों को कम करके फिट करता है और भविष्यवाणी की मानों । टीएलएस के बीच मनाया वर्ग दूरी कम करके फिट करता है

y = β_{1} x_{1} + \dots + β_{p} x_{p} .

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$ अंक और प्रतिगमन विमान / हाइपरप्लेन पर निकटतम बिंदु।

ध्यान दें कि अब कोई "प्रतिगमन रेखा" नहीं है! उपर्युक्त समीकरण एक हाइपरप्लेन निर्दिष्ट करता है : यह एक 2 डी प्लेन है यदि दो प्रेडिक्टर हैं, 3 डी हाइपरप्लेन हैं यदि तीन प्रेडिक्टर हैं, आदि। तो उपरोक्त समाधान काम नहीं करता है: हम केवल पहला पीसी लेकर टीएलएस समाधान नहीं प्राप्त कर सकते हैं (जो है) एक लाइन)। फिर भी, पीसीए के माध्यम से समाधान आसानी से प्राप्त किया जा सकता है।

पहले की तरह, PCA बिंदुओं पर किया जाता है। यह स्तंभों में eigenvectors पैदावार देता है । पहले eigenvectors एक -dimensional हाइपरप्लेन को परिभाषित करते हैं जो हमें चाहिए; अंतिम (संख्या ) eigenvector लिए रूढ़िवादी है। सवाल यह है कि पहले eigenvectors द्वारा दिए गए के आधार को ients गुणांक में कैसे । $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ $p$ $\boldsymbol \beta$

ध्यान से देखें कि अगर हम सेट सभी के लिए और केवल , तो , यानी वेक्टर hyperplane में निहित । दूसरी ओर, हम जानते हैं कि $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

लिए ऑर्थोगोनल है। यानी उनके डॉट उत्पाद शून्य होना चाहिए:

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

मतलाब में:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

आर में:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

फिर से, यह सही ढलान का उत्पादन करेगा भले ही और केंद्रित नहीं थे (क्योंकि अंतर्निहित पीसीए फ़ंक्शन स्वचालित रूप से केंद्रित होते हैं)। अवरोधन ठीक करने के लिए, गणना । $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

एक पवित्रता की जाँच के रूप में, ध्यान दें कि यह समाधान केवल एक ही पूर्वसूचक मामले में पिछले एक के साथ मेल खाता है । दरअसल, तब स्पेस 2 डी है, और इसलिए, यह देखते हुए कि पहला PCA eigenvector दूसरे (अंतिम) वन, लिए ऑर्थोगोनल है $x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

टीएलएस के लिए बंद फार्म समाधान

$\boldsymbol \beta$

$\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ के साथ एक eigenvalue $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} I)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

मल्टीवेरिएट मल्टीपल रिग्रेशन

बहु सूत्रीय मामले में एक ही सूत्र को सामान्यीकृत किया जा सकता है, लेकिन यह भी परिभाषित करने के लिए कि बहुभिन्नरूपी TLS क्या करता है, इसके लिए कुछ बीजगणित की आवश्यकता होगी। TLS पर विकिपीडिया देखें । बहुभिन्नरूपी OLS प्रतिगमन प्रत्येक निर्भर चर के लिए univariate OLS प्रतिगमन का एक गुच्छा के बराबर है, लेकिन TLS मामले में ऐसा नहीं है।

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

मैं आर को नहीं जानता, लेकिन फिर भी भविष्य के संदर्भ के लिए आर स्निपेट प्रदान करना चाहता था। आर में कुशल यहां कई लोग हैं। यदि जरूरत हो तो कृपया मेरे स्निपेट्स को संपादित करने के लिए स्वतंत्र महसूस करें! धन्यवाद।

— अमीबा का कहना है कि मोनिका को बहाल करो

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$ hyperplane में निहित है?

— जॉनके

x_{i}

$x_i$

x_{k} = 1

$x_k=1$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

— अमीबा का कहना है कि

मुझे लगता है कि यह हिस्सा गलत है, लेकिन अब यह स्पष्ट है। स्पष्टीकरण के लिए भी धन्यवाद।

— जॉन सिप २

आर में, आप "प्रिजन (cbind (x, y))) $ vectors" "prcomp (cbind (x, y)) $ रोटेशन" को पसंद कर सकते हैं क्योंकि पूर्व बड़े वैक्टर के लिए बहुत तेज है।

— थॉमस ब्राउन

यहाँ पाए गए भोले ग्नू ऑक्टेव कार्यान्वयन के आधार पर , इस तरह के कुछ (नमक के दाने, यह देर हो चुकी है) काम हो सकता है।

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— cashoes
स्रोत

princompकुल कम से कम वर्गों प्रतिगमन के बजाय प्रमुख घटक विश्लेषण चल रहा है । जहां तक मुझे पता है कि कोई आर फ़ंक्शन नहीं है और न ही पैकेज जो टीएलएस करता है; अधिकांश में MethComp में Deming प्रतिगमन है ।
फिर भी, कृपया इसे एक सुझाव के रूप में मानें कि यह सबसे अधिक संभावना है कि इसके लायक नहीं है।

मैंने सोचा कि MethComp पैकेज में Deming TLS था - क्या अंतर है?

— mark999

You must give it the ratio of errors on x and y; pure TLS optimises this.