सामान्यीकृत कम से कम वर्ग: प्रतिगमन गुणांक से सहसंबंध गुणांक तक?

Question

कम से कम एक भविष्यवक्ता के साथ वर्ग:

$y = \beta x + \epsilon$

यदि और को फिटिंग से पहले मानकीकृत किया जाता है (यानी ), तो:$x$$y$$\sim N(0,1)$

• $\beta$ पियर्सन सहसंबंध गुणांक, ।$r$
• $\beta$परावर्तित प्रतिगमन में समान है:$x = \beta y + \epsilon$

सामान्यीकृत कम से कम वर्गों (जीएलएस) के लिए, क्या समान लागू होता है? यानी यदि मैं अपना डेटा मानकीकृत करता हूं, तो क्या मैं प्रतिगमन गुणांक से सीधे सहसंबंध गुणांक प्राप्त कर सकता हूं?

डेटा के साथ प्रयोग करने से, प्रतिबिंबित GLS अलग-अलग गुणांक की ओर जाता है और यह भी सुनिश्चित नहीं है कि मुझे विश्वास है कि प्रतिगमन गुणांक सहसंबंध के लिए मेरे अपेक्षित मूल्यों के साथ फिट हैं। मुझे पता है कि लोग GLS सहसंबंध गुणांक को उद्धृत करते हैं, इसलिए मैं सोच रहा हूं कि वे उन तक कैसे पहुंचे और इसलिए उनका वास्तव में क्या मतलब है?$\beta$

Answer 1

इसका उत्तर है हां, रैखिक प्रतिगमन गुणांक प्रतिक्रिया के साथ पूर्वसूचकों के सहसंबंध हैं, लेकिन केवल यदि आप सही समन्वय प्रणाली का उपयोग करते हैं ।

यह देखने के लिए कि मेरा क्या मतलब है, याद रखें कि यदि और केंद्रित और मानकीकृत हैं, तो प्रत्येक और बीच संबंध केवल डॉट उत्पाद । इसके अलावा, रैखिक प्रतिगमन के लिए सबसे कम वर्ग समाधान है y x x i y x t i$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

यदि ऐसा होता है कि (पहचान मैट्रिक्स) तब$X^{t} X = I$

$$\beta = X^t y$$

और हम सहसंबंध वेक्टर को पुनर्प्राप्त करते हैं। यह अक्सर भविष्यवाणियों के संदर्भ में एक प्रतिगमन समस्या को आकर्षित करने के लिए आकर्षक होता है जो संतुष्ट करता है मूल भविष्यवक्ताओं के उपयुक्त रेखीय संयोजनों को जो इस संबंध को सही मानता है ( या समकक्ष, निर्देशांक का एक रैखिक परिवर्तन); इन नए भविष्यवक्ताओं को प्रमुख घटक कहा जाता है। ~ एक्स टी ~ एक्स =$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

तो कुल मिलाकर, आपके प्रश्न का उत्तर हां है, लेकिन केवल जब भविष्यवक्ता स्वयं असंबद्ध हैं । अन्यथा, अभिव्यक्ति

$$X^t X \beta = X^t y$$

दर्शाता है कि भविष्यवक्ताओं-प्रतिक्रिया सहसंबंधों को पुनर्प्राप्त करने के लिए भविष्यवक्ताओं के बीच विश्वासघात के साथ शर्त को एक साथ मिलाया जाना चाहिए ।

एक साइड नोट के रूप में, यह भी बताता है कि एक चर रैखिक प्रतिगमन के लिए परिणाम हमेशा सही क्यों होता है। एक बार भविष्यवक्ता वेक्टर मानकीकृत होता है, तो:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

जहां सभी लोगों का इंटरसेप्ट वेक्टर है। तो दो (दो स्तंभ) डेटा मैट्रिक्स स्वचालित रूप से संतुष्ट करता है , और परिणाम निम्नानुसार है।$x_0$$X$$X^t X = I$