चर का एक वेक्टर हाइपरप्लेन का प्रतिनिधित्व कैसे कर सकता है?

Question

मैं सांख्यिकीय शिक्षण के तत्वों को पढ़ रहा हूं और पृष्ठ 12 (खंड 2.3) पर एक रेखीय मॉडल के रूप में नोट किया गया है:

$$\widehat{Y} = X^{T} \widehat{\beta}$$

... जहां भविष्यवक्ताओं / स्वतंत्र चर / निविष्टियों के एक स्तंभ वेक्टर का संक्रमण है। (यह पहले कहा गया है "सभी वैक्टर को कॉलम वैक्टर माना जाता है" तो इससे एक पंक्ति वेक्टर और एक कॉलम वेक्टर नहीं होगा?) एक्स टी $X^{T}$$X^{T}$$\widehat{\beta}$

में शामिल एक " " है जो कि गुणांक के अनुरूप (निरंतर) अवरोधन के साथ गुणा किया जाना है।$X$$1$

यह कहा जाता है:

में आयामी इनपुट-आउटपुट अंतरिक्ष, एक hyperplane प्रतिनिधित्व करता है। यदि में स्थिरांक शामिल है , तो हाइपरप्लेन में उत्पत्ति शामिल है और एक उप-स्थान है; यदि नहीं, तो यह बिंदु पर -axis काटने वाला एक affine सेट है ।( एक्स , वाई ) एक्स वाई ( 0 , ^ β 0$(p + 1)$$(X,\ \widehat{Y})$$X$$Y$$(0,\ \widehat{\beta_0})$

क्या " " भविष्यवाणियों के संघात द्वारा गठित वेक्टर का वर्णन करता है, इंटरसेप्ट का " " और ? और क्यों में एक " " शामिल है हाइपरप्लेन को मूल से गुजरने के लिए मजबूर करता है, निश्चित रूप से कि " " को द्वारा गुणा किया जाना है ?1 Y 1 एक्स 1 ^ β $(X,\ \widehat{Y})$$1$$\widehat{Y}$$1$$X$$1$$\widehat{\beta_0}$

मैं पुस्तक को समझने में असफल रहा हूँ; किसी भी मदद / सलाह / संसाधनों के लिंक की बहुत सराहना की जाएगी।

Comments

यह पहले पर विचार करने में मदद कर सकता है । उस मामले में, y = β 0 + एक्स β , साथ β 0 अवरोधन। यह एक लाइन के माध्यम से गुजर का समीकरण है ( 0 , β 0 ) । उच्च आयामों के विस्तार तत्काल हैं। $p = 1$$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$$\beta_0$$(0, \hat{\beta}_0)$

— ऑसम

यदि @ocram की सहायता पर्याप्त नहीं है, तो वैक्टर को लिखने और गुणा करने का प्रयास करें।

— पीटर Flom

यहाँ एक अच्छी चित्रमय प्रस्तुति है: blog.stata.com/2011/03/03/… । अंकन आपकी एक्स और एक्स है, अलग है एक β । $\hat \beta$

— दिमित्री वी। मास्टरोव

किताब है गलत है, या कम से कम यह असंगत है। जाहिर है कि वेरिएबल हैं जिनमें स्थिरांक शामिल नहीं है। इस प्रकार सेट { ( एक्स , वाई ) | एक्स ∈ आर पी } वास्तव में एक hyperplane है, लेकिन यह कहना है कि लगातार कर रहा है वह सही नहीं है "में शामिल एक्स ।" इसके बजाय मुझे लगता है कि निरंतर कहने के लिए पुस्तक को प्रतिगमन में शामिल किया गया है लेकिन फिर भी इसे एक्स का हिस्सा नहीं माना जाना चाहिए । इसलिए मॉडल वास्तव में लिखा जाना चाहिए Y = β 0$p$$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$$X$$X$ β जहां β = ( β 1 , β 2 , ... , β पी ) ' । एक्स = 0 सेट करनातुरंत अवरोधन के बारे में जोर देता है। $\hat{Y}=\hat\beta_0 + X'\hat\beta$$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$$X=0$

— whuber

(हम बजाय में लगातार शामिल करते हैं तो , तो हम कर सकते हैं नहीं एक्स आज़ादी की सब से अधिक अलग-अलग हो आर पी : यह एक के भीतर झूठ करने के लिए विवश किया जाता है पी - 1 आयामी उपस्पेस ग्राफ। { ( एक्स , वाई ) } तो codimension है कम से कम 2 और इतने वास्तव में एक "hyperplane।" नहीं है)$X$$X$$\mathbb{R}^p$$p-1$$\{(X,\hat Y)\}$$2$

— whuber

Answer 1

चलो टिप्पणियों और की संख्या हो कश्मीर व्याख्यात्मक चर की संख्या।$N$$K$

वास्तव में एक$X$ मैट्रिक्स। केवल जब हम एक ही अवलोकन को देखते हैं, तो हम आमतौर पर प्रत्येक अवलोकन को x T i के रूप में निरूपित करते हैं- एक विशेष अवलोकन स्केलर के व्याख्यात्मक चर की एक पंक्ति वेक्टर जो K के साथ गुणा होती है$N\!\times\!K$$x_i^T$ कॉलम वेक्टर β । इसके अलावा, Y एक$K\!\times\!1$$\beta$$Y$ कॉलम वेक्टर, सभी अवलोकन Y n को पकड़े हुए।$N\!\times\!1$$Y_n$

अब, एक दो आयामी हाइपरप्लेन X के वेक्टर और एक (!) कॉलम वेक्टर के बीच की अवधि होगी । याद रखें कि X एक $Y$$X$$X$ मैट्रिक्स, इसलिए प्रत्येक व्याख्यात्मक चर मैट्रिक्स X के ठीक एक कॉलम वेक्टर द्वारा दर्शाया गया है। यदि हमारे पास केवल एक व्याख्यात्मक चर, कोई अवरोधन और वाई नहीं है , तो सभी डेटा बिंदु वाई और एक्स द्वारा प्रायोजित 2 आयामी विमान के साथ स्थित हैं।$N\!\times\!K$$X$$Y$$Y$$X$

एक बहु प्रतिगमन के लिए, और मैट्रिक्स X के बीच कुल कितने आयाम हैं? उत्तर: जब से हम है कश्मीर में व्याख्यात्मक चर के स्तंभ वैक्टर एक्स , हम एक होना आवश्यक है $Y$$X$$K$$X$ आयामी हाइपरप्लेन।$K\!+\!1$

आमतौर पर, एक मैट्रिक्स सेटिंग में, प्रतिगमन को ढलान गुणांक के उचित विश्लेषण के लिए निष्पक्ष होने के लिए एक निरंतर अवरोधन की आवश्यकता होती है। इस चाल के लिए समायोजित करने के लिए, हम मैट्रिक्स एक कॉलम को केवल " 1 एस" से मिलकर बनाने के लिए मजबूर करते हैं । इस मामले में, आकलनकर्ता बीटा 1 एक यादृच्छिक व्याख्यात्मक चर के बजाय प्रत्येक अवलोकन के लिए एक निरंतर से गुणा अकेला खड़ा है। गुणांक β 1 की इसलिए उम्मीद मूल्य का प्रतिनिधित्व करता Y कि दिए गए एक्स 1 मैं मान 1 के साथ तय आयोजित किया जाता है और अन्य सभी चर शून्य कर रहे हैं। इसलिए $X$$1$$\beta_1$$\beta_1$$Y$$x_{1i}$ आयामी hyperplane एक करने के लिए एक आयाम से कम हो जाता है कश्मीर आयामी उपस्पेस, और बीटा 1 इस बात का "अवरोधन" से मेल खाती है कश्मीर आयामी विमान।$K\!+\!1$$K$$\beta_1$$K$

मैट्रिक्स सेटिंग्स में दो आयामों के सरल मामले पर एक नज़र रखना हमेशा उचित होता है, यह देखने के लिए कि क्या हम अपने परिणामों के लिए एक अंतर्ज्ञान पा सकते हैं। यहाँ, सबसे आसान तरीका दो व्याख्यात्मक चर के साथ सरल प्रतिगमन के बारे में सोचना है: या वैकल्पिक रूप से मैट्रिक्स बीजगणित में व्यक्त किया: Y = एक्स β + यू जहां एक्स है एक

$$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$$ $Y=X\beta +u$$X$ मैट्रिक्स।$N\!\times\!2$

एक 3-आयामी हाइपरप्लेन फैलाता है।$<Y,X>$

अब अगर हम सब के लिए मजबूर सब होने के लिए 1 , हम प्राप्त: y मैं = β 1 मैं + β 2 एक्स 2 मैं + यू मैं जो हमारी सामान्य सरल प्रतिगमन है कि एक दो आयामी में व्यक्त किया जा सकता है एक्स , वाई साजिश। ध्यान दें कि < y , X > अब एक दो आयामी रेखा तक कम हो गया है - मूल रूप से 3 आयामी हाइपरप्लेन का एक उपसमूह। गुणांक corresp 1 x 2 i = पर लाइन काटने के अवरोधन से मेल खाता है$x_1$$1$

$$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$$ $X,\ Y$$<Y,X>$$\beta_1$ ।$x_{2i}=0$

आगे यह भी दिखाया जा सकता है कि यह भी माध्यम से गुजरता है जब निरंतर के लिए शामिल किया गया है । यदि हम निरंतर छोड़ते हैं, तो प्रतिगमन हाइपरप्लेन हमेशा < 0 , 0 > के माध्यम से तुच्छ रूप से गुजरता है - कोई संदेह नहीं है। कई आयामों को यह सामान्यीकरण करता है, क्योंकि यह जब पाने के लिए बाद में देखा जाएगा β : ( एक्स ' एक्स ) β = एक्स '$<0,\beta_1>$$<0,0>$$\beta$ के बाद से एक्स परिभाषा के अनुसार पूर्ण रैंक है, y - एक्स β = 0 , और इसलिए प्रतिगमन मूल के माध्यम से गुजरता है, तो हम अवरोधन को छोड़ दें।

$$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$$ $X$$y-X\beta=0$

( संपादित करें: मैं सिर्फ महसूस किया कि अपने दूसरे प्रश्न के लिए वास्तव में यह आप के विपरीत लिखा है है शामिल किए जाने या निरंतर का बहिष्कार regading हालांकि, मैं पहले से ही यहाँ समाधान तैयार किया है और मैं ठीक किया मानी अगर मैं उस पर गलत हूँ।। )

मुझे पता है कि एक प्रतिगमन का मैट्रिक्स प्रतिनिधित्व शुरुआत में काफी भ्रमित हो सकता है लेकिन अंततः अधिक जटिल बीजगणित प्राप्त करते समय यह बहुत सरल करता है। उम्मीद है इससे कुछ मदद मिली होगी।

Answer 2

मुझे लगता है कि इसके बारे में सोचने का तरीका उस समीकरण को फिर से व्यवस्थित करना है:

$$\widehat{Y} - X^{T} \widehat{\beta} = 0$$

$$\widehat{Y}$$