एक सामान्य समीकरण प्रमाण के बारे में प्रश्न

आप यह कैसे साबित कर सकते हैं कि सामान्य समीकरण: पास एक या एक से अधिक समाधान हैं बिना इस धारणा के कि एक्स इन्वर्टिबल है? $(X^TX)\beta = X^TY$

मेरा एकमात्र अनुमान यह है कि इसका सामान्यीकृत व्युत्क्रम के साथ कुछ करना है, लेकिन मैं पूरी तरह से खो गया हूं।

regression proof

— ryati
स्रोत

आप ऐसे प्रश्न पूछकर अंक प्राप्त करते हैं जो आश्चर्यजनक उत्तर देते हैं।

— निकाना रेक्लाविक्स

एक को ग्लिब होने का प्रलोभन दिया जाता है और यह इंगित किया जाता है कि क्योंकि द्विघात रूप है

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

सकारात्मक अर्ध-निश्चित है, इसमें एक मौजूद है जिसके लिए यह न्यूनतम है और वह न्यूनतम पाया जाता है ( सामान्य से समीकरण को संबंध में ढाल सेट करके ) $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

जिस कारण से वहाँ कम से कम एक समाधान के पद की परवाह किए बिना किया जाना चाहिए $X'X$ । हालाँकि, यह तर्क उस प्रश्न की भावना से नहीं लगता है, जो विशुद्ध रूप से बीजगणितीय कथन प्रतीत होता है। शायद यह समझने में दिलचस्पी है कि इस तरह के समीकरण का एक समाधान होना चाहिए और ठीक क्या शर्तों के तहत। तो चलो शुरू करते हैं और दिखावा करते हैं कि हम कम से कम वर्गों के साथ संबंध नहीं जानते हैं।

यह सब के अर्थ के नीचे आता है , का पक्षांतरित । यह एक साधारण परिभाषा, उपयुक्त अंकन, और एक नोंग्जेनरेट सेस्क्विलाइन फॉर्म की अवधारणा का मामला होगा। याद रखें कि पंक्तियों का "डिज़ाइन मैट्रिक्स" है (प्रत्येक अवलोकन के लिए एक) और कॉलम (प्रत्येक चर के लिए एक, यदि कोई हो तो एक निरंतर सहित)। इसलिए यह वेक्टर अंतरिक्ष से से एक रैखिक परिवर्तन का प्रतिनिधित्व करता है । $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

का स्थानान्तरण , जिसे रैखिक परिवर्तन के रूप में समझा जाता है , दोहरे स्थानों का रैखिक परिवर्तन है । जैसी रचना की समझ बनाने के लिए , फिर, साथ को पहचानना आवश्यक है । यही कारण है कि सामान्य गणित उत्पाद (वर्गों का योग) पर करता है। $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

वास्तव में दो आंतरिक उत्पाद हैं और क्रमशः और पर परिभाषित हैं। ये वास्तविक-मूल्यवान बिलिनियर सममित कार्य हैं जो गैर-पतित हैं । बाद का मतलब है कि $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

लिए अनुरूप बयानों के साथ । ज्यामितीय रूप से, ये आंतरिक उत्पाद हमें लंबाई और कोण मापने में सक्षम करते हैं। हालत को के रूप में सोचा जा सकता है "लंबवत" से । Nondegeneracy का मतलब है कि केवल शून्य वेक्टर संपूर्ण वेक्टर अंतरिक्ष के लिए लंबवत है। (इस सामान्यता का अर्थ है कि यहां प्राप्त परिणाम सामान्यीकृत कम से कम वर्ग सेटिंग पर लागू होंगे , जिसके लिए आवश्यक रूप से घटकों के उत्पादों के योग के रूप में दिए गए सामान्य आंतरिक उत्पाद नहीं है, लेकिन कुछ मनमाने ढंग से nondegenerate रूप है। हम साथ पूरी तरह से कर सकते हैं। , को परिभाषित करते हुए $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ $g_V$ $X':\mathbb W\to\mathbb V^*$ , लेकिन मुझे उम्मीद है कि बहुत से पाठक दोहरे स्थानों से अपरिचित या असहज होंगे और इसलिए इस फॉर्मूले से बचेंगे।)

हाथ में इन भीतर उत्पादों के साथ, किसी भी रैखिक परिवर्तन के पक्षांतरित द्वारा परिभाषित किया गया है के माध्यम से $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

सभी के लिए और । कि वास्तव में एक वेक्टर मौजूद है में इस गुण के साथ और लिए आधारों के साथ चीजें लिखकर स्थापित किया जा सकता है ; यह वेक्टर आंतरिक उत्पादों की गैर-अध: पतन से अद्वितीय है। के लिए यदि और दो वैक्टर जिसके लिए कर रहे हैं सभी के लिए है, तो (पहले घटक में linearity से) सभी के लिए जिसका अर्थ । $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

जब में प्रत्येक वेक्टर के लिए लंबवत सभी वैक्टर के सेट के लिए लिखें । इसके अलावा अंकन, लिखने की बात के रूप की छवि के लिए , सेट होने के लिए परिभाषित । और उसके स्थानान्तरण बीच एक मूलभूत संबंध है $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

यही कारण है, के कर्नेल में है यदि और केवल यदि की छवि पर लम्ब है । $w$ $X'$ $w$ $X$ यह दावा दो बातें कहता है:

यदि , तो सभी , जो केवल साधन करने के लिए खड़ा है । $X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
यदि लिए लंबवत है , तो इसका मतलब केवल लिए सभी , लेकिन यह बराबर है और की तात्पर्य । $w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

हम वास्तव में अब कर रहे हैं। विश्लेषण से पता चला है कि एक प्रत्यक्ष उत्पाद रूप में विघटित होता है । है यही कारण है कि, हम किसी भी ले जा सकते हैं मनमाना और यह विशिष्ट लिखने के रूप में साथ और । इसका मतलब यह है कि कम से कम एक के लिए फॉर्म । सूचना, फिर, कि $\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

मूलभूत संबंध कहते हैं कि के कर्नेल में बाएं हाथ की ओर समान है : $X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

जिस कारण से हल सामान्य समीकरणों $\beta$ $X'X\beta = X'y.$

अब हम इस सवाल का एक संक्षिप्त ज्यामितीय उत्तर (कुछ खुलासा टिप्पणियों के साथ) देने की स्थिति में हैं : सामान्य समीकरणों का एक समाधान है क्योंकि कोई -vector विघटित (विशिष्ट) एक सदिश के योग के रूप में। की रेंज में और एक अन्य वेक्टर सीधा करने के लिए और कम से कम एक की छवि है -vector । छवि (इसकी रैंक ) का आयाम पहचानने योग्य मापदंडों का आयाम है । के कर्नेल का आयाम $n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ मापदंडों के बीच nontrivial रैखिक संबंधों को गिना जाता है। सभी मापदंडों की पहचान तब की जाती है जब से वन-टू-वन मैप अपनी छवि में । $X$ $\mathbb V$ $\mathbb W$

यह अंततः अंतरिक्ष साथ पूरी तरह से काम करने के लिए उपयोगी है और पूरी तरह से सबस्पेस , मैट्रिक्स के "कॉलम स्पेस" के साथ काम करता है । सामान्य समीकरणों की संख्या orthogonal प्रोजेक्शन । जो हमें वैचारिक रूप से मॉडल के किसी विशेष परिमाणीकरण से बंधे होने से मुक्त करता है और दिखाता है कि कम से कम वर्गों के मॉडल में आंतरिक आयाम है कि वे कैसे मानकीकृत किए जाते हैं। $\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

इस अमूर्त बीजगणितीय प्रदर्शन का एक दिलचस्प परिणाम यह है कि हम मनमाने ढंग से वेक्टर स्थानों में सामान्य समीकरणों को हल कर सकते हैं। परिणाम यह कहता है कि, जटिल स्थानों के लिए, परिमित क्षेत्रों के लिए रिक्त स्थान के लिए, (जहाँ वर्गों का योग कम से कम समझ में आता है), और यहां तक कि अनंत-आयामी रिक्त स्थान पर जो उपयुक्त अनुक्रमिक रूपों का समर्थन करते हैं।

— व्हीबर
स्रोत

मुझे इस उत्तर को स्वीकार करने के लिए बहुत बाद तक कभी नहीं दोहराना पड़ा। मैं बस इस पर वापस ठोकर खाई और आपको फिर से धन्यवाद देना चाहता था!

— 21

मैं उस द्विघात रूप को रूप में और

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— माइकल हार्डी

@ मिचेल आप टिप्पणी में एक टंकण त्रुटि होनी चाहिए। क्या आप स्पष्ट करेंगे कि आपका क्या मतलब है?

— whuber

@ उत्तर: मुझे कोई टाइपोग्राफिक त्रुटि नहीं मिली। मुद्दा यह है कि दो तीर और अलग-अलग अर्थ हैं।

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— माइकल हार्डी

@ मिचेल ने मुझे बहुत सारे रीडिंग के बावजूद उस भेद को न देखने के लिए माफ़ कर दिया। भले ही, मेरे लिए पहला तीर एक इंजेक्शन फ़ंक्शन को संदर्भित करता है, जबकि दूसरा किसी फ़ंक्शन को संदर्भित करता है, लेकिन मुझे संदेह है कि आप क्या इरादा नहीं करते हैं। क्या आप अपने संकेतन को समझाएंगे?

— व्ह्यूबेर

यह दिखाना आसान है (स्वयं के लिए प्रयास करें, मनमाने ढंग से संख्या के लिए, ) कि का व्युत्क्रम मौजूद है यदि नमूना सेट में कम से कम दो अलग-अलग -values (भविष्यवक्ता) हैं। केवल अगर आपके सभी डेटा में समान मान हैं (यानी, एक लंबवत रेखा के साथ-साथ -direction में ढेर किए गए बिंदु ), तो उनके माध्य माध्यम से खींची गई किसी भी रेखा में एक मनमाना ढलान (प्रतिगमन गुणांक) होगा , ताकि LSE प्रतिगमन लाइन तब अद्वितीय न हो। $n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
स्रोत

पूर्णता के लिए, साधारण रेखीय प्रतिगमन के लिए, जबकि कई रैखिक प्रतिगमन के लिए।

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

— ल्यूकोजेड

टिप्पणी में कई प्रतिगमन का संदर्भ हैरान करने वाला है, क्योंकि यह उत्तर केवल साधारण प्रतिगमन के मामले पर स्पष्ट रूप से लागू होता है जहां एक उच्च-आयामी सतह के बजाय "लाइन" ढाला जाता है। इसके अलावा, आप एक अलग प्रश्न का उत्तर देते दिखाई देते हैं: यह केवल उस मामले के बारे में पूछता है जहां उलटा नहीं है।

X^{'} X

$X'X$

— whuber

विशिष्ट प्रतिगमन में, X पतला है और इसलिए निश्चित रूप से उलटा नहीं है (हालांकि इसे उल्टा छोड़ दिया जा सकता है।) यह साबित करने के लिए सीधा है (यदि आपको मदद की आवश्यकता है) कि अगर X पतला है और उलटा छोड़ दिया गया है तो X ^ T / X उल्टा है। इस मामले में, तो वास्तव में एक समाधान होगा। और यदि X के पास पूर्ण स्तंभ रैंक नहीं है, तो X ^ T * X पूर्ण रैंक नहीं होगा, और इसलिए आपके पास एक अंडरटर्मर सिस्टम होगा।

— user542833
स्रोत

इन टिप्पणियों से सवाल का पता नहीं लगता: की रैंक की परवाह किए बिना , अभी भी एक समाधान मौजूद होगा । एक उदाहरण के रूप में, चरम स्थिति पर विचार करें जहां सभी शून्य का एक मैट्रिक्स है। फिर सामान्य समीकरण तक कम हो जाते हैं और कोई भी एक समाधान है।

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

— whuber

व्हीबर: निश्चित रूप से वे इस सवाल का जवाब देते हैं: एक सोल अगर एक्स पूर्ण स्तंभ रैंक है (जैसा कि मैंने उल्लेख किया है), और अनंत समाधान अगर यह एक कमतर प्रणाली है

— user542833

तथ्य यह है कि सिस्टम "अंडरडर्मेड" है इसका मतलब यह नहीं है कि इसका कोई समाधान नहीं है। प्रश्न समाधानों के अस्तित्व के बारे में है।

— whuber