विचलन के बारे में प्रतिगमन क्यों है?

मैं यह नोट पढ़ रहा हूं ।

पृष्ठ 2 पर, यह बताता है:

"किसी दिए गए प्रतिगमन मॉडल द्वारा डेटा में कितने विचरण को समझाया गया है?"

"प्रतिगमन व्याख्या गुणांक के माध्य के बारे में है; उनका विचलन उनके बारे में है।"

मैंने कई बार इस तरह के बयानों के बारे में पढ़ा है, हम इस बात की परवाह क्यों करेंगे कि "प्रतिगमन मॉडल द्वारा डेटा में कितना विचलन समझाया गया है?" ... अधिक विशेष रूप से, "विचरण" क्यों?

regression variance interpretation

— लूना
स्रोत

"[V] ariance" क्या मानक विचलन के विपरीत है? ऐसा क्या है कि आपको लगता है कि हमें प्रतिगमन में ध्यान रखना चाहिए? प्रतिगमन मॉडल बनाने में आपके विशिष्ट लक्ष्य क्या हैं?

— गंग - मोनिका

विचरण में मॉडल की गई मात्रा की तुलना में अलग-अलग इकाइयाँ होती हैं, इसलिए मैंने "मॉडल द्वारा समझाया गया विचरण के अनुपात" की व्याख्या करना हमेशा कठिन पाया है।

— उड़ता है

जवाबों:

हम इस बात की परवाह करेंगे कि "दिए गए प्रतिगमन मॉडल द्वारा डेटा में कितने प्रकार की व्याख्या की गई है?"

इसका उत्तर देने के लिए यह सोचना उपयोगी है कि प्रतिगमन मॉडल के एक निश्चित प्रतिशत के लिए इसका क्या मतलब है।

चलो $Y_{1}, ..., Y_{n}$ परिणाम चर है। प्रतिगमन मॉडल में आश्रित चर का सामान्य नमूना विचरण अब हमकी भविष्यवाणी की जाएक कम से कम वर्गों के आधार पर रैखिक भविष्यवक्ता मूल्यों के साथ प्रतिगमन मॉडल। जैसा कियहांसिद्धहै, ऊपर दिए गए इस प्रकार को इस प्रकार बांटा जा सकता है:

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2$

{\hat{Y}}_{i} \equiv \hat{f} (X_{i})

$\widehat{Y}_i \equiv \widehat{f}({\boldsymbol X}_i)$

Y_{i}

$Y_i$

X_{i}

${\boldsymbol X}_i$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \underset{r e s i d u a l v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2}}} + \underset{e x p l a i n e d v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}}}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2 = \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \widehat{Y}_i)^2}_{{\rm residual \ variance}} + \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (\widehat{Y}_i - \overline{Y})^2}_{{\rm explained \ variance}}$

कम से कम वर्गों प्रतिगमन में, भविष्यवाणी की मानों का औसत है इसलिए कुल अन्तर बराबर मनाया और भविष्यवाणी मूल्यों के बीच वर्ग अंतर (अवशिष्ट विचरण) प्लस भविष्यवाणियों खुद की नमूना प्रसरण (विचरण समझाया गया है) के औसत के लिए, है, जो केवल एस का एक कार्य कर रहे हैं । इसलिए "समझाया" विचरण को में विचरण माना जा सकता है जो में भिन्नता के कारण है । में विचरण के अनुपात में जाता है कि "समझाया" (यानी में भिन्नता के अनुपात में कि में भिन्नता के कारण है $\overline{Y}$ ${\boldsymbol X}$ $Y_i$ ${\boldsymbol X}_i$ $Y_i$ $Y_i$ ) कभी कभी के रूप में जाना जाता है ${\boldsymbol X}_i$ । $R^2$

अब हम दो चरम उदाहरणों का उपयोग करते हैं जो यह स्पष्ट करते हैं कि यह विघटन अपघटन क्यों महत्वपूर्ण है:

(१) भविष्यवक्ताओं को प्रतिक्रियाओं से कोई लेना देना नहीं है । उस मामले में, सबसे अच्छा निष्पक्ष भविष्यवक्ता (कम से कम वर्गों अर्थ में) के लिए है । इसलिए में कुल विचरण अवशिष्ट विचरण के बराबर है और भविष्यवाणियों में विचरण से असंबंधित है । $Y_i$ $\widehat{Y}_i = \overline{Y}$ $Y_i$ ${\boldsymbol X}_i$
(२) भविष्यवक्ता भविष्यवाणियों से पूरी तरह से रैखिक रूप से संबंधित होते हैं । उस मामले में, भविष्यवाणियों बिल्कुल सही हैं और । इसलिए कोई अवशिष्ट विचरण नहीं है और परिणाम में सभी विचरण स्वयं पूर्वानुमानों में विचरण है, जो केवल भविष्यवाणियों का कार्य है। इसलिए परिणाम में सभी विचरण केवल भविष्यवाणियों में विचरण के कारण है । $\widehat{Y}_i = Y_i$ ${\boldsymbol X}_i$

Situations with real data will often lie between the two extremes, as will the proportion of variance that can be attributed to these two sources. The more "explained variance" there is - i.e. the more of the variation in $Y_i$ that is due to variation in ${\boldsymbol X}_i$ - the better the predictions $\widehat{Y}_{i}$ are performing (i.e. the smaller the "residual variance" is), which is another way of saying that the least squares model fits well.

— Macro
स्रोत

यह मेरे उत्तर की तरह है लेकिन शायद थोड़ा बेहतर समझाया गया है। इसके अलावा, मैं एक संभावित समालोचना देखता हूं जिसका उल्लेख किया जा सकता है कि मुझे वाई के माध्य के सापेक्ष भिन्नता

— लिखनी चाहिए थी

@MichaelChernick, हाँ, लेकिन कम से कम वर्गों में प्रतिगमन (जो मुझे लगता है कि ओपी के बारे में बात की गई है, जो जुड़े हुए स्लाइड्स के आधार पर बात कर रहे हैं), अनुमानित मूल्यों का मतलब

साधन के बराबर होता है , इसलिए आप इसे केवल इसका नमूना विचरण कह सकते हैं भविष्यवाणियों।

Y

$Y$

— मैक्रों

मैंने अपने उत्तर को संपादित किया क्योंकि Yb को ठीक से काम करने के लिए विचरण विघटन के लिए आवश्यक है।

— बजे माइकल आर। चेरिक जूल

हाँ यह मेरे लिए स्पष्ट था कि वह कम से कम वर्गों के प्रतिगमन का जिक्र कर रही थी। अभी भी आपने जो कुछ भी लिखा है वह सिर्फ वही दोहरा रहा है जो मैंने थोड़ा अलग तरीके से कहा था। मैंने फिर भी आपको +1 दिया।

— बजे माइकल आर। चेर्निक

मैक्रो, मेरी बात है कि इस अपघटन होता था तभी जब

और इतने "प्रतिगमन" स्वाभाविक लगातार वेक्टर युक्त अंतरिक्ष पर एक orthogonal प्रक्षेपण शामिल है। ध्यान दें कि हम आसानी से अपने मॉडल से निरंतर वेक्टर को हटाकर इस अपघटन को "तोड़" सकते हैं, जो आपकी सबसे हालिया टिप्पणी के साथ संघर्ष में लगता है।

⟨ y - \hat{y}, \hat{y} - \bar{y} 1 ⟩ = 0

$\langle \mathbf y - \hat {\mathbf y}, \hat{\mathbf{y}} - \bar{y} \mathbf{1} \rangle = 0$

— कार्डिनल

मैं आँकड़ों के बड़े कुत्तों के साथ नहीं चल सकता, जिन्होंने मेरे सामने उत्तर दिया है, और शायद मेरी सोच भोली है, लेकिन मैं इसे इस तरह से देखता हूं ...

कल्पना कीजिए कि आप एक कार में हैं और आप सड़क से नीचे जा रहे हैं और पहिया को बाएं और दाएं मोड़ रहे हैं और गैस पेडल और ब्रेक को जोर से दबा रहे हैं। फिर भी कार अपने कार्यों से अप्रभावित, आसानी से आगे बढ़ रही है। आपको तुरंत संदेह होगा कि आप एक असली कार में नहीं थे, और शायद अगर हमने करीब से देखा तो हम निर्धारित करेंगे कि आप डिज्नी वर्ल्ड में सवारी कर रहे हैं। (यदि आप एक वास्तविक कार में थे, तो आप नश्वर खतरे में होंगे, लेकिन चलो वहाँ नहीं जाते हैं।)

दूसरी ओर, यदि आप एक कार में सड़क से नीचे उतर रहे थे और पहिया को बस थोड़ा बाएं या दाएं घुमा रहे थे, जिसके परिणामस्वरूप कार चलती थी, ब्रेक लगाने से एक मजबूत मंदी आ जाती थी, जबकि गैस पेडल दबाने पर आपको वापस फेंक देता था सीट। आपको संदेह हो सकता है कि आप उच्च प्रदर्शन वाली स्पोर्ट्स कार में थे।

सामान्य तौर पर, आप शायद उन दो चरम सीमाओं के बीच कुछ अनुभव करते हैं। डिग्री जो आपके इनपुट (स्टीयरिंग, ब्रेक, गैस) कार की गति को सीधे प्रभावित करती है, आपको कार की गुणवत्ता के अनुसार एक सुराग देती है। यही है, गति में आपकी कार का विचरण अधिक है जो आपके कार्यों से संबंधित है बेहतर कार, और जितना अधिक कार आपके नियंत्रण से स्वतंत्र रूप से चलती है उतना ही खराब कार है।

एक समान तरीके में, आप (इस डेटा कॉल कुछ डेटा के लिए एक मॉडल बनाने के बारे में बात कर रहे हैं ), डेटा के कुछ अन्य समूहों के आधार पर (के फोन उन्हें ऐसा )। यदि भिन्न नहीं होता है, तो यह उस कार की तरह है जो गतिमान नहीं है और कार (मॉडल) अच्छी तरह से काम करती है या नहीं, इस पर चर्चा करने का वास्तव में कोई मतलब नहीं है, इसलिए हम मानेंगे कि भिन्न है। $y$ $x_1, x_2, ..., x_i$ $y$ $y$

कार की तरह, एक अच्छी गुणवत्ता वाले मॉडल का परिणाम भिन्न और इनपुट भिन्न के बीच एक अच्छा संबंध होगा । एक कार के विपरीत, जरूरी नहीं कि ऐसा कारण बदलने के लिए है, लेकिन अगर मॉडल उपयोगी साबित होने जा रहा है करने के लिए एक करीबी रिश्ता में बदलने की जरूरत है । दूसरे शब्दों में, , में विचरण के बारे में बहुत कुछ समझाता है । $y$ $x_i$ $x_i$ $y$ $x_i$ $y$ $x_i$ $y$

पुनश्च मैं एक विनी द पूह सादृश्य के साथ आने में सक्षम नहीं था, लेकिन मैंने कोशिश की।

P.P.S. [EDIT:] Note that I'm addressing this particular question. Don't be confused into thinking that if you account for 100% of the variance your model will perform wonderfully. You also need to think about over-fitting, where your model is so flexible that it fits the training data very closely -- including its random quirks and oddities. To use the analogy, you want a car that has good steering and brakes, but you want it to work well out on the road, not just in the test track you're using.

— Wayne
स्रोत