रैखिक प्रतिगमन में मान्यताओं की क्या आवश्यकता है?

Question

रैखिक प्रतिगमन में, हम निम्नलिखित धारणा बनाते हैं

प्रतिसादकों के मानों के प्रत्येक सेट पर प्रतिक्रिया का अर्थ, $E(Y_i)$ , $(x_{1i}, x_{2i},…)$ , भविष्यवक्ताओं का रैखिक कार्य है।

त्रुटियां, , स्वतंत्र हैं।$ε_i$

त्रुटियों, , भविष्यवाणियों के मूल्यों के प्रत्येक सेट पर, , सामान्य रूप से वितरित किए जाते हैं।$ε_i$$(x_{1i}, x_{2i},…)$

त्रुटियों, , भविष्यवाणियों के मूल्यों के प्रत्येक सेट पर, , समान संस्करण (निरूपित ) 2 ) हैं।$ε_i$$(x_{1i}, x_{2i},…)$$σ2$

एक तरीका है कि हम रेखीय प्रतिगमन को हल कर सकते हैं सामान्य समीकरणों के माध्यम से, जिसे हम लिख सकते हैं

$$\theta = (X^TX)^{-1}X^TY$$

एक गणितीय दृष्टिकोण से, उपरोक्त समीकरण को केवल $X^TX$ को उल्टा होने की आवश्यकता है । तो, हमें इन धारणाओं की आवश्यकता क्यों है? मैंने कुछ सहयोगियों से पूछा और उन्होंने उल्लेख किया कि यह अच्छे परिणाम प्राप्त करने के लिए है और सामान्य समीकरणों को प्राप्त करने के लिए एक एल्गोरिथ्म है। लेकिन उस मामले में, ये धारणाएँ कैसे मदद करती हैं? एक बेहतर मॉडल प्राप्त करने में उनकी मदद कैसे की जाती है?

Comments

सामान्य सूत्रों का उपयोग करके गुणांक विश्वास अंतराल की गणना करने के लिए सामान्य वितरण की आवश्यकता होती है। सीआई गणना के अन्य सूत्र (मुझे लगता है कि यह सफेद था) गैर-सामान्य वितरण की अनुमति देता है।

— keiv.fly

मॉडल को काम करने के लिए आपको हमेशा उन मान्यताओं की आवश्यकता नहीं है। तंत्रिका नेटवर्क में आपके अंदर रेखीय प्रतिगमन होते हैं और वे आपके द्वारा प्रदान किए गए फॉर्मूले की तरह ही rmse को कम से कम करते हैं, लेकिन सबसे अधिक संभावना यह है कि कोई भी धारण नहीं करता है। कोई सामान्य वितरण, कोई समान विचरण, कोई रेखीय कार्य नहीं, यहाँ तक कि त्रुटियां भी निर्भर हो सकती हैं।

— कीव.फ्लाई

देखें stats.stackexchange.com/q/16381/35989

— टिम

@ एलेक्सिस स्वतंत्र चर होने के कारण निश्चित रूप से एक धारणा नहीं है (और आश्रित चर के रूप में आईआईडी भी एक धारणा नहीं है - कल्पना करें कि अगर हमने यह मान लिया कि प्रतिक्रिया आईआईडी थी तो यह अर्थ का अनुमान लगाने से परे कुछ भी करने के लिए व्यर्थ होगा)। और "नहीं छोड़े गए चर" वास्तव में एक अतिरिक्त धारणा नहीं है, हालांकि छूट वाले चर से बचने के लिए यह अच्छा है - सूचीबद्ध पहली धारणा वास्तव में वही है जो इसका ख्याल रखती है।

— दासोन

@Dason मुझे लगता है कि मेरा लिंक वैध व्याख्या के लिए अपेक्षित "कोई छोड़े गए चर" का एक बहुत मजबूत उदाहरण प्रदान करता है। मुझे यह भी लगता है कि iid (भविष्यवाणियों पर सशर्त, हाँ) आवश्यक है, यादृच्छिक चाल के साथ एक उत्कृष्ट उदाहरण प्रदान करता है जहां गैर-ईद का अनुमान विफल हो सकता है (कभी केवल मतलब का अनुमान लगाने का सहारा लेना)।

— एलेक्सिस

Answer 1

आप सही हैं - आपको इन मान्यताओं को संतुष्ट करने की आवश्यकता नहीं है कि अंक के लिए एक कम से कम वर्ग को फिट करें। आपको परिणामों की व्याख्या करने के लिए इन मान्यताओं की आवश्यकता है। उदाहरण के लिए, यह सोचते हैं एक इनपुट के बीच कोई रिश्ता नहीं था और , एक गुणांक प्राप्त होने की संभाव्यता क्या है हम क्या प्रतिगमन से देखा के रूप में महान के रूप में कम से कम?$X_1$$Y$$\beta_1$

Answer 2

विकिपीडिया से एंस्कॉम्बे की चौकड़ी की छवि को देखने के लिए कुछ संभावित मुद्दों की व्याख्या करने के लिए रैखिक प्रतिगमन की व्याख्या के साथ प्रयास करें, जब उन मान्यताओं में से कुछ स्पष्ट रूप से झूठे हैं: सभी में बुनियादी वर्णनात्मक आँकड़े अधिकांश समान हैं (और व्यक्तिगत मान हैं सभी में समान लेकिन नीचे दाईं ओर) $x_i$

Comments

मैंने एक चित्रण किया, जिसमें बताया गया है कि अंसकॉम्ब दिखा रहा है कि कोई लोप किए गए वैरिएबल का उल्लंघन क्या हो सकता है । अभी भी एक Anscombe- iid धारणा के उल्लंघन के चित्रण पर काम कर रहा है ।

— एलेक्सिस

Answer 3

आप एक रेखीय मॉडल फिट करने के लिए उन मान्यताओं की जरूरत नहीं है। हालाँकि, आपके पैरामीटर का अनुमान पक्षपातपूर्ण हो सकता है या न्यूनतम विचरण नहीं हो सकता है। मान्यताओं का उल्लंघन करने से खुद को प्रतिगमन परिणामों की व्याख्या करने में और अधिक कठिन हो जाएगा, उदाहरण के लिए, एक आत्मविश्वास अंतराल का निर्माण।

Answer 4

ठीक है, अब तक के जवाब इस तरह हैं: यदि हम मान्यताओं का उल्लंघन करते हैं तो बुरी चीजें हो सकती हैं। मेरा मानना ​​है कि दिलचस्प दिशा यह है: जब सभी मान्यताओं की आवश्यकता होती है (वास्तव में ऊपर वाले से थोड़ी अलग), तो क्यों और कैसे हम यह सुनिश्चित कर सकते हैं कि रैखिक प्रतिगमन सबसे अच्छा मॉडल है?

$p(y_i|x_i)$$E[Y_i|X_i=x_i]$$x_i$

Answer 5

दो प्रमुख धारणाएं हैं

1. अवलोकनों की स्वतंत्रता
2. माध्य विचरण से संबंधित नहीं है

जूलियन फ़ारवे की पुस्तक में चर्चा देखें ।

यदि ये दोनों सत्य हैं, तो OLS आश्चर्यजनक रूप से आपके द्वारा सूचीबद्ध अन्य मान्यताओं में उल्लंघनों के लिए प्रतिरोधी है।