OLS अनुमानक प्राप्त करने के लिए मान्यताओं

क्या कोई मेरे लिए संक्षेप में बता सकता है कि ओएलएस अनुमानक की गणना करने के लिए छह में से प्रत्येक की आवश्यकता क्यों है? मैंने केवल बहु-संस्कृति के बारे में पाया- कि यदि यह मौजूद है तो हम (X'X) मैट्रिक्स को उल्टा नहीं कर सकते हैं और बदले में समग्र अनुमानक का अनुमान लगा सकते हैं। दूसरों के बारे में क्या है (उदाहरण के लिए, रैखिकता, शून्य मतलब त्रुटियों, आदि)?

least-squares assumptions

— ऐवा
स्रोत

संबंधित: रैखिक प्रतिगमन के लिए सामान्य मान्यताओं की पूरी सूची क्या है?

— गंग -

क्या आप एक वैचारिक स्पष्टीकरण की तलाश कर रहे हैं, या क्या आपको गणितीय प्रदर्शन की आवश्यकता है?

— गूँग - मोनिका

साधारण कम से कम वर्ग एक संख्यात्मक प्रक्रिया है, आपको इसे गणना करने के लिए बहुत अधिक धारणा की आवश्यकता नहीं है (इनवर्टरिटी के अलावा)। मान्यताओं को इसके आधार पर अनुमान को सही ठहराने की जरूरत है , कल मेरा जवाब देखें: आंकड़े.stackexchange.com/questions/148803/…

— kjetil b halvorsen

वास्तव में जो "छह मान्यताओं" आप का उल्लेख कर रहे हैं? आप केवल तीन का उल्लेख करें।

— whuber

मैं 1) लीनियरिटी 2) मल्टीकोलिनरिटी 3 की अनुपस्थिति का उल्लेख करता हूं 3) शून्य माध्य त्रुटियों 4) गोलाकार त्रुटियां (होमोसिस्टैसिटी और नॉन ऑटोकरेलेशन) 5) गैर-स्टोचैस्टिक रजिस्टर्स और 6) सामान्य वितरण। इसलिए जैसा कि मैंने नीचे दिए गए उत्तर से समझा है, अनुमान लगाने वाले को प्राप्त करने के लिए केवल पहले तीन आवश्यक हैं और अन्य केवल यह सुनिश्चित करने के लिए आवश्यक हैं कि अनुमानक BLUE है?

— इव्वा

जवाबों:

जब आप सही मल्टीकोलिनरिटी रखते हैं, तो केस से अलग, आप हमेशा ओएलएस अनुमानक की गणना कर सकते हैं। इस मामले में, आपके पास अपने एक्स मैट्रिक्स में एकदम सही मल्टीलाइनर निर्भरता है। नतीजतन, पूर्ण रैंक धारणा पूरी नहीं हुई है और आप औल्ट अनुमानक की गणना नहीं कर सकते हैं, क्योंकि इनवर्टरिटी की समस्या है।

तकनीकी रूप से, आपको OLS अनुमानक की गणना करने के लिए अन्य OLS मान्यताओं की आवश्यकता नहीं है। हालाँकि, गॉस-मार्कोव प्रमेय के अनुसार आपको अपने अनुमानक के लिए BLUE होने के लिए OLS धारणा (clrm मान्यताओं) को पूरा करने की आवश्यकता है।

आप गौस-मार्कोव प्रमेय और इसके गणितीय व्युत्पत्ति की व्यापक चर्चा पा सकते हैं:

http://economictheoryblog.com/2015/02/26/markov_theorem/

इसके अलावा, यदि आप ओएलएस धारणा के अवलोकन की तलाश कर रहे हैं, अर्थात कितने हैं, तो उन्हें क्या चाहिए और यदि आप एकल ओएलएस धारणा का उल्लंघन करते हैं तो क्या होता है, यहां विस्तृत चर्चा मिल सकती है:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

मुझे आशा है कि मदद करता है, चीयर्स!

— साइमन डिगोंडा
स्रोत

निम्नलिखित सरल क्रॉस सेक्शन पर आधारित है, समय श्रृंखला और पैनलों के लिए यह कुछ अलग है।

जनसंख्या में, और इसलिए नमूने में, मॉडल के रूप में लिखा जा सकता है: यह linearity धारणा, जो कभी कभी गलत समझा जाता है। अर्थात् - मॉडल मापदंडों में रैखिक होना चाहिए। आप के साथ जो कुछ भी आप चाहते हैं करने के लिए स्वतंत्र हैंखुद को। लॉग, वर्ग आदि। यदि यह मामला नहीं है, तो मॉडल का अनुमान ओएलएस द्वारा नहीं लगाया जा सकता है - आपको कुछ अन्य नॉनलाइनर अनुमानक की आवश्यकता है। $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
एक यादृच्छिक नमूना (क्रॉस सेक्शन के लिए) यह इंजेक्शन, और नमूना गुणों के लिए आवश्यक है। यह ओएलएस के शुद्ध यांत्रिकी के लिए कुछ हद तक अप्रासंगिक है।
कोई सही कोलिनरिटी नहीं इसका मतलब है कि बीच कोई पूर्ण संबंध नहीं हो सकता है । यह धारणा है कि यह सुनिश्चित करता है कि , व्युत्क्रमणीय ऐसी है कि से मौजूद है। $x_i$ $(X’X)$ $(X’X)^{-1}$
शून्य सशर्त का अर्थ है: । इसका मतलब है कि आपने मॉडल को ठीक से निर्दिष्ट किया है जैसे: कोई छोड़े गए चर नहीं हैं, और आपके द्वारा अनुमानित कार्यात्मक रूप (अज्ञात) जनसंख्या मॉडल के सापेक्ष सही है। यह हमेशा ओएलएस के साथ समस्याग्रस्त धारणा है, क्योंकि यह जानने का कोई तरीका नहीं है कि यह वास्तव में वैध है या नहीं। $E(u|X) = 0$
त्रुटियों अवधि के विचरण निरंतर, पर सभी सशर्त है : फिर OLS के यांत्रिकी के लिए इसका मतलब है कुछ भी नहीं है, लेकिन यह सुनिश्चित करना है कि हमेशा की तरह मानक त्रुटियों मान्य हैं। $X_i$ $\Var(u|X)=\sigma^2$
सामान्य; त्रुटियों अवधि यू से स्वतंत्र है , और इस प्रकार । फिर इस OLS के यांत्रिकी के लिए अप्रासंगिक है, लेकिन यह सुनिश्चित है कि के नमूने वितरण सामान्य है, । $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

अब निहितार्थ के लिए।

1 - 6 (शास्त्रीय रैखिक मॉडल मान्यताओं) के तहत OLS BLUE (सर्वश्रेष्ठ रैखिक निष्पक्ष अनुमानक) है, जो सबसे कम विचरण के अर्थ में सर्वश्रेष्ठ है। यह सभी रैखिक अनुमानकों के साथ-साथ सभी अनुमानकों के बीच भी कुशल है जो x के कुछ फ़ंक्शन का उपयोग करता है। अधिक महत्वपूर्ण रूप से 1 - 6 के तहत, ओएलएस भी न्यूनतम विचरण निष्पक्ष अनुमानक है। इसका मतलब है कि सभी निष्पक्ष अनुमानकर्ताओं (न केवल रैखिक) के बीच ओएलएस का सबसे छोटा संस्करण है। OLS भी सुसंगत है।
1 - 5 (गौस-मार्कोव मान्यताओं के तहत) OLS BLUE और कुशल है (जैसा ऊपर वर्णित है)।
1 - 4 के तहत, ओएलएस निष्पक्ष, और सुसंगत है।

वास्तव में OLS अर्थात् और तुलना में एक कमजोर धारणा के तहत भी सुसंगत है । मान्यताओं 4 से अंतर यह है कि, इस धारणा के तहत, आपको कार्यात्मक संबंधों को पूरी तरह से कील करने की आवश्यकता नहीं है। $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— Repmat
स्रोत

मुझे लगता है कि आप शून्य माध्य स्थिति के बारे में बहुत गहरा चित्र चित्रित करते हैं। यदि पूर्वाग्रह थे, तो चुकता विचलन का योग कम से कम करना उचित नहीं होगा, लेकिन दूसरी ओर, आप प्रतिगमन समीकरण को शिफ्ट करके पूर्वाग्रह को पकड़ सकते हैं (पूर्वाग्रह को

में अवशोषित कर सकते हैं , और फिर) आप करते हैं 4 सत्यापित करने के लिए दोनों असंभव और अनदेखी करने के लिए आसान है दूसरे शब्दों में है मतलब 0.,।

β_{0}

$\beta_0$

— user3697176

मुझे खेद है, लेकिन मैं सहमत नहीं हूं। या हो सकता है कि मैं आपको सिर्फ गलत समझ रहा हूं? आप या तो सम्‍मिलित कर सकते हैं या एक संदर्भ दे सकते हैं।

— रिपेट करें

मैं (जैसे रिज प्रतिगमन के रूप में) के बारे में जानबूझकर विकृत अनुमान है, जो मेरा मानना है कि ओपी में कोई दिलचस्पी नहीं थी बात नहीं कर रहा। मैं प्रपत्र की एक मॉडल के बारे में बात कर रहा हूँ

जिसमें --- कुछ अजीब कारण के लिए --- अवशिष्ट

मतलब है

। इस मामले में यह करने के लिए एक औपचारिक परिवर्तन करना आसान है

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, जहां का मतलब

शून्य है।

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— user3697176

@ user3697176 आप जो लिखते हैं वह सही नहीं है। मैंने सिर्फ यह समझाने के लिए एक उत्तर पोस्ट किया कि क्यों।

— एलेकोस पापाडोपोलोस

यदि धारणा 1 संतुष्ट नहीं है, तो क्या हम अभी भी ओएलएस का उपयोग जनसंख्या सहसंयोजकता का अनुमान लगाने के लिए नहीं कर सकते हैं (भले ही हम जानते हैं कि कोई रैखिक संबंध नहीं है)?

— अधिकतम

एक और सवाल में एक टिप्पणी हालत के महत्व के बारे में संदेह उठाया , उनका तर्क है कि यह प्रतिगमन विनिर्देश में एक निरंतर अवधि के शामिल किए जाने से ठीक किया जा सकता है, और इसलिए "यह आसानी से अनदेखा किया जा सकता"। $E(\mathbf u \mid \mathbf X) =0$

ऐसा नहीं है। प्रतिगमन में एक स्थिर शब्द का समावेश त्रुटि शब्द के संभवतः गैर-शून्य सशर्त साधन को अवशोषित करेगा यदि हम यह मानते हैं कि यह सशर्त साधन पहले से ही एक स्थिर है और रजिस्टरों का कार्य नहीं है । यह एक महत्वपूर्ण धारणा है जिसे स्वतंत्र रूप से किया जाना चाहिए चाहे हम एक निरंतर शब्द शामिल करें या नहीं:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

यदि यह धारण करता है, तो गैर-शून्य का मतलब एक उपद्रव बन जाता है जिसे हम केवल एक स्थिर शब्द को शामिल करके हल कर सकते हैं।

लेकिन अगर यह पकड़ में नहीं आता है (यानी यदि सशर्त का मतलब शून्य या गैर-शून्य स्थिर नहीं है ), तो निरंतर शब्द का समावेश समस्या का समाधान नहीं करता है: इस मामले में यह "अवशोषित" होगा यह रजिस्टरों के विशिष्ट नमूने और वास्तविकताओं पर निर्भर करता है। हकीकत में अज्ञात गुणांक लोगों की श्रृंखला से जुड़ा हुआ है, वास्तव में एक स्थिर लेकिन परिवर्तनशील नहीं है, यह त्रुटि शब्द के गैर-स्थिर सशर्त माध्यम के माध्यम से रजिस्टरों पर निर्भर करता है।

इसका तात्पर्य क्या है? सरल बनाने के लिए सबसे सामान्य स्थिति, मान लें जहां ( अनुक्रमित टिप्पणियों) लेकिन यह है कि । यानी कि त्रुटि शब्द प्रतिगामी से अलग-अलग है, अपने समकालीन लोगों को छोड़कर ( हम लोगों की एक श्रृंखला शामिल नहीं करते हैं)। $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

मान लें कि हम एक निरंतर अवधि (लोगों की एक श्रृंखला का एक प्रतिगमन) के समावेश के साथ प्रतिगमन निर्दिष्ट करते हैं।

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

और संकेतन संकेतन

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

जहां , , , । $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

फिर ओएलएस आकलनकर्ता होगा

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

के लिए निष्पक्षता हम जरूरत । परंतु $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

$i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

तथा

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

$\mathbf ε$ $i$ $i$

$u_i$ $\hat {\mathbf γ} - \mathbf γ$

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

दूसरे शब्दों में, "परिमित-नमूना" गुण सभी चले गए हैं।

हमें केवल asymptotically मान्य अनुमान का सहारा लेने के विकल्प के साथ छोड़ दिया जाता है , जिसके लिए हमें अतिरिक्त धारणाएं बनानी होंगी।

तो सीधे शब्दों में कहें, स्ट्रिक्ट एक्सोगेनेटी को "आसानी से अनदेखा" नहीं किया जा सकता है ।

— एलेकोस पापाडोपोलोस
स्रोत

मुझे पूरी तरह से यकीन नहीं है कि मैं यह समझता हूं। क्या यह नहीं माना जा रहा है कि इसका मतलब सम्‍मानों का एक कार्य नहीं है जो समरूपता मानने के बराबर है?

— बैटमैन

@ बाटमैन मेरे पोस्ट के किस हिस्से का जिक्र कर रहे हैं?

— एलेकोस पापाडोपोलस

जब आप कहते हैं "प्रतिगमन में एक निरंतर शब्द का समावेश त्रुटि शब्द के संभवतः गैर-शून्य सशर्त साधन को अवशोषित करेगा यदि हम मानते हैं कि यह सशर्त साधन पहले से ही एक स्थिर है और रजिस्टरों का कार्य नहीं है। यह महत्वपूर्ण धारणा है। हमें स्वतंत्र रूप से बनाया जाना चाहिए, जिसमें हम एक निरंतर शब्द शामिल करते हैं या नहीं। ” क्या यह नहीं माना जा सकता है कि सशर्त का मतलब यह नहीं है कि हम रजोनिवृत्त होने के बाद जब हम ग्रहण कर रहे हैं, वैसा ही हो।

— बैटमैन

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$

— एलेकोस पापाडोपोलोस