रैखिक प्रतिगमन: ओएलएस और एमएलई की पहचान देने वाला कोई भी गैर-सामान्य वितरण?

13

यह प्रश्न यहाँ टिप्पणियों में लंबी चर्चा से प्रेरित है: रैखिक प्रतिगमन सामान्य वितरण का उपयोग कैसे करता है?

सामान्य रेखीय प्रतिगमन मॉडल में, सादगी के लिए यहां केवल एक भविष्यवक्ता के साथ लिखा गया है: जहां ज्ञात स्थिरांक हैं और शून्य-मतलब स्वतंत्र त्रुटि शब्द हैं। यदि हम इसके अलावा त्रुटियों के लिए सामान्य वितरण मान लेते हैं, तो सामान्य रूप से कम से कम वर्ग अनुमानक और के अधिकतम संभावना अनुमान समान होते हैं।

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

x_{i}

$x_i$

ϵ_{i}

$\epsilon_i$

β_{0}, β_{1}

$\beta_0, \beta_1$

तो मेरा आसान सवाल है: क्या त्रुटि की शर्तों के लिए कोई अन्य वितरण मौजूद है जैसे कि mle साधारणतम स्क्वाएर्स अनुमानक के समान है? एक निहितार्थ दिखाना आसान है, दूसरा ऐसा नहीं है।

— kjetil b halvorsen
स्रोत

1

(+1) इसे शून्य के आसपास केंद्रित वितरण होना चाहिए, और ऐसा प्रतीत होता है कि यह एक सममितीय होने पर मदद करेगा। कुछ उम्मीदवार जो मन में आते हैं, जैसे कि t- या लाप्लास वितरण चाल के रूप में नहीं लगता है, क्योंकि MLE है, यहां तक कि निरंतर एकमात्र मामले में, क्रमशः बंद रूप में उपलब्ध नहीं है या माध्यिका द्वारा दिया गया है।

— क्रिस्टोफ़ हनक

यह भी देखें आँकड़े ।stackexchange.com / questions / 99014 / … , ऐसा लगता है कि केवल इतना ही है

— क्रिस्टोफ़ हनक

मुझे यकीन है कि जवाब नहीं है। हालांकि एक कठोर प्रमाण लिखना कठिन हो सकता है।

— गॉर्डन स्माइथ

11

अधिकतम संभावना अनुमान में, हम गणना करते हैं

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

अंतिम संबंध प्रतिगमन समीकरण की रैखिकता संरचना को ध्यान में रखते हुए।

इसकी तुलना में, ओएलएस अनुमानक संतुष्ट करता है

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

ढलान गुणांक के लिए समान बीजीय भाव प्राप्त करने के लिए हमें इस तरह की त्रुटि के लिए एक घनत्व होना चाहिए।

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

ये फॉर्म इक्वेशन हैं जिसके पास समाधान हैं $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

कोई भी फ़ंक्शन जिसमें यह कर्नेल है और एक उपयुक्त डोमेन पर एकता को एकीकृत करता है, ढलान गुणांक के लिए MLE और OLS समान बना देगा। अर्थात् हम खोज रहे हैं

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

क्या ऐसा जो सामान्य घनत्व (या अर्ध-सामान्य या त्रुटि फ़ंक्शन के व्युत्पन्न) नहीं है? $g$

निश्चित रूप से। लेकिन एक और बात जिस पर विचार करना है वह निम्न है: यदि कोई घातांक में प्लस चिह्न का उपयोग करता है, और उदाहरण के लिए शून्य के आसपास एक सममित समर्थन, तो एक को एक घनत्व मिलेगा जो बीच में एक अद्वितीय न्यूनतम है, और दो स्थानीय मैक्सिमा समर्थन की सीमाओं।

— एलेकोस पापाडोपोलोस
स्रोत

शानदार उत्तर (+1), लेकिन यदि कोई फ़ंक्शन में प्लस चिह्न का उपयोग करता है, तो क्या यह घनत्व भी है? तब यह प्रतीत होता है कि फ़ंक्शन में अनंत अभिन्न है और इस प्रकार एक घनत्व फ़ंक्शन को सामान्य नहीं किया जा सकता है। यदि ऐसा है, तो सामान्य वितरण के साथ ही हमें छोड़ दिया जाता है।

— बेन -

1

@ धन्यवाद। ऐसा लगता है कि आप स्पष्ट रूप से मान रहे हैं कि यादृच्छिक चर की सीमा प्लस / माइनस इन्फिनिटी होगी। लेकिन हम एक rv को एक सीमित अंतराल में सीमित करने के लिए परिभाषित कर सकते हैं, जिस स्थिति में हम प्लस चिह्न का बहुत अच्छी तरह से उपयोग कर सकते हैं। यही कारण है कि मेरे अभिव्यक्तियों में मैंने एकीकरण सीमा के रूप में इस्तेमाल किया ।

(a, b)

$(a,b)$

— एलेकोस पापाडोपोलोस

यह सच है - मैं यह मान रहा था।

— बेन -

5

यदि हम OLS को के समाधान के रूप में परिभाषित करते हैं तो किसी भी घनत्व ऐसा कि स्वीकार्य है। उदाहरण के लिए इसका मतलब है कि प्रपत्र स्वीकार्य हैं। चूंकि कारक पैरामीटर पर निर्भर नहीं करता है । इसलिए इस तरह के वितरण की एक अनंतता है।

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

एक अन्य सेटिंग जहां दोनों अनुमानक संयोग करते हैं, जब डेटा एक गोलाकार सममित वितरण से आता है , अर्थात जब (वेक्टर) डेटा में सशर्त घनत्व के साथ एक कम कार्य करते हैं। (इस मामले में OLS अभी भी उपलब्ध है, हालांकि की स्वतंत्रता की धारणा केवल सामान्य मामले में है।) $\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— शीआन
स्रोत

1

यह मुझे सही नहीं लगता। यदि आप एक अलग गोलाकार सममित वितरण का उपयोग करते हैं, तो क्या यह वर्ग की तुलना में आदर्श के एक अलग कार्य को कम करने का कारण नहीं होगा (इस प्रकार कम से कम-वर्ग अनुमान नहीं है)?

— बेन -

1

मुझे इस सवाल के बारे में तब तक नहीं पता था जब तक @ शीआन सिर्फ एक जवाब के साथ अपडेट नहीं हुआ। अधिक सामान्य समाधान है। कुछ मापदंडों के साथ घातीय परिवार वितरण, ब्रेगमैन डाइवर्जेंस के लिए निश्चित उपज। इस तरह के वितरण के लिए मतलब न्यूनतम है। ओएलएस मिनिमाइज़र भी माध्य है। इसलिए इस तरह के सभी वितरणों के लिए उन्हें संयोग करना चाहिए जब रैखिक कार्यात्मक माध्य पैरामीटर से जुड़ा होता है।

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— कगदस ओजगेंक
स्रोत