"रैखिक" बनाम "गैर-रैखिक" प्रतिगमन के बीच अंतर करना क्यों महत्वपूर्ण है?

12

रैखिक और गैर-रैखिक मॉडल के बीच अंतर का क्या महत्व है? प्रश्न Nonlinear बनाम सामान्यीकृत रैखिक मॉडल: आप लॉजिस्टिक, पॉइसन, आदि प्रतिगमन को कैसे देखते हैं? और इसका जवाब सामान्यीकृत रैखिक मॉडल की रैखिकता / गैर-रैखिकता का एक अत्यंत सहायक स्पष्टीकरण था। यह गैर-रैखिक मॉडल से रैखिक को अलग करने के लिए गंभीर रूप से महत्वपूर्ण लगता है, लेकिन मेरे लिए यह स्पष्ट नहीं है कि क्यों? उदाहरण के लिए, इन प्रतिगमन मॉडल पर विचार करें:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

मॉडल 1 और 2 दोनों रैखिक हैं, और के समाधान बंद रूप में मौजूद हैं, आसानी से एक मानक ओएलएस अनुमानक का उपयोग करके पाया जाता है। मॉडल 3 और 4 के लिए ऐसा नहीं है, जो गैर-अस्पष्ट हैं क्योंकि (कुछ) wrt के डेरिवेटिव अभी भी कार्य हैं । $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

अनुमान लगाने के लिए एक सरल उपाय मॉडल 3 में सेटिंग से मॉडल linearize है , अनुमान एक रेखीय मॉडल का उपयोग कर, और फिर गणना । $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ $\beta_1 = \sqrt{\gamma}$

मॉडल 4 में मापदंडों का अनुमान लगाने के लिए, हम मान सकते हैं कि एक द्विपद वितरण (घातीय परिवार का सदस्य) का अनुसरण करता है, और, इस तथ्य का उपयोग करते हुए कि मॉडल का लॉजिस्टिक रूप विहित लिंक है, मॉडल के आरएच को रैखिक करें। यह नेल्डर और वेडरबर्न के सेमिनल योगदान था। $Y$

लेकिन यह गैर-रैखिकता पहली जगह में समस्या क्यों है? वर्गम फ़ंक्शन का उपयोग करके रैखिक 3 को हल करने के लिए या जीएलवी को लागू किए बिना मॉडल 4 को हल करने के लिए कोई बस कुछ पुनरावृत्त एल्गोरिथ्म का उपयोग क्यों नहीं कर सकता है। मुझे संदेह है कि व्यापक कम्प्यूटेशनल शक्ति से पहले, सांख्यिकीविद् सब कुछ रेखीय करने की कोशिश कर रहे थे। अगर सच है, तो शायद ग़ैर-मौजूदगी द्वारा पेश की गई "समस्याएं" अतीत का अवशेष हैं? क्या गैर-रेखीय मॉडल द्वारा प्रस्तुत जटिलताएं केवल कम्प्यूटेशनल हैं, या कुछ अन्य सैद्धांतिक मुद्दे हैं जो गैर-रैखिक मॉडल को रैखिक मॉडल की तुलना में डेटा के लिए फिट होने के लिए अधिक चुनौतीपूर्ण बनाते हैं?

linear-model nonlinear-regression nonlinear

— user1849779
स्रोत

1

यदि आप का अनुमान लगाना चाहते हैं, तो बस (सरल रेखीय प्रतिगमन) का और फिर ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— टिम

@ टिम, टिप्पणी के लिए धन्यवाद। मैं इस परिवर्तन के बारे में एक संभावना के रूप में जानता था, लेकिन कुछ अलग सवाल पूछने की कोशिश कर रहा था। मैंने काफी हद तक इस प्रश्न को संपादित किया है, बेहतर के लिए उम्मीद है।

— user1849779

5

मैं दो मुख्य अंतर देख सकता हूं:

रैखिकता इसे सरल और मजबूत बनाती है। उदाहरण के लिए, (रैखिक) ओएलएस अज्ञात गड़बड़ी वितरण के तहत निष्पक्ष आकलनकर्ता है। सामान्य तौर पर, जीएलएम और गैर-रेखीय मॉडल नहीं होते हैं। ओएलएस विभिन्न त्रुटि संरचना मॉडल (यादृच्छिक प्रभाव, क्लस्टरिंग, आदि) के लिए भी मजबूत है, जहां गैर-रैखिक मॉडल में आपको आमतौर पर इन शर्तों के सटीक वितरण का अनुमान लगाना होता है।
इसे हल करना आसान है: बस मैट्रिक्स गुणा के एक जोड़े + 1 व्युत्क्रम। इसका मतलब है कि आप लगभग हमेशा इसे हल कर सकते हैं, यहां तक कि उन मामलों में भी जहां उद्देश्य फ़ंक्शन लगभग सपाट (बहुस्तरीय) है। Iterative विधियां ऐसे समस्याग्रस्त मामलों में नहीं हो सकती हैं (जो कि एक अर्थ में, एक अच्छी बात है।) आसान समाधान या हो सकता है। आजकल किसी मुद्दे से कम नहीं। कंप्यूटर तेज हो जाते हैं, लेकिन डेटा बड़ा हो जाता है। कभी 1G अवलोकनों पर लॉगिट रिग्रेशन चलाने की कोशिश की गई?

इसके अलावा, रैखिक मॉडल की व्याख्या करना आसान है। गुणांक के बराबर रैखिक मॉडल में सीमांत प्रभाव और एक्स मानों से स्वतंत्र होते हैं (हालांकि बहुपद शब्द इस विशिष्टता को पेंच करते हैं।)

— ओट टोमेट
स्रोत

मैं मुख्य रूप से सुविधा या ऐतिहासिक उपयोग में से एक है।

— मार्था

2

जीव विज्ञान (और अन्य क्षेत्रों) में कई मॉडल nonlinear हैं, इसलिए nonlinear प्रतिगमन के साथ सबसे उपयुक्त हैं। गणित बहुत अलग है, बिल्कुल। लेकिन डेटा विश्लेषक के दृष्टिकोण से, वास्तव में केवल एक महत्वपूर्ण अंतर है।

Nonlinear प्रतिगमन को प्रत्येक पैरामीटर के लिए प्रारंभिक अनुमानित मानों की आवश्यकता होती है। यदि इन प्रारंभिक अनुमानों को समाप्त कर दिया जाता है, तो नॉनलाइन रिग्रेशन प्रोग्राम एक झूठी न्यूनतम पर परिवर्तित हो सकता है और बेकार या भ्रामक परिणाम दे सकता है।

— हार्वे मोटुलस्की
स्रोत

2

यह निश्चित रूप से उत्तर का हिस्सा है। लेकिन, एकमात्र अंतर के विपरीत एक मामूली तकनीकीता के लिए कुछ राशि है, आप नॉनलाइन मॉडल की समस्याओं को बहुत कम कर सकते हैं। उदाहरण के लिए, जीवविज्ञान में उत्पन्न होने वाले कुछ सरल लोगों में अलग-अलग स्थानीय मिनीमा हो सकते हैं, जो सभी वैश्विक मिनीमा के करीब हैं। इस मौलिक गुणात्मक मुद्दे को बेहतर कंप्यूटिंग शक्ति या बेहतर अनुकूलन तकनीकों द्वारा हल नहीं किया गया है: कई नॉनलाइनयर मॉडल की प्रकृति रैखिक मॉडल से इतनी अलग है कि उन्हें अपने अर्थ और उनकी व्याख्या के बारे में गहन विचार की आवश्यकता होती है।

— whuber

1

सबसे पहले मैं 'प्रतिगमन' शब्द के लिए 'मॉडल' शब्द को स्थानापन्न करने जा रहा हूं। मुझे लगता है कि दोनों शब्दों के लिए एक व्यक्ति वास्तव में पूछ रहा है कि मॉडल को परिभाषित करने वाले प्रासंगिक समीकरण क्या हैं और यह निर्भर चर के मूल्यों और समीकरण / मॉडल द्वारा अनुमानित मूल्यों से संबंधित प्रासंगिक परिकल्पना क्या हैं। मुझे लगता है कि 'मॉडल' शब्द अधिक मानक है। यदि आप इससे सहमत हैं, तो पढ़ें।

मैं वास्तव में एक सहकर्मी की टिप्पणी पर इस उत्तर का श्रेय देता हूं, जो एक शास्त्रीय रूप से प्रशिक्षित संभावित और सांख्यिकीविद् है। उन्होंने बहुपत्नी प्रतिगमन को गैर-रेखीय करार देते हुए एक पुस्तक पर हिंसक रूप से आपत्ति जताई और यह कि जब मैंने गैर-रैखिक मॉडल के बारे में अधिक गंभीरता से पढ़ा। मेरा मानना है कि सही उत्तर यह है कि एक रैखिक मॉडल मानता है कि त्रुटि शब्द गॉसियन है, जबकि सामान्यीकृत रैखिक मॉडल त्रुटि शब्द के लिए अधिक सामान्यीकृत रूप मानता है। यदि का कोई सेट है, तो कोई में एक रैखिक मॉडल बनाने का प्रयास कर सकता है । उदाहरण के लिए यदि , तो हमें एक बहुपद प्रतिगमन मिलता है। यदि अंतर is है तो यह एक रैखिक मॉडल है। $\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ गॉसियन है। इम्हो, मुझे लगता है कि विकिपीडिया में सामान्य रेखीय मॉडलों की एक बहुत ही उचित व्याख्या है। मुझे लगता है कि यह प्रमुख वाक्य है - "जीएलएम रैखिक प्रतिगमन को एक लिंक फ़ंक्शन के माध्यम से प्रतिक्रिया चर से संबंधित होने की अनुमति देकर और प्रत्येक माप के विचरण के परिमाण को इसकी अनुमानित मूल्य के एक फ़ंक्शन की अनुमति देकर सामान्य प्रतिगमन को सामान्य बनाता है। " तो एक चमक अधिक सामान्य त्रुटि शब्द की अनुमति देता है। यह मॉडलिंग में अधिक लचीलेपन की अनुमति देता है। कीमत ? सही मॉडल की गणना कठिन है। अब किसी के पास गुणांक की गणना करने का एक सरल तरीका नहीं है। एक रैखिक प्रतिगमन के गुणांक को एक द्विघात कार्यात्मक को कम करके पाया जा सकता है जिसमें एक अद्वितीय नकल होती है। बोरट के शब्दों में, एक चमक के लिए, इतना नहीं। एक मील की गणना करने के लिए है,

— हुंह
स्रोत

1

एक nonlinear मॉडल यह भी मान सकता है कि अवशेषों को गॉसियन वितरण से नमूना लिया गया है। एक सरल उदाहरण सब्सट्रेट एकाग्रता (एक्स) के एक समारोह के रूप में एंजाइम गतिविधि (वाई) है। Y = Vmax * X / (Km + X) यह मान लेना आम और समझदार है कि अवशिष्ट गाऊसी हैं, फिर भी यह एक नॉनलाइनर समीकरण है जो नॉनलाइन रिग्रेशन के साथ फिट है।

— हार्वे मोटुलस्की

2

नॉनलाइनियर मॉडल में GLM की तुलना में बहुत अधिक होते हैं। GLMs लोकप्रिय हैं क्योंकि वे मापदंडों में "लगभग" रैखिक हैं: सभी गैर-समता एक एकल चर के एक फ़ंक्शन तक ही सीमित है, "लिंक।" यह अपेक्षाकृत कुशल, विश्वसनीय समाधान के लिए अनुमति देता है। अन्य नॉनलाइनर मॉडल बहुत कम ट्रैक्टेबल हैं। रैखिकता की अवधारणा अवशेषों की प्रकृति से काफी हद तक अलग है, हालांकि कुछ मामलों में यह परिवर्ती अवशिष्टों को अन्य प्रकार की भिन्नता से अलग करने के लिए फायदेमंद है ।

— whuber