रैखिक और गैर-रेखीय प्रतिगमन मॉडल के बीच अंतर कैसे बताएं?

27

मैं गैर रेखीय प्रतिगमन SAS गैर रेखीय पर निम्न लिंक पढ़ रहा था । पहला खंड "नॉनलाइनर रिग्रेशन बनाम रैखिक रिग्रेशन" को पढ़ने से मेरी समझ यह थी कि नीचे दिया गया समीकरण वास्तव में एक रेखीय प्रतिगमन है, क्या यह सही है? यदि हां तो क्यों?

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

क्या मुझे यह भी समझना है कि गैर रेखीय प्रतिगमन में बहुसंख्यात्मकता एक मुद्दा नहीं है? मुझे पता है कि मल्टीकोलिनियरिटी रैखिक रिग्रेशन में एक मुद्दा हो सकता है, तो निश्चित रूप से अगर ऊपर का मॉडल वास्तव में एक लीनियर रिग्रेशन है तो क्या मल्टीकोलीनैरिटी होगी?

— mHelpMe
स्रोत

बारीकी से संबंधित: आंकड़े.स्टैकएक्सचेंज . com / questions / 33876 ।

— whuber

यह भी संबंधित: "वक्रता" का क्या अर्थ है?

— गूँग - मोनिका

35

वहाँ (कम से कम) तीन इंद्रियाँ हैं जिनमें एक प्रतिगमन को "रैखिक" माना जा सकता है। उन्हें भेद करने के लिए, आइए एक अत्यंत सामान्य प्रतिगमन मॉडल के साथ शुरुआत करें

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

चर्चा को सरल रखने के लिए, स्वतंत्र चर को निश्चित और सटीक रूप से मापा जाना चाहिए (यादृच्छिक चर के बजाय)। वे मॉडल की टिप्पणियों प्रत्येक गुण, को जन्म दे रही प्रतिक्रियाओं का -vector । परम्परागत रूप से, को मैट्रिक्स के रूप में और को स्तंभ -ctor के रूप में दर्शाया जाता है । (परिमित -vector) में पैरामीटर शामिल हैं । एक वेक्टर-मूल्यवान यादृच्छिक चर है। यह आमतौर पर $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ घटकों, लेकिन कभी कभी कम है। फ़ंक्शन वेक्टर-वैल्यू है ( घटकों के साथ से मेल खाने के लिए ) और आमतौर पर इसके अंतिम दो तर्कों ( और ) में निरंतर माना जाता है । $f$ $n$ $Y$ $\theta$ $\varepsilon$

डेटा के लिए एक लाइन फिटिंग के कट्टरपंथी उदाहरण , वह मामला है जहां संख्याओं का एक वेक्टर है - x-मान; , संख्याओं का एक समानांतर वेक्टर है ; इंटरसेप्ट और ढलान ; और "यादृच्छिक त्रुटियों" का एक वेक्टर है, जिसके घटक स्वतंत्र होते हैं (और आमतौर पर औसत शून्य के समान लेकिन अज्ञात वितरणों के लिए माना जाता है)। पूर्ववर्ती संकेतन में, $(x,y)$ $X$ $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

with । $\theta = (\alpha,\beta)$

प्रतिगमन फ़ंक्शन इसके तीन तर्कों के किसी भी (या सभी) में रैखिक हो सकता है:

"रेखीय प्रतिगमन, या एक" रैखिक मॉडल, "आमतौर पर इसका मतलब है कि मापदंडों के एक समारोह के रूप में रैखिक है the । " nonlinear प्रतिगमन " का एसएएस अर्थ इस अर्थ में है, अतिरिक्त धारणा के साथ कि अपने दूसरे में अलग है। तर्क (पैरामीटर)। यह धारणा समाधान खोजने के लिए आसान बनाता है। $f$ $\theta$ $f$
एक " और बीच रैखिक संबंध " का अर्थ है एक समारोह के रूप में रैखिक है । $X$ $Y$ $f$ $X$
एक मॉडल में additive त्रुटियाँ होती हैं जब में रैखिक होता है । ऐसे मामलों में यह हमेशा माना जाता है कि । (अन्यथा, "सही मान" से "त्रुटियों" या "विचलन" के रूप में बारे में सोचना सही नहीं होगा ।) $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

इन विशेषताओं का हर संभव संयोजन हो सकता है और उपयोगी है। चलो संभावनाओं का सर्वेक्षण करें।

Additive त्रुटियों के साथ एक रैखिक संबंध का एक रैखिक मॉडल। यह सामान्य (एकाधिक) प्रतिगमन है, जो पहले से ही ऊपर दर्शाया गया है और अधिक सामान्यतः लिखा गया है

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
$X$ यदि आवश्यक हो तो, संवर्धित किया गया है, स्थिरांक का एक स्तंभ आसपास के द्वारा, और एक है -vector। $\theta$ $p$
Additive त्रुटियों के साथ एक nonlinear संबंध का एक रैखिक मॉडल। इस के स्तंभों बढ़ाने से एक बहु प्रतिगमन couched किया जा सकता है के nonlinear कार्यों के साथ ही। उदाहरण के लिए, $X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
इस रूप का है। यह में रैखिक है ; इसमें योगात्मक त्रुटियाँ हैं; और यह मूल्यों में रेखीय है भले ही के एक nonlinear समारोह है । $\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
नॉनएडिटिव त्रुटियों के साथ एक रैखिक संबंध का एक रैखिक मॉडल। एक उदाहरण गुणक त्रुटि है,

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
(ऐसे मामलों में व्याख्या "गुणक त्रुटियों" के रूप में की जा सकती है जब का स्थान । हालाँकि, स्थान का उचित अर्थ आवश्यक नहीं है कि अपेक्षा अब: हो सकती है। उदाहरण के लिए माध्यिका या ज्यामितीय माध्य। अन्य मान्य गैर-योज्य-त्रुटि संदर्भों में भी स्थान धारणाओं के बारे में इसी तरह की टिप्पणी लागू होती है, म्यूटैटिस म्यूटेंडिस ।) $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
नॉनडायरेक्टिव एरर के साथ नॉनलाइनर रिलेशनशिप का लीनियर मॉडल। जैसे ,

$y_{i} = (α + β x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
Additive त्रुटियों के साथ एक रैखिक संबंध का एक nonlinear मॉडल। एक nonlinear मॉडल में अपने मापदंडों के संयोजन शामिल होते हैं जो न केवल nonlinear होते हैं, उन्हें मापदंडों को फिर से व्यक्त करके रैखिक भी नहीं किया जा सकता है।
- एक गैर-उदाहरण के रूप में, विचार करें
  
  $y_{i} = α β + β^{2} x_{i} + ε_{i} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{i} = α^{'} + β^{'} x_{i} + ε_{i},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  इसे एक रेखीय मॉडल के रूप में प्रदर्शित करना (योगात्मक त्रुटियों के साथ एक रैखिक संबंध का)।
- एक उदाहरण के रूप में , विचार करें
  
  $y_{i} = α + α^{2} x_{i} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
Additive त्रुटियों के साथ एक nonlinear संबंध का एक nonlinear मॉडल।

$y_{i} = α + α^{2} x_{i}^{2} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
नॉनएडिटिव त्रुटियों के साथ एक रैखिक संबंध का एक नॉनलाइनियर मॉडल।

$y_{i} = (α + α^{2} x_{i}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
नॉनडायरेक्टिव एरर के साथ नॉनलाइनर रिलेशनशिप का नॉनलाइनर मॉडल।

$y_{i} = (α + α^{2} x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

हालांकि ये प्रतिगमन के आठ अलग-अलग रूपों को प्रदर्शित करते हैं, वे एक वर्गीकरण प्रणाली का गठन नहीं करते हैं क्योंकि कुछ रूपों को दूसरों में परिवर्तित किया जा सकता है। एक मानक उदाहरण गैर-विभाजक त्रुटियों के साथ एक रेखीय मॉडल का रूपांतरण है (सकारात्मक समर्थन माना जाता है)

y_{i} = (α + β x_{i}) ε_{i}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

\log (y_{i}) = μ_{i} + \log (α + β x_{i}) + (\log (ε_{i}) - μ_{i})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

समरैखिकता

$X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ $\hat\theta$ $\hat\theta^\prime$ $X$ $\theta$ $X$

इस दृष्टिकोण से यह स्पष्ट होना चाहिए कि गैर-संबंध संबंधों के रैखिक मॉडल (त्रुटियों की संवेदनशीलता की परवाह किए बिना) के लिए कोलिनियरिटी एक संभावित समस्या है और यह कि सामान्यता की इस सामान्यता की अवधारणा संभवतः किसी भी प्रतिगमन मॉडल में एक समस्या है। जब आपके पास निरर्थक चर होते हैं, तो आपको कुछ मापदंडों की पहचान करने में समस्या होगी।

— व्हीबर
स्रोत

क्या आप एक संक्षिप्त, परिचयात्मक पढ़ने की सिफारिश कर सकते हैं जो मुझे आपके द्वारा उल्लिखित रैखिककरण की बेहतर समझ प्राप्त करने में मदद करेगा, जो कि आपके उदाहरण और गैर-उदाहरण के बीच अंतर का दिल है। 5. धन्यवाद।

— कलरस्टैटिस्टिक्स

@Color मैं किसी से परिचित नहीं हूं। संभावित परिवर्तनों की भिन्नता के बारे में हल्के अनुमानों के तहत, यह आंशिक अंतर समीकरणों (PDEs) के सिद्धांत द्वारा संबोधित किया गया है।

— whuber

0

आपको अभी वास्तविकता और उस मॉडल के बीच अंतर करके शुरू करना चाहिए जिसका आप वर्णन करने के लिए उपयोग कर रहे हैं

आपके द्वारा उल्लिखित समीकरण एक बहुपद समीकरण (x ^ पॉवर) है। गैर-रेखीय ... लेकिन आप अभी भी इसे एक उत्पन्न रैखिक मॉडल (लिंक फ़ंक्शन का उपयोग करके) या बहुपद प्रतिगमन का उपयोग करके मॉडल कर सकते हैं क्योंकि पैरामीटर रैखिक (b1, b2, b3, c) हैं

उम्मीद है कि मदद की है, यह वास्तव में थोड़ा उलझन में है: वास्तविकता / मॉडल

— पो स्टूलट
स्रोत

3

इसका अनुमान साधारण कम से कम वर्गों के माध्यम से लगाया जा सकता है क्योंकि मॉडल मापदंडों में रैखिक है।

— विश्लेषक

तो इसके सभी मापदंडों के साथ क्या करना है? अगर हम b3 ^ 2 * x यह अभी भी रैखिक होगा?

— mHelpMe

0

एक मॉडल रैखिक है यदि यह मापदंडों में रैखिक है या मापदंडों (रैखिक) में रैखिक होने के लिए रूपांतरित हो सकता है। रैखिक मॉडल रैखिक या गैर-रैखिक संबंध मॉडल कर सकते हैं। आइए इनमें से प्रत्येक पर विस्तार करें।

एक मॉडल मापदंडों में रैखिक होता है अगर इसे शब्दों के योग के रूप में लिखा जा सकता है, जहां प्रत्येक शब्द या तो एक स्थिरांक है या एक पैरामीटर जो एक भविष्यवक्ता (एक्स _i ) को गुणा करता है :

ध्यान दें कि यह परिभाषा बहुत संकीर्ण है। केवल इस परिभाषा को पूरा करने वाले मॉडल रैखिक हैं। हर दूसरा मॉडल, गैर-रैखिक है।

दो प्रकार के रैखिक मॉडल हैं जो गैर-रैखिक मॉडल के लिए भ्रमित हैं:

1. गैर-रैखिक संबंधों के रैखिक मॉडल

उदाहरण के लिए, मॉडल नीचे मॉडल गैर-रैखिक संबंध (क्योंकि एक्स के संबंध में वाई के व्युत्पन्न ₁ एक्स के एक समारोह है ₁ )। एक नया वैरिएबल W ₁ = X ₁² बनाकर और W _{1 के} स्थान पर X ₁^{2 के} साथ समीकरण को फिर से लिखना , हमारे पास एक समीकरण है जो एक रेखीय मॉडल की परिभाषा को संतुष्ट करता है।

2. मॉडल जो तुरंत रैखिक नहीं हैं, लेकिन परिवर्तन (रैखिक) के बाद रैखिक बन सकते हैं। नीचे रैखिक मॉडल के 2 उदाहरण दिए गए हैं:

उदाहरण 1:

यह मॉडल गैर-रैखिक प्रतीत हो सकता है क्योंकि यह एक मॉडल की परिभाषा को पूरा नहीं करता है जो मापदंडों में रैखिक है, हालांकि इसे रैखिक मॉडल में परिवर्तित किया जा सकता है, इसलिए यह रैखिक / परिवर्तनशील रैखिक है, और इस प्रकार इसे रैखिक माना जाता है आदर्श। निम्नलिखित परिवर्तन इसे रैखिक करेंगे। प्राप्त करने के लिए दोनों पक्षों के प्राकृतिक लघुगणक को लेना शुरू करें:

फिर निम्नलिखित प्रतिस्थापन करें:

नीचे दिए गए रैखिक मॉडल को प्राप्त करने के लिए:

उदाहरण 2:

यह मॉडल गैर-रैखिक प्रतीत हो सकता है क्योंकि यह एक मॉडल की परिभाषा को पूरा नहीं करता है जो मापदंडों में रैखिक है, हालांकि इसे रैखिक मॉडल में परिवर्तित किया जा सकता है, इसलिए यह रैखिक / परिवर्तनशील रैखिक है, और इस प्रकार इसे रैखिक माना जाता है आदर्श। निम्नलिखित परिवर्तन इसे रैखिक करेंगे। प्राप्त करने के लिए दोनों पक्षों के पारस्परिक लेने से शुरू करें:

फिर निम्नलिखित प्रतिस्थापन करें:

नीचे दिए गए रैखिक मॉडल को प्राप्त करने के लिए:

कोई भी मॉडल जो रैखिक नहीं है (रैखिककरण के माध्यम से भी नहीं) गैर-रैखिक है। इसे इस तरह से सोचें: यदि कोई मॉडल रैखिक मॉडल की परिभाषा को पूरा नहीं करता है, तो यह एक गैर-रेखीय मॉडल है, जब तक कि इसे रैखिक साबित नहीं किया जा सकता है, जिस बिंदु पर यह एक रैखिक मॉडल कहे जाने के अधिकार को अर्जित करता है।

ऊपर दिए गए व्हिबर का उत्तर और साथ ही इस लिंक में ग्लेन_ब का उत्तर मेरे उत्तर में और अधिक रंग जोड़ देगा। Nonlinear बनाम सामान्यीकृत रैखिक मॉडल: आप लॉजिस्टिक, पॉइसन, आदि प्रतिगमन को कैसे देखते हैं?

— ColorStatistics
स्रोत