रैखिक प्रतिगमन के लिए वैकल्पिक

4

मैं तीसरे वर्ष का अर्थशास्त्र का छात्र हूं और हमारे पास अब तक के आर्थिक विषयों में सभी अनुभवजन्य अध्ययन और अब तक हमारे पास जो भी आर्थिक विषय थे, वे सभी रैखिक अध्ययन हैं। क्या कोई विकल्प है, क्या कोई भी पढ़ने की सामग्री या दिशा का सुझाव दे सकता है जिसमें मैं तलाश कर सकता हूं?

regression

— अर्थव्यवस्था
स्रोत

यह दृढ़ता से निर्भर करता है कि आप क्या करना चाहते हैं: पूर्वानुमान? वर्गीकरण?

— caverac

क्या आप मुझे दोनों के लिए उदाहरण दे सकते हैं?

— इको

रैखिक प्रतिगमन द्वारा, क्या आप मापदंडों या रैखिक कार्यात्मक रूप में रैखिक का मतलब है? Blog.minitab.com/blog/adventures-in-statistics-2/…

— एडम बेली

रैखिक कार्यात्मक रूप।

— इको

3

रिग्रेशन रिजल्ट पर किसी भी आयाम के किसी भी फंक्शन की मैपिंग है । इसमें अनंत प्रकार के कार्य मौजूद हैं। इसके अलावा, कम से कम वर्ग शैली समाधान की तुलना में रैखिक प्रतिगमन उपकरण की एक विस्तृत श्रृंखला है । मेरा अनुमान है कि आप अभी तक रैखिक उपकरणों को कवर करने के लिए करीब आए हैं यदि आप अपने तीसरे वर्ष में हैं।

अधिक रैखिक उपकरणों के लिए, मात्रात्मक प्रतिगमन और थाइल के प्रतिगमन को देखें। दोनों बहुत मजबूत हैं। किसी भी डिग्री के बहुपद के लिए मात्रात्मक, कम से कम वर्ग और प्रतिगमन की विधि प्रयोग करने योग्य हैं। यदि आप कम से कम वर्ग शैली विधियों जैसे कि ओएलएस, जीएलएस या एफजीएलएस का अध्ययन कर रहे हैं तो आप एक ही समय में गैर-रैखिक तरीकों का भी अध्ययन कर रहे हैं। सभी रैखिक उपकरण गैर-रैखिक समस्याओं के लिए आसानी से अनुकूलित किए जा सकते हैं। आपको किसी ने भी यह नहीं बताया कि आप गैर-रेखीय प्रतिगमन का अध्ययन कर रहे हैं, लेकिन गुणों का अध्ययन करने के लिए रैखिक मॉडल का उपयोग कर रहे हैं क्योंकि वे आसान हैं।

लिंकेज हाई स्कूल और कैलकुलस में बीजगणित 2 के बीच संबंध के समान है। पूर्व में ग्राउंडिंग बाद के लिए आवश्यक है।

"गैर-रैखिक" तरीकों के बारे में चिंता करने के बजाय, मैं दो अलग-अलग मार्गों को लेने की सलाह दूंगा।

पहला गैर-पैरामीट्रिक और वितरण-मुक्त तरीके हैं। दूसरा बेयसियन तरीके हैं। इस सिफारिश के लिए आपका प्रशिक्षक मुझसे हमेशा के लिए नफरत करेगा।

वितरण-मुक्त तरीके समझने में सबसे आसान हैं। वे किसी भी वितरण धारणा के तहत मजबूत होते हैं, जिसके परिणामस्वरूप बिजली की हानि होती है। वे हमेशा काम करते हैं, लेकिन वे कमजोर समाधान हैं क्योंकि आप जानते हैं कि दुनिया कैसे काम करती है। Theil का प्रतिगमन एक ऐसा उदाहरण है।

गैर-पैरामीट्रिक तरीकों को समझना थोड़ा कठिन है। वे एक पैरामीटर पर निर्भर नहीं हैं कि वे प्रदर्शन करें। इसलिए, उदाहरण के लिए, जब आपने एक टी-टेस्ट किया है, तो आपने मान लिया है कि एक मतलब मौजूद है और यह सार्थक है। यह हमेशा सच नहीं होता है कि एक वितरण में एक मतलब मौजूद है और यह हमेशा सच नहीं है कि यह एक सार्थक माप है जब यह मौजूद होता है। गैर-पैरामीट्रिक तरीके आपको एक पैरामीटर के संदर्भ के बिना डेटा पर परीक्षण करने की अनुमति देते हैं। वितरण-मुक्त तरीकों के साथ, वे समकक्ष पैरामीट्रिक परीक्षण से कमजोर हैं। वे हमेशा काम करते हैं, लेकिन वे एक प्रभाव का पता नहीं लगाने की अधिक संभावना रखते हैं जो वास्तव में है।

अंत में, जब आपने वितरण-मुक्त और गैर-पैरामीट्रिक तरीकों को देखा है, तो आपको बायेसियन विधियों को देखना चाहिए। बायेसियन विधियां फ्रिक्वेंटिस्ट विधियों की तुलना में पुरानी हैं, लेकिन आप उन समस्याओं को हल करने की अनुमति देते हैं जिनके पास कोई फ़्रीक्वेंटिस्ट समाधान नहीं है। सतह पर, वे सिर्फ उन समस्याओं को देख सकते हैं जिन्हें आप अभी हल कर रहे हैं, लेकिन सतह के नीचे, वे पूरी दुनिया की भविष्यवाणी को खोलते हैं और फ़्रीक्वेंटिस्ट विधियों के साथ उपलब्ध मॉडलिंग नहीं करते हैं।

$\Pr(x|\theta)$ $\Pr(\theta|x)$

फ़्रीक्वेंटिस्ट "नमूना स्थान" में काम करता है, जो यादृच्छिक घटना के सभी संभावित परिणामों का सेट है। बायेसियन "पैरामीटर स्पेस" में काम करता है जो सभी संभावित स्पष्टीकरण का सेट है।

अंतर दिखाने वाला एक अच्छा पद जिसे आप आसानी से देख सकते हैं, एक फ़्रीक्वेंटिस्ट विश्वास अंतराल और बायेसियन विश्वसनीय अंतराल के बीच अंतर है। यह https://stats.stackexchange.com/questions/2272/whats-the-difference-between-a-confidence-interval-and-a-credible-interval पर है

यदि आप एकीकरण के माध्यम से कैलकुलस गए हैं तो विलियम बोल्स्टेस बायेसियन विधियों पर एक अच्छी परिचयात्मक पुस्तक लिखते हैं। आप एकीकरण को जाने बिना बायेसियन विधियों को नहीं कर सकते।

वहाँ एक विशाल दुनिया है। अन्वेषण करें।

— दवे हैरिस
स्रोत

5

जाने के लिए कई दिशाएँ हैं जो आपको सामान्य से कम वर्गों (ओएलएस), रैखिक प्रतिगमन से आगे बढ़ना शुरू करती हैं। सांख्यिकीय विधियों का ब्रह्मांड बड़ा है!

दो पुस्तकें जिन्हें मैंने विशेष रूप से हेटी द्वारा इकोनोमेट्रिक्स और हस्ती एट द्वारा सांख्यिकीय लर्निंग के तत्व शामिल हैं । अल। आपके प्रश्न को देखते हुए, ये पुस्तकें बहुत उन्नत हो सकती हैं। लेकिन शायद नहीं। उत्तरार्द्ध का एक आसान संस्करण सांख्यिकीय सीखना का एक परिचय है (और यह केवल अर्थमिति की तुलना में डेटा विज्ञान के व्यापक प्रसार के परिप्रेक्ष्य से दिलचस्प हो सकता है)।

हेयाशी के अर्थमिति जीएमएम के लेंस के माध्यम से और समय-श्रृंखला अर्थमिति की ओर एक आंख के साथ कई तरीकों का परिचय देते हैं।
सांख्यिकीय लर्निंग के तत्व सांख्यिकी, मशीन लर्निंग साहित्य का एक आधुनिक क्लासिक है। यह पारंपरिक अर्थमिति के बाहर अपनी आँखें खोलने के लिए बहुत अच्छा है।

साधारण से कम वर्गों से परे कुछ उदाहरण ...

अधिकतम संभावना अनुमान (MLE)

यदि आप आंकड़े जारी रखते हैं तो आपको यह पता होना चाहिए। यह एक सर्वव्यापी कार्यक्षेत्र है।

यदि आप संभावना फ़ंक्शन को निर्दिष्ट कर सकते हैं तो संभावना फ़ंक्शन के मापदंडों का अनुमान संभावना फ़ंक्शन को अधिकतम करके लगाया जा सकता है। कुछ विशेष मामलों में, (जैसे सशर्त रूप से सामान्य त्रुटि शर्तों के साथ रैखिक प्रतिगमन) OLS अनुमानक MLE अनुमानक है। इससे पहले कि आप एक लॉजिट मॉडल का अनुमान लगा लें, इससे पहले आप निस्संदेह MLE आकलन का सामना कर चुके हैं । MLE भौतिकी, इंजीनियरिंग और विज्ञान के क्षेत्र में है।

हालांकि MLE को आर्थिक मॉडल पर लागू करने के मुद्दे हैं। अक्सर हम जानते हैं कि एक समग्र आर्थिक मॉडल गलत है। एक मॉडल कुछ तथ्यों को स्पष्ट करेगा जो पूरी तरह से कमजोर हैं। मॉडल को अधिकतम संभावना अर्थ में डेटा से मेल खाने के लिए मजबूर करना पैरामीटर के एक उपयोगी विकल्प को प्रेरित नहीं कर सकता है। GMM का उपयोग किसी मॉडल के चुनिंदा पूर्वानुमानों के परीक्षण के लिए एक वैकल्पिक दृष्टिकोण के रूप में किया जा सकता है।
जीएमएम क्षणों के आधार पर मापदंडों का आकलन करने के लिए एक और व्यापक तरीका है कि अपेक्षा में शून्य होना चाहिए। हेयाशी की किताब इकोनॉमेट्रिक्स में विभिन्न क्षण स्थितियों के साथ जीएमएम के विशेष मामलों के रूप में साधारण न्यूनतम वर्ग प्रतिगमन, वाद्य चर, अधिकतम संभावना, और अन्य तरीके विकसित होते हैं। OLS को GMM के रूप में माना जा सकता है जो रजिस्टरों की ऑर्थोगोनलिटी स्थिति और त्रुटि की शर्तों का उपयोग करता है। MLE को स्कोर पर GMM के रूप में प्राप्त किया जा सकता है ।

एक जॉन कोचरन ode to GMM यहाँ है।
अर्थशास्त्र के कुछ क्षेत्रों में कारण प्रभाव का आकलन करने के लिए मिलान तरीके आम हैं।

यह विचार एक व्यवहारिक इकाई के साथ एक अछूता इकाई के साथ मेल खाने योग्य विशेषताओं पर आधारित है। उदाहरण के लिए एक व्यापक रूप से इस्तेमाल की जाने वाली तकनीक प्रवृत्ति स्कोर मिलान है
क्लासिक रैखिक विधियों पर सभी प्रकार की विविधताएँ हैं:

यहाँ विचार साधारण कम से कम वर्गों के साथ शुरू करना है, लेकिन फिर ओवरफिटिंग को कम करने और नमूना भविष्यवाणी से बाहर सुधार करने के लिए शून्य के प्रति गुणांक अनुमानों को पूर्वाग्रह करना है।
- रिज रिग्रेशन
- कमंद

संदर्भ

फुमियो, हयाशी, 2000, इकोनोमेट्रिक्स

हस्ती, ट्रेवर, रॉबर्ट टिब्शिरानी, जेरोम फ्रीडमैन, 2009, एलिमेंट्स ऑफ स्टैटिस्टिकल लर्निंग

जेम्स, गैरेथ, डेनिला विटेन, ट्रेवर हस्ती और रॉबर्ट टिब्शिरानी, 2017, सांख्यिकीय सीखना का एक परिचय

— मैथ्यू गुन
स्रोत

धन्यवाद! मैंने सांख्यिकीय शिक्षा का परिचय पढ़ा और मुख्य रूप से इस प्रश्न के लिए प्रेरणा हमारे अर्थशास्त्र और अर्थमिति कक्षाओं में उपयोग किए गए किसी भी नियमितीकरण के तरीकों को नहीं देखने की निराशा से मिली ... धन्यवाद :)

— econ

@econ आप अर्थशास्त्र में उपयोग की जाने वाली अधिक मशीन लर्निंग तकनीकें देखने जा रहे हैं, विशेष रूप से समस्याओं या उपप्रकारों के लिए, जहाँ ब्याज पूर्वानुमान और आपको इस बात की परवाह नहीं है कि आपको ऐसा क्यों या कैसे मिला। हालांकि यह जान लें कि कई मशीन सीखने की तकनीकें समस्याओं के लिए समस्याग्रस्त हो सकती हैं, जहां आप एक विशिष्ट पैरामीटर का अनुमान लगाने की कोशिश कर रहे हैं (जैसे कि का कारण प्रभाव क्या है )। मशीन सीखने की तकनीक आदि ... कई अर्थशास्त्रियों से शत्रुतापूर्ण प्रश्न भी उकसा सकते हैं जो तकनीकों को नहीं जानते हैं और / या उन्हें संदेह से देखते हैं।

\hat{y}

$\hat{y}$

\hat{β}

$\hat{\beta}$

x

$x$

— मैथ्यू गन

4

रैखिक प्रतिगमन, इसकी सादगी के बावजूद, यह वास्तव में एक बहुत शक्तिशाली उपकरण है। इसलिए यह इकोनोमेट्रिक्स में हर जगह है, आपको एक उदाहरण देने के लिए, जिससे आप शायद परिचित हों, एक ऑटो-रिग्रेसिव मॉडल पर विचार करें , आपको लगता है कि आप एक वैरिएबल के भविष्य की स्थिति लिख सकते हैं जो पिछले राज्यों के रैखिक संयोजन के रूप में इस मॉडल का अनुसरण करता है।

\begin{matrix} (1) & X_{t} = C + ϕ_{1} X_{t - 1} + ϕ_{2} X_{t - 2} + \dots + ϕ_{p} X_{t - p} + η_{t} \end{matrix}

$X_t = C + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + \eta_t \tag{1}$

इसलिए, यदि आप वज़न जानते हैं, तो आप अनुमान लगा सकते हैं कि का भविष्य मान क्या होने वाला है । दिलचस्प बात यह है कि ये संख्याएं रैखिक प्रतिगमन के माध्यम से प्राप्त की जाती हैं: बस , कॉल करें और Eq का एहसास करें। (1) के रूप में लिखा जा सकता है $\{\phi_k \}_{k=1}^p$ $X$ $y = X_t$ $x_1 = X_{t-1}, x_2 = X_{t-2},\cdots$

\begin{matrix} (2) & y = C + ϕ_{1} x_{1} + ϕ_{2} x_{2} + \dots + ϕ_{p} x_{p} + ϵ \end{matrix}

$y = C + \phi_1 x_1 + \phi_2 x_2 + \cdots + \phi_p x_p + \epsilon \tag{2}$

इस अर्थ में रैखिक प्रतिगमन का उपयोग पूर्वानुमान के लिए किया जा सकता है। लेकिन अन्य उपकरण हैं, मैं आपको इस दूसरे धागे से जोड़ूंगा जहां आप इस बात पर विचार कर सकते हैं कि इस कार्य के लिए न्यूरोनल नेटवर्क का उपयोग कैसे किया जा सकता है: समय श्रृंखला का पूर्वानुमान। लेकिन पूर्वानुमान भी तरीकों की अधिकता के साथ किया जा सकता है: समर्थन वेक्टर मशीनें लोकप्रिय विकल्प हैं।

— caverac
स्रोत

2

आप हमेशा एक रेखीय प्रतिगमन मॉडल के बारे में सोच सकते हैं कुछ गैर-प्रतिगमन प्रतिगमन मॉडल के पहले क्रम टेलर सन्निकटन के रूप में। तो रैखिकता स्वयं एक विशेष रूप से गंभीर मुद्दा नहीं है।

कहा जा रहा है कि, कुछ सामान्य nonlinear प्रतिगमन मॉडल हैं जो स्नातक स्तर पर सुलभ हैं, अर्थात्, द्विआधारी निर्भर चर वाले मॉडल: लॉगिट और प्रोबिट ।

— हरे के।
स्रोत