प्रतिगमन मॉडल की परिभाषा और परिसीमन

एक शर्मनाक सरल सवाल है - लेकिन ऐसा लगता है कि यह पहले से वैधता पर नहीं पूछा गया है:

प्रतिगमन मॉडल की परिभाषा क्या है?

एक समर्थन प्रश्न भी,

प्रतिगमन मॉडल क्या नहीं है?

उत्तरार्द्ध के संबंध में, मुझे मुश्किल उदाहरणों में दिलचस्पी है जहां उत्तर तुरंत स्पष्ट नहीं है, जैसे ARIMA या GARCH।

जवाबों:

मैं कहूंगा कि "प्रतिगमन मॉडल" एक तरह की मेटा-अवधारणा है, इस अर्थ में कि आपको "प्रतिगमन मॉडल" की परिभाषा नहीं मिलेगी, लेकिन "रेखीय प्रतिगमन", "गैर-रेखीय प्रतिगमन" जैसी अधिक ठोस अवधारणाएं, "मजबूत प्रतिगमन" और इसी तरह। यह उसी तरह से जैसे गणितज्ञों में हम आमतौर पर "संख्या" को परिभाषित नहीं करते हैं, लेकिन "प्राकृतिक संख्या", "पूर्णांक", "वास्तविक संख्या", "पी-एडिक नंबर" और इसी तरह, और यदि कोई व्यक्ति शामिल करना चाहेगा। संख्या के बीच quaternions तो यह हो! यह वास्तव में मायने नहीं रखता, जो मायने रखता है वह उस पुस्तक / कागज द्वारा उपयोग किया जाता है जो आप इस समय पढ़ रहे हैं।

परिभाषाएँ उपकरण हैं , और अनिवार्यता, जो इस बात पर चर्चा कर रही है कि ... का सार क्या है , एक शब्द का वास्तव में क्या मतलब है , शायद ही कभी सार्थक होता है।

तो, क्या एक "प्रतिगमन मॉडल" को अन्य प्रकार के सांख्यिकीय मॉडल से अलग करता है? अधिकतर, कि एक प्रतिक्रिया चर है , जिसे आप भविष्यवाणियों के कुछ सेट से प्रभावित (या निर्धारित) के रूप में मॉडल करना चाहते हैं । हम दूसरी दिशा को प्रभावित करने में रुचि नहीं रखते हैं, और हम भविष्यवक्ता चर के बीच संबंधों में रुचि नहीं रखते हैं। अधिकतर, हम पूर्वसूचक चर को दिए गए अनुसार लेते हैं, और उन्हें मॉडल में स्थिरांक के रूप में मानते हैं, न कि यादृच्छिक चर के रूप में।

ऊपर वर्णित संबंध रेखीय या गैर-रेखीय हो सकता है, जो पैरामीट्रिक या गैर-समरूप तरीके से निर्दिष्ट किया जा सकता है, और इसी तरह।

अन्य मॉडलों से बेहतर बनाने के लिए, हम "रिग्रेशन मॉडल" के लिए कुछ अलग करने के लिए अक्सर कुछ अन्य शब्दों पर एक नज़र डालते हैं, जैसे "वेरिएबल्स में त्रुटियां", जब हम भविष्यवाणियों में माप त्रुटियों की संभावना को स्वीकार करते हैं। यह अच्छी तरह से ऊपर "प्रतिगमन मॉडल" के मेरे विवरण में शामिल किया जा सकता है, लेकिन अक्सर एक वैकल्पिक मॉडल के रूप में लिया जाता है।

इसके अलावा, खेतों के बीच क्या अंतर हो सकता है, यह देखें कि रजिस्टरों पर कंडीशनिंग के बीच क्या अंतर है?

दोहराने के लिए: लेखकों द्वारा उपयोग की जाने वाली परिभाषा क्या मायने रखती है, जो आप अभी पढ़ रहे हैं, और कुछ तत्वमीमांसा के बारे में नहीं कि यह "वास्तव में" क्या है।

— kjetil b halvorsen
स्रोत

मैं आपके उत्तर के सार से सहमत हूं। मेरा प्रश्न प्रतिगमन मॉडल के बारे में बयानों का सामना करने से प्रेरित था जिसने मुझे आश्चर्यचकित कर दिया कि कथन वास्तव में क्या लागू होता है (और यह क्या लागू नहीं होता है)। बेशक, अब आप कह सकते हैं, "अपने सर्वोत्तम निर्णय का उपयोग करें और विवरणों को सावधानीपूर्वक जांचें", लेकिन कभी-कभी मैं यह कहते हुए परिकल्पित बयान को अस्वीकार करना चाह सकता हूं कि यह सामान्य रूप से सच नहीं है (शायद केवल एक विशेष मामले में सच है) । फिर मुझे संदर्भित करने के लिए एक परिभाषा की आवश्यकता है। निश्चित रूप से ऐसी और भी स्थितियाँ हैं जहाँ एक सटीक परिभाषा होना उपयोगी है।

— रिचर्ड हार्डी

फिर आप shouls ने उन उपयोगों के बारे में विशिष्ट प्रश्न पूछे, जिनका आपने संदर्भों के साथ सामना किया है।

— kjetil b halvorsen

मुझे लेने का इरादा नहीं है, लेकिन इसके बारे में सोचें: कोई आपसे पूछता है कि आप क्या कर रहे हैं, आप कहते हैं "मैं प्रतिगमन मॉडल का उपयोग कर [पूर्वानुमान / परीक्षण] कर रहा हूं।" - "एक प्रतिगमन मॉडल क्या है?" -- (शांति)। या परिचयात्मक अर्थमिति कक्षा में एक स्थिति: "प्रोफेसर, एक प्रतिगमन मॉडल क्या है ?" -- (कोई जवाब नहीं)। मुझे लगता है कि ये बहुत स्वाभाविक प्रश्न हैं, इसलिए इसका उत्तर देना अच्छा होगा।

— रिचर्ड हार्डी

हां, एक उत्तर देना अच्छा होगा, लेकिन मुझे यकीन नहीं है कि एक विहित उत्तर है जिसके बारे में सभी सहमत हो सकते हैं। मुझे एक सांख्यिकीय पुस्तक से प्रतिगमन का एक बहुत अलग विचार मिला जैसे कि सीबर: "रैखिक प्रतिगमन विश्लेषण" अर्थमिति में एक पाठ से। लेकिन कुछ विचारों के बारे में सभी सहमत हो सकते हैं। मुझे लगता है कि यह वास्तव में मॉडल का परिवार है। फिर हम पूछ सकते हैं कि इस सभी मॉडलों का सामान्य मूल क्या है।

— kjetil b halvorsen

शायद आप मेरी एक संबंधित प्रश्न में रुचि लेंगे: एक साधारण रेखीय प्रतिगमन मॉडल की परिभाषा ।

— रिचर्ड हार्डी

दो अच्छे उत्तर पहले से ही दिए गए थे, लेकिन मैं अपने दो सेंट जोड़ना चाहूंगा।

प्रतिगमन मामले में हमारे पास कुछ यादृच्छिक चर और । चर में कुछ अज्ञात वितरण और जटिल सहसंयोजक संरचना होती है। हम पूरी तरह से सशर्त वितरण पर ध्यान केंद्रित करने के लिए इस समस्या को सरल करते हैं, या अन्य चर दिए गए की सशर्त अपेक्षा पर अधिक सटीक रूप से ध्यान केंद्रित करते हैं। हम इसे सरल करते हैं $Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

कहाँ भविष्यवक्ताओं कि अलग अलग रूपों (रेखीय, गैर रेखीय) विशेष प्रतिगमन मॉडल और के आधार पर ले जा सकते हैं की एक समारोह है जब मामले में प्रतिगमन मॉडल के बारे में सोच के कुछ वितरण का एक मतलब है मॉडल रैखिक सामान्यीकृत । जीएलएम के में पोइसन, द्विपद, गामा आदि वितरण हो सकते हैं। साथ प्रतिगमन नियमित यह मजबूत मॉडल कम करने के लिए, लाप्लास वितरण का एक स्थान है ह्यूबर नुकसान तथाकथित ह्यूबर घनत्व प्रयोग किया जाता है। चतुर्थक प्रतिगमन के मामले में हम वितरण की अन्य सुविधा पर ध्यान केंद्रित करने, हमारा अनुमान है वितरण के बजाय चतुर्थक तो उम्मीद मूल्य है। $f$ $\mu$ $\mu$ $L_1$ $\mu$

इसलिए पूर्ण संयुक्त वितरण को देखने के बजाय, हम सशर्त वितरण पर ध्यान केंद्रित करते हैं । यह सरलीकरण प्रतिगमन मॉडल की एक प्रमुख विशेषता है। $Y$

— टिम
स्रोत

धन्यवाद। अंतर्ज्ञान चोट नहीं करता है, हालांकि मैं एक अधिक औपचारिक परिभाषा की तलाश कर रहा हूं जो मुझे पूछने वाले किसी व्यक्ति पर फेंक सकता है, इसलिए वैसे भी एक प्रतिरूप मॉडल क्या है? और फिर विवरण लेने की कोशिश की।

— रिचर्ड हार्डी

@ रीचर्डहार्डी मुझे लगता है कि यह प्रतिगमन मॉडल की प्रमुख विशेषता है जो उन सभी द्वारा साझा की जाती है।

— टिम

मुझे लगता है कि यह उत्तर एक सही और उपयोगी दृष्टिकोण है, लेकिन इसे सामान्यीकृत करने की आवश्यकता है इसलिए यह आमतौर पर "प्रतिगमन" (जीएलएम सहित, गुणात्मक त्रुटियों, रूपांतरित प्रतिक्रियाओं के साथ प्रतिगमन, मात्रात्मक प्रतिगमन और इसी तरह) के रूप में सोची गई स्थितियों पर लागू हो सकता है। मोटे तौर पर, एक प्रतिगमन मॉडल प्रतिसाददाताओं के मूल्यों के संदर्भ में प्रतिक्रिया के संपूर्ण वितरण के एक या अधिक गुणों को निर्दिष्ट करता है (विशिष्ट सीमाओं के भीतर, यादृच्छिक या निश्चित)। विशेष रूप से, यह केवल अपेक्षा को निर्दिष्ट करने या योगात्मक त्रुटि मानने से बहुत आगे जा सकता है।

y

$y$

— whuber

साहित्य पर आधारित कुछ विचार:

अपनी क्लासिक स्नातक पाठ्यपुस्तक "इकोनोमेट्रिक्स" (2000) के अध्याय 1 में एफ हयाशी कहते हैं कि निम्नलिखित मान्यताओं में शास्त्रीय रेखीय प्रतिगमन मॉडल शामिल हैं:

रैखिकता
कड़ा बहिर्गमन
कोई बहुरूपता नहीं
गोलाकार त्रुटि विचरण
"फिक्स्ड" regressors

अपनी क्लासिक परिचयात्मक अर्थमिति की पाठ्यपुस्तक 2 के अध्याय 2 में "परिचयात्मक अर्थमिति: एक आधुनिक दृष्टिकोण" (2012) में वोल्ड्रिज ने कहा कि निम्नलिखित समीकरण सरल रेखीय प्रतिगमन मॉडल को परिभाषित करता है:

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

ग्रीन ने अपनी लोकप्रिय अर्थमिति की पाठ्य पुस्तक "इकोनोमेट्रिक एनालिसिस" (2011) के अध्याय 2 में कहा है

शास्त्रीय रेखीय प्रतिगमन मॉडल में एक अंतर्निहित डेटा "-जनरेटिंग प्रक्रिया" द्वारा कैसे डेटा सेट का उत्पादन किया जाएगा, इस बारे में मान्यताओं का एक सेट होता है।

और बाद में हयाशी के समान मान्यताओं की एक सूची देता है।

GARCH मॉडल में ओपी की रुचि के बारे में, बोलर्सलेव "सामान्यीकृत ऑटोरिएरेटिव सशर्त विषमलैंगिकता" (1986) में धारा 5 के शीर्षक में एक वाक्यांश "GARCH प्रतिगमन मॉडल" भी शामिल है और उस खंड के पहले वाक्य में भी। इसलिए GARCH मॉडल के पिता ने GARCH को प्रतिगमन मॉडल कहने में कोई आपत्ति नहीं की।

— रिचर्ड हार्डी
स्रोत

आपके तीन संदर्भ रैखिक प्रतिगमन मॉडल तक ही सीमित हैं , लेकिन आपका प्रश्न इससे व्यापक है। (इस प्रकार, किसी अन्य पद के लिए आपके उत्तर में तर्क के रूप में इसका उपयोग करना, जिसे मैं इस मुद्दे में रुचि पैदा करता हूं, क्या मुझे लगता है कि यह पूरी तरह से वैध नहीं है।) यदि आप कहेंगे कि अव्यक्त चर मॉडल प्रतिगमन मॉडल नहीं हैं, तो तत्काल का उपयोग करें माप त्रुटियों के साथ संबंध, माप त्रुटियों के साथ प्रतिगमन मॉडल अब प्रतिगमन मॉडल नहीं होंगे। मुझे अजीब लगता है। विकी सिर्फ यह कहता है कि एक रेग मॉडल के अर्थ में डिप वर्स से संबंधित है ।

Y \approx f (X, β)

$Y\approx f(X, \beta)$

— हेजसेब

सच है, मेरे उदाहरण रैखिक प्रतिगमन मॉडल के लिए हैं; यही कारण है कि मैं इन पाठ्यपुस्तकों जैसे विश्वसनीय स्रोतों में खोजने में सक्षम था जो व्यापक रूप से उपयोग किए जाते हैं और क्लासिक बन गए हैं। मुझे विकिपीडिया पर भरोसा नहीं है कि सांख्यिकीय और अर्थमितीय प्रश्नों के लिए बहुत कुछ। वैसे भी, विकिपीडिया में भी "मान्यताओं को रेखांकित करने" का एक अध्याय है जो कि मैंने पाठ्यपुस्तकों से उद्धृत किया है। अन्य पोस्ट के बारे में, क्या आप अपनी टिप्पणी के संबंधित हिस्से को वहां पोस्ट कर सकते हैं ताकि मैं वहां जवाब दे सकूं? इस पोस्ट में मैंने अव्यक्त चर मॉडल के बारे में कुछ नहीं कहा, लेकिन आपकी राय सुनना अच्छा है।

— रिचर्ड हार्डी

बिंदु 3, "नो मल्टीकोलिनरिटी" क्यों? मैंने कभी नहीं देखा कि कुछ परिणाम के प्रमाण में एक धारणा के रूप में इस्तेमाल किया!

— kjetil b halvorsen

@kjetilbhalvorsen, कृपया मुझे इस बात के लिए ज़िम्मेदार न ठहराएं कि एक पाठ्यपुस्तक में क्या लिखा गया है जो मैं लेखक नहीं हूँ। लेकिन टिप्पणी के लिए धन्यवाद, ज़ाहिर है, और उत्तर के लिए और भी!

— रिचर्ड हार्डी