जब उत्पादन और भविष्यवक्ताओं के बीच कोई पर्याप्त संबंध नहीं होता है तो एक अच्छा रैखिक प्रतिगमन मॉडल प्राप्त करना कैसे संभव है?

Question

मैंने एक रैखिक प्रतिगमन मॉडल को प्रशिक्षित किया है, जिसमें चर / सुविधाओं का एक सेट है। और मॉडल का अच्छा प्रदर्शन है। हालांकि, मैंने महसूस किया है कि अनुमानित चर के साथ एक अच्छा संबंध नहीं है। यह कैसे संभव है?

Comments

ये महान उत्तर हैं, लेकिन यह प्रश्न बहुत सारे विवरणों को याद कर रहा है कि उत्तर भरने के लिए प्रयास कर रहे हैं। मेरे मन में सबसे बड़ा सवाल यह है कि आप "अच्छे सहसंबंध" से क्या मतलब है।

— डीएचडब्ल्यू

एक असंक्रामक नियंत्रण चर

— user3684792

Answer 1

चर की एक जोड़ी उच्च आंशिक सहसंबंध (अन्य चर के प्रभाव के लिए सहसंबंध लेखांकन) दिखा सकती है, लेकिन निम्न - या यहां तक ​​कि शून्य - सीमांत संबंध (जोड़ीदार सहसंबंध)।

जिसका अर्थ है कि प्रतिक्रिया, y और कुछ भविष्यवक्ता के बीच युग्मक सहसंबंध, x अन्य चर के संग्रह के बीच (रैखिक) "भविष्य कहनेवाला" मूल्य के साथ उपयुक्त चर की पहचान करने में बहुत कम मूल्य का हो सकता है।

निम्नलिखित आंकड़ों पर विचार करें:

   y  x
1  6  6
2 12 12
3 18 18
4 24 24
5  1 42
6  7 48
7 13 54
8 19 60

Y और x के बीच संबंध $0$ । यदि मैं कम से कम चौकोर रेखा खींचता हूं, तो यह पूरी तरह से क्षैतिज है और $R^2$ स्वाभाविक रूप से $0$ ।

लेकिन जब आप एक नया वैरिएबल जी जोड़ते हैं, जो इंगित करता है कि कौन से दो समूह से अवलोकन आए हैं, तो एक्स अत्यंत जानकारीपूर्ण हो जाता है:

   y  x g
1  6  6 0
2 12 12 0
3 18 18 0
4 24 24 0
5  1 42 1
6  7 48 1
7 13 54 1
8 19 60 1

एक रेखीय प्रतिगमन मॉडल का $R^2$ , जिसमें एक्स और जी चर दोनों के साथ 1 होगा।

मॉडल में हर एक चर के साथ इस तरह की बात होना संभव है - कि सभी की प्रतिक्रिया के साथ छोटे जोड़ीदार सहसंबंध हैं, फिर भी उन सभी के साथ मॉडल प्रतिक्रिया की भविष्यवाणी करने में बहुत अच्छा है।

अतिरिक्त पढ़ने:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

Comments

क्या यह व्यवहार एक सच्चे रैखिक मॉडल में हो सकता है? यहाँ, रंग (g = 0/1) और प्रतिक्रिया y के बीच संबंध गैर-रैखिक लगता है। हालांकि, हो सकता है कि है के बिना मॉडल के ग्राम हो सकता है (मनमाने ढंग से?) की तुलना में कम आर 2 के साथ मॉडल के जी । $R^2$$g$$R^2$$g$

— विमल

जीज़, मुझे मॉडल को बारीकी से देखना चाहिए था :) । उस सवाल को खरोंचें! $y=x - 41g$

— विमल

यह वास्तव में मॉडल था जिसके द्वारा प्रतिक्रिया बनाई गई थी; लेकिन आप तुरंत देख सकते हैं कि यह केवल एक मनमाना इकाई (स्क्रीन की सतह से एक नई "जी" अक्ष दिशा) की ओर नीले बिंदुओं को बाहर निकालने की कल्पना करके रैखिक है, और एक विमान छह बिंदुओं के माध्यम से फिट बैठता है।

— Glen_b -Reinstate Monica

प्रतिगमन में, एक्स चर को चालू किया जाता है और अक्सर नियंत्रित किया जा सकता है, इसलिए "स्वतंत्रता" आम तौर पर ऐसा नहीं है जो कोई दिखता है। डिज़ाइन किए गए प्रयोगों के बाहर, स्वतंत्र भविष्यवाणियों को लगभग किसी भी मामले में कभी नहीं देखा जाता है, और यदि आपके पास डिज़ाइन किए गए प्रयोग हैं तो भविष्यवाणियां यादृच्छिक चर नहीं हैं इसलिए "स्वतंत्रता" (सांख्यिकीय अर्थ में) वह नहीं है जो आप देख रहे हैं - बल्कि कुछ और आपसी रूढ़िवादिता की तरह, संभवतः। ... ctd

— Glen_b -Reinstate Monica

ctd ... यदि आप वास्तव में सभी भविष्यवक्ताओं की म्युचुअल (पी / वैरिएबल) सांख्यिकीय स्वतंत्रता का मतलब है, तो आप इस तरह से एकतरफा प्रतिगमन पर बिल्कुल शून्य गुणांक प्राप्त नहीं करेंगे, लेकिन आपको उपरोक्त उदाहरण की तरह पूर्ण पृथक्करण की भी आवश्यकता नहीं है। ।

— Glen_b -Reinstate Monica

Answer 2

मुझे लगता है कि आप कई प्रतिगमन मॉडल का प्रशिक्षण ले रहे हैं, जिसमें आपके पास कई स्वतंत्र चर , एक्स $X_1$$X_2$ , ..., वाई पर पुनः पंजीकृत हैं। यहां सरल उत्तर एक जोड़ीदार सहसंबंध है जो एक अंडरसीज्ड प्रतिगमन मॉडल को चलाने जैसा है। जैसे, आपने महत्वपूर्ण चर छोड़ दिए।

विशेष रूप से, जब आप "भविष्यवाणी किए गए चर के साथ एक अच्छे सहसंबंध के साथ कोई चर नहीं है" कहते हैं, तो ऐसा लगता है कि आप प्रत्येक स्वतंत्र चर के बीच युग्मित सहसंबंध को आश्रित चर के साथ देख रहे हैं, वाई। यह तब संभव है जब महत्वपूर्ण में लाता है , नई जानकारी और के बीच तर्क गुमराह स्पष्ट में मदद करता है एक्स 1 और के साथ वाई कि सत्यानाशी, हालांकि, हम नहीं के बीच एक रैखिक युग्म के लिहाज से पारस्परिक संबंध देख सकते एक्स 1 और Y तुम भी आंशिक सहसंबंध के बीच संबंध की जांच करने के लिए चाहते हो सकता ρ एक्स 1 , वाई | x 2 और एकाधिक प्रतिगमन y = ression $X_2$$X_1$$X_1$$\rho_{x_{1},y|x_{2}}$ । मल्टीपल रिग्रेशन का जोड़ीदार सहसंबंध की तुलना में आंशिक सहसंबंध के साथ अधिक घनिष्ठ संबंध है, ρ x 1 , y ।$y=\beta_1X_1 +\beta_2X_2 + \epsilon$$\rho_{x_{1},y}$

Answer 3

वेक्टर शब्दों में, यदि आपके पास वैक्टर का एक सेट है और एक और वेक्टर वाई है , तो यदि वाई एक्स में प्रत्येक वेक्टर के लिए ऑर्थोगोनल (शून्य सहसंबंध) है , तो यह एक्स से वैक्टर के किसी भी रैखिक संयोजन के लिए ऑर्थोगोनल भी होगा । हालांकि, यदि एक्स में वैक्टर में बड़े असंबंधित घटक होते हैं, और छोटे सहसंबंधित घटक होते हैं, और असंबद्ध घटक रैखिक रूप से आश्रित होते हैं, तो y को X के रैखिक संयोजन से सहसंबद्ध किया जा सकता है । यही है, अगर एक्स = एक्स 1 , एक्स 2 । । । और हम ओ मैं लेते हैं$X$$X$$X$$X$$X$$X={x_1,x_2 ...}$$o_i$= X_i के लिए ओर्थोगोनल के घटक y , करने के लिए x_i समानांतर के घटक = y , तो अगर वहां मौजूद सी मैं ऐसी है कि Σ ग मैं ओ मैं = 0 , तो Σ ग मैं एक्स मैं करने के लिए समानांतर हो जाएगा y (यानी, एक आदर्श भविष्यवक्ता)। यदि Σ ग मैं ओ मैं = 0 छोटा है, तो Σ ग मैं एक्स मैं अच्छा सूचक होगा। तो मान लीजिए हमारे पास X 1 और $p_i$$c_i$$\sum c_io_i =0$$\sum c_ix_i$$\sum c_io_i =0$$\sum c_ix_i$$X_1$$X_2$~ एन (0,1) और ~ एन (0,100)। अब हम नए कॉलम बनाने एक्स ' 1 और एक्स ' 2 । प्रत्येक पंक्ति के लिए, हम से नमूने के तौर पर लेने के ई , के लिए है कि नंबर जोड़ने एक्स 1 पाने के लिए एक्स ' 1 , और से घटा दें एक्स 2 पाने के लिए एक्स ' 2 । के बाद से प्रत्येक पंक्ति के ही नमूना है ई जोड़ा जा रहा है और घटाया, एक्स ' 1 और एक्स ' 2 कॉलम का सही भविष्यवक्ताओं हो जाएगा , भले ही हर एक के साथ सिर्फ एक छोटे से सह-संबंध है$E$$X'_1$$X'_2$$E$$X_1$$X'_1$$X_2$$X'_2$$E$$X'_1$$X'_2$$Y$ व्यक्तिगत रूप से$Y$