लॉजिस्टिक रिग्रेशन बनाम ऑग्मेंटेड वैरिएबल पूर्वाग्रह बनाम साधारण से कम वर्ग के प्रतिगमन में वैरिएबल वैरिएबल बायस

मेरे पास लॉजिस्टिक और लीनियर रिग्रेशन में छोड़े गए वैरिएबल पूर्वाग्रह के बारे में एक सवाल है।

कहो कि मैं एक रैखिक प्रतिगमन मॉडल से कुछ चर को छोड़ देता हूं। यह बताएं कि जो छोड़े गए चर मेरे मॉडल में शामिल चर के साथ असंबंधित हैं। उन छोड़े गए चर मेरे मॉडल में गुणांक को पक्षपात नहीं करते हैं।

लेकिन लॉजिस्टिक रिग्रेशन में, मैंने अभी सीखा कि यह सच नहीं है। छोड़े गए चरों में शामिल चर पर गुणांक होगा, भले ही छोड़े गए चर शामिल चर के साथ असंबंधित हों। मुझे इस विषय पर एक पेपर मिला, लेकिन मैं इसके प्रमुख या पूंछ नहीं बना सकता।

यहां कागज और कुछ पावरपॉइंट स्लाइड हैं।

पूर्वाग्रह, जाहिरा तौर पर, हमेशा शून्य की ओर है। क्या कोई समझा सकता है कि यह कैसे काम करता है?

— ConfusedEconometricsUndergrad
स्रोत

क्या आप इस बात से परिचित हैं कि लॉजिस्टिक रिग्रेशन मॉडल एक अंतर्निहित "अव्यक्त-चर" रैखिक प्रतिगमन मॉडल से कैसे निकलता है?

— एलेकोस पापाडोपोलोस

@AlecosPapadopoulos I एक नहीं है। पकवान क्या है?

— एलेक्सिस

ऐसे अन्य लेख हैं जो इस पर चर्चा करते हैं, लेकिन आप जिस से जुड़े हैं वह सबसे आसान है जो मुझे पता है। इसलिए मुझे नहीं लगता कि मैं इस पर सुधार कर सकता हूं।

— मार्टन Buis

प्रिय श्री पापड़ोपोलोस: मैंने अव्यक्त-चर विचार पर पढ़ा है। तुमने क्यों पूछा?

— कन्फ्यूज्ड

@ एलेक्सिस इस पोस्ट को देखें। इस पोस्ट, सांख्यिकी.स्टैकएक्सचेंज.com / questions / 80611 / … , और विकिपीडिया लेख, en.wikipedia.org/wiki/… । यह दृष्टिकोण यह भी स्पष्ट करता है कि यह वह अनुमान है जो हम अंतर्निहित मॉडल की त्रुटि अवधि पर करते हैं जो यह निर्धारित करता है कि हम संभाव्यता स्तर पर किस मॉडल को प्राप्त करेंगे। एक और उदाहरण के लिए, अगर हम मान लेते हैं कि अंतर्निहित त्रुटि एक समान प्रकार है, हम रैखिक संभावना मॉडल प्राप्त, देखते हैं, stats.stackexchange.com/questions/81789

— Alecos पापाडोपौलोस

"क्षीणन पूर्वाग्रह" के मामले को और अधिक स्पष्ट रूप से प्रस्तुत किया जा सकता है यदि हम "प्रोबेट" मॉडल की जांच करते हैं -लेकिन परिणाम तार्किक उपद्रव पर भी ले जाता है।

सशर्त संभाव्यता मॉडल (लॉजिस्टिक) (लॉगिट), "प्रोबिट", और "रैखिक संभाव्यता" मॉडल के नीचे) हम एक अव्यक्त (अप्रचलित) रैखिक प्रतिगमन मॉडल पोस्ट कर सकते हैं:

y^{*} = X β + u

$y^* = X\beta + u$

जहां एक सतत सर्वनाश चर रहा है (और regressor मैट्रिक्स है)। त्रुटि शब्द को रजिस्टरों से स्वतंत्र माना जाता है , और एक वितरण का पालन करने के लिए जिसमें शून्य के चारों ओर एक घनत्व सममित होता है , और हमारे मामले में, मानक सामान्य वितरण । $y^*$ $X$ $F_U(u)= \Phi(u)$

हम मानते हैं कि हम क्या निरीक्षण, यानी द्विआधारी चर , सर्वनाश का सूचक समारोह है : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

फिर हम पूछते हैं कि "क्या संभावना है कि मूल्य लेगा जो रजिस्टरों को दिया गया है?" (यानी हम एक सशर्त संभावना देख रहे हैं)। ये है $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

मानक संचयी वितरण फ़ंक्शन की "प्रतिबिंबित" संपत्ति के कारण अंतिम समानता, जो कि शून्य से घनत्व फ़ंक्शन की समरूपता से आती है। ध्यान दें कि हालांकि हम मान लिया है कि के स्वतंत्र है , पर कंडीशनिंग आदेश मात्रा के इलाज के लिए की जरूरत है के रूप में गैर यादृच्छिक। $u$ $X$ $X$ $X\beta$

यदि हम मान लेते हैं कि , तो हम सैद्धांतिक मॉडल प्राप्त करते हैं $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

अब को स्वतंत्र होने दें और गलत तरीके से अंतर्निहित प्रतिगमन के विनिर्देश से बाहर रखा जाए। तो हम निर्दिष्ट करते हैं $X_2$ $X_1$

आगे मान लें कि भी एक सामान्य यादृच्छिक चर रहा है । लेकिन इसका मतलब यह है कि

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

सामान्य वितरण (और स्वतंत्रता धारणा) के बंद होने के अलावा के कारण। पहले की तरह ही तर्क को लागू करना, यहाँ हमारे पास है

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

हमारे पास चर का मानकीकरण है $\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

और एक मॉडल और तुलना कर सकता है । $(1)$ $(2)$

$b_1$

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

जो "शून्य के प्रति पूर्वाग्रह" परिणाम है।

$\epsilon$

— एलेकोस पापाडोपोलोस
स्रोत