लॉजिस्टिक रिग्रेशन: बर्नौली बनाम बिनोमियल रिस्पॉन्स वेरिएबल्स

मैं निम्नलिखित द्विपद प्रतिक्रिया के साथ और मेरे भविष्यवक्ताओं के रूप में और साथ लॉजिस्टिक प्रतिगमन करना चाहता हूं। $X_1$ $X_2$

यहाँ छवि विवरण दर्ज करें

मैं निम्नलिखित प्रारूप में बर्नौली प्रतिक्रियाओं के समान डेटा प्रस्तुत कर सकता हूं।

यहाँ छवि विवरण दर्ज करें

इन 2 डेटा सेट के लिए लॉजिस्टिक रिग्रेशन आउटपुट ज्यादातर समान हैं। अवशिष्ट अवशिष्ट और AIC भिन्न हैं। (अशक्त विचलन और अवशिष्ट विचलन के बीच अंतर दोनों मामलों में समान है - 0.228।)

आर। से रिग्रेशन आउटपुट हैं। डेटा सेट को बिनोमेटा और बर्नटेटा कहा जाता है।

यहाँ द्विपद आउटपुट है।

Call:
glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, 
    family = binomial, data = binom.data)

Deviance Residuals: 
[1]  0  0  0

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance:  2.2846e-01  on 2  degrees of freedom
Residual deviance: -4.9328e-32  on 0  degrees of freedom
AIC: 11.473

Number of Fisher Scoring iterations: 4

यहाँ बर्नौली आउटपुट है।

Call:
glm(formula = Success ~ X1 + X2, family = binomial, data = bern.data)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.6651  -1.3537   0.7585   0.9281   1.0108  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 15.276  on 11  degrees of freedom
Residual deviance: 15.048  on  9  degrees of freedom
AIC: 21.048

Number of Fisher Scoring iterations: 4

मेरे सवाल:

1) मैं देख सकता हूं कि 2 दृष्टिकोणों के बीच बिंदु अनुमान और मानक त्रुटियां इस विशेष मामले में बराबर हैं। क्या यह समानता सामान्य रूप से सही है?

2) प्रश्न # 1 का उत्तर गणितीय रूप से कैसे उचित हो सकता है?

3) अवशिष्ट अवशिष्ट और AIC भिन्न क्यों हैं?

— एक वैज्ञानिक
स्रोत

जवाबों:

1) हाँ। आप एक ही सहसंयोजक के साथ व्यक्तियों से द्विपदीय डेटा एकत्र कर सकते हैं? यह इस तथ्य से आता है कि एक द्विपद मॉडल के लिए पर्याप्त आंकड़ा प्रत्येक कोवरिएट वेक्टर के लिए घटनाओं की कुल संख्या है; और बर्नौली द्विपद का एक विशेष मामला है। सहज रूप से, प्रत्येक बर्नौली परीक्षण जो एक द्विपद परिणाम बनाता है, स्वतंत्र है, इसलिए इन्हें एकल परिणाम के रूप में या अलग-अलग परीक्षणों के रूप में गिनने के बीच अंतर नहीं होना चाहिए।

2) मान लें कि हमारे पास अनोखा वैक्टर है जिनमें से प्रत्येक का परीक्षणों पर द्विपद परिणाम है , अर्थात आपने लॉजिस्टिक प्रतिगमन निर्दिष्ट किया है मॉडल, इसलिए हालांकि हम बाद में देखेंगे कि यह महत्वपूर्ण नहीं है। $n$ $x_1, x_2, \ldots, x_n$ $N_i$

Y_{मैं} ~ बी मैं n ({एन}_{मैं}, {पी}_{मैं})

$Y_i \sim \mathrm{Bin}(N_i, p_i)$

l o g i t (p_{i}) = \sum_{k = 1}^{K} β_{k} x_{i k}

$\mathrm{logit}(p_i) = \sum_{k=1}^K \beta_k x_{ik}$

इस मॉडल के लिए लॉग- और हम अपने पैरामीटर अनुमान प्राप्त करने के लिए इसे ( शब्दों में) के संबंध में अधिकतम करते हैं।

ℓ (β; Y) = \sum_{i = 1}^{n} \log (\binom{N_{i}}{Y_{i}}) + Y_{i} \log (p_{i}) + (N_{i} - Y_{i}) \log (1 - p_{i})

$\ell(\beta; Y) = \sum_{i=1}^n \log {N_i \choose Y_i} + Y_i \log(p_i) + (N_i - Y_i) \log(1-p_i)$

β

$\beta$

p_{i}

$p_i$

अब, विचार करें कि प्रत्येक , हम व्यक्तिगत बर्नौली / बाइनरी परिणामों में द्विपद परिणाम को विभाजित करते हैं, जैसा आपने किया है। विशेष रूप से, , जो कि पहले 1s हैं और शेष 0s हैं। यह वही है जो आपने किया था - लेकिन आप समान रूप से पहला 0s के रूप में और बाकी 1s, या किसी अन्य ऑर्डरिंग के रूप में कर सकते हैं, है ना? $i = 1, \ldots, n$ $N_i$

Z_{i 1}, \dots, Z_{i Y_{i}} = 1

$Z_{i1}, \ldots, Z_{iY_i} = 1$

Z_{i (Y_{i} + 1)}, \dots, Z_{i N_{i}} = 0

$Z_{i(Y_i+1)}, \ldots, Z_{iN_i} = 0$

Y_{i}

$Y_i$

(N_{i} - Y_{i})

$(N_i - Y_i)$

आपकी दूसरी मॉडल का कहना है कि के लिए एक ही प्रतिगमन मॉडल के साथ ऊपर के रूप में। इस मॉडल के लिए लॉग- और जिस तरह से हमने अपने s को परिभाषित किया है , इस कारण इसे को सरल बनाया जा सकता है जो बहुत परिचित दिखना चाहिए।

{जेड}_{मैं j} ~ बी ई आर n ओ यू एल एल मैं ({पी}_{मैं})

$Z_{ij} \sim \mathrm{Bernoulli}(p_i)$

p_{i}

$p_i$

ℓ (β; जेड) = Σ_{मैं = 1}^{n} Σ_{j = 1}^{{एन}_{मैं}} {जेड}_{मैं j} लॉग ({पी}_{मैं}) + (1 - {जेड}_{मैं j}) लॉग (1 - {पी}_{मैं})

$\ell(\beta; Z) = \sum_{i=1}^n \sum_{j=1}^{N_i} Z_{ij}\log(p_i) + (1-Z_{ij})\log(1-p_i)$

Z_{i j}

$Z_{ij}$

ℓ (β; Y) = Σ_{मैं = 1}^{n} Y_{मैं} लॉग ({पी}_{मैं}) + ({एन}_{मैं} - Y_{मैं}) लॉग (1 - {पी}_{मैं})

$\ell(\beta; Y) = \sum_{i=1}^n Y_i \log(p_i) + (N_i - Y_i)\log(1-p_i)$

दूसरे मॉडल में अनुमान प्राप्त करने के लिए, हम इसे संबंध में अधिकतम करते हैं । इसके और पहले लॉग- बीच एकमात्र अंतर , जो कि संबंध में निरंतर है , और इसलिए यह अधिकतमकरण को प्रभावित नहीं करता है और हम एक ही अनुमान प्राप्त करेंगे। $\beta$ $\log {N_i \choose Y_i}$ $\beta$

3) प्रत्येक अवलोकन में एक अवशिष्ट अवशिष्ट है। द्विपद मॉडल में, वे जहाँ आपके मॉडल से अनुमानित संभावना है। ध्यान रखें कि आपके द्विपद मॉडल (स्वतंत्रता की 0 अवशिष्ट डिग्री) संतृप्त है और सही फिट हैं: सभी टिप्पणियों के लिए है, तो सभी के लिए ।

{डी}_{मैं} = 2 [Y_{मैं} लॉग (\frac{Y_{मैं} / {एन}_{मैं}}{{\hat{पी}}_{मैं}}) + ({एन}_{मैं} - Y_{मैं}) लॉग (\frac{1 - Y_{मैं} / {एन}_{मैं}}{1 - {\hat{पी}}_{मैं}})]

$D_i = 2\left[Y_i \log \left( \frac{Y_i/N_i}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1-Y_i/N_i}{1-\hat{p}_i} \right)\right]$

{\hat{p}}_{i}

$\hat{p}_i$

{\hat{p}}_{i} = Y_{i} / N_{i}

$\hat{p}_i = Y_i/N_i$

D_{i} = 0

$D_i = 0$

i

$i$

बर्नौली मॉडल में, इसके अलावा इस तथ्य के अलावा कि अब आपके पास अवशिष्ट अवशिष्ट ( द्विपद डेटा के साथ बजाय ), ये प्रत्येक या इस बात पर निर्भर करता है कि या , और स्पष्ट रूप से उपरोक्त के समान नहीं है। यहां तक कि अगर आप इन पर योग प्रत्येक के लिए विचलन बच की राशि प्राप्त करने के लिए , आप एक ही नहीं मिलता है:

{डी}_{मैं j} = 2 [{जेड}_{मैं j} लॉग (\frac{{जेड}_{मैं j}}{{\hat{पी}}_{मैं}}) + (1 - {जेड}_{मैं j}) लॉग (\frac{1 - {जेड}_{मैं j}}{1 - {\hat{पी}}_{मैं}})]

$D_{ij} = 2\left[Z_{ij} \log \left( \frac{Z_{ij}}{\hat{p}_i} \right) + (1-Z_{ij}) \log \left(\frac{1-Z_{ij}}{1-\hat{p}_i} \right)\right]$

\sum_{i = 1}^{n} N_{i}

$\sum_{i=1}^n N_i$

n

$n$

{डी}_{मैं j} = - 2 लॉग ({\hat{पी}}_{मैं})

$D_{ij} = -2\log(\hat{p}_i)$

{डी}_{मैं j} = - 2 लॉग (1 - {\hat{पी}}_{मैं})

$D_{ij} = -2\log(1-\hat{p}_i)$

Z_{i j} = 1

$Z_{ij} = 1$

0

$0$

j

$j$

i

$i$

{डी}_{मैं} = Σ_{j = 1}^{{एन}_{मैं}} {डी}_{मैं j} = 2 [Y_{मैं} लॉग (\frac{1}{{\hat{पी}}_{मैं}}) + ({एन}_{मैं} - Y_{मैं}) लॉग (\frac{1}{1 - {\hat{पी}}_{मैं}})]

$D_i = \sum_{j=1}^{N_i} D_{ij} = 2\left[Y_i \log \left( \frac{1}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1}{1-\hat{p}_i} \right)\right]$

तथ्य यह है कि एआईसी अलग है (लेकिन भक्ति में परिवर्तन नहीं है) लगातार उस शब्द पर वापस आता है जो दो मॉडलों के लॉग-लिबिलिटीज के बीच अंतर था। विचलन की गणना करते समय, इसे रद्द कर दिया जाता है क्योंकि यह एक ही डेटा के आधार पर सभी मॉडलों में समान होता है। AIC के रूप में परिभाषित किया गया है और कहा कि मिश्रित अवधि के बीच अंतर है रों:

ए मैं सी = 2 कश्मीर - 2 ℓ

$AIC = 2K - 2\ell$

ℓ

$\ell$

ए मैं {सी}_{बी ई आर n ओ यू एल एल मैं} - ए मैं {सी}_{बी मैं n ओ मीटर मैं ए एल} = 2 Σ_{मैं = 1}^{n} लॉग (\binom{{एन}_{मैं}}{Y_{मैं}}) = 9.575

$AIC_{\mathrm{Bernoulli}} - AIC_{\mathrm{Binomial}} = 2\sum_{i=1}^n \log {N_i \choose Y_i} = 9.575$

— निशान
स्रोत

आपके बहुत विस्तृत उत्तर के लिए धन्यवाद, निशान! मेरी प्रतिक्रिया में देरी के लिए खेद है - मैं छुट्टी पर था। 3) यह देखते हुए कि 2 मॉडल अवशिष्ट अवशिष्ट और एआईसी के लिए अलग-अलग परिणाम देते हैं, कौन सा सही या बेहतर है? a) जैसा कि मैं समझता हूं, दो से अधिक अवशिष्ट में अवशिष्ट के साथ अवलोकन फिट की कमी का संकेत हो सकता है, इसलिए अवशिष्ट अवशिष्ट पदार्थ के पूर्ण मूल्य। बी) चूंकि एआईसी का उपयोग विभिन्न मॉडलों के बीच फिट की तुलना करने के लिए किया जाता है, शायद कोई "सही" एआईसी नहीं है। मैं सिर्फ 2 द्विपद मॉडल या 2 बर्नौली मॉडल के एआईसी की तुलना करूंगा।

— एक वैज्ञानिक

क) बाइनरी डेटा के लिए, हो जाएगा> 2 या तो (यदि और ) या ( और )। इसलिए यहां तक कि अगर आपका मॉडल th covariate वेक्टर (यानी , कहते हैं) के लिए पूरी तरह से द्विपदीय डेटा फिट बैठता है , तो S: कि आप मनमाने ढंग से आवंटित किए जा रहे हैं 1 में । इस कारण से, मुझे लगता है कि अवशिष्ट अवशिष्ट द्विपद डेटा के साथ अधिक समझ में आता है। इसके अलावा, द्विआधारी डेटा के लिए खुद को समर्पित इसके सामान्य गुण नहीं है ...

D_{i j}

$D_{ij}$

Z_{i j} = 1

$Z_{ij} = 1$

{\hat{p}}_{i} < e^{- 1} = 0.368

$\hat{p}_i < e^{-1} = 0.368$

Z_{i j} = 0

$Z_{ij} = 0$

{\hat{p}}_{i} > 1 - e^{- 1} = 0.632

$\hat{p}_i > 1 - e^{-1} = 0.632$

i

$i$

Y_{i} / N_{i} = {\hat{p}}_{i} < 0.368

$Y_i / N_i = \hat{p}_i < 0.368$

Y_{i}

$Y_i$

Z_{i j}

$Z_{ij}$

D_{i j} > 2

$D_{ij} > 2$

— मार्क

... उस आखिरी विवरण के बारे में अधिक जानकारी के लिए लिंक

— मार्क

b) हाँ, तुलना मॉडलों के बीच केवल तभी की जाती है जब प्रत्येक मॉडल को फिट करने के लिए उपयोग किया जाने वाला डेटा बिल्कुल समान हो। तो बर्नौली के साथ बर्नौली की तुलना करें या द्विपद के साथ द्विपद की।

A I C

$AIC$

— मार्क

धन्यवाद, निशान! आपके विचारशील और विस्तृत उत्तरों की बहुत सराहना की जाती है!

— एक वैज्ञानिक

मैं केवल अंतिम पैराग्राफ पर टिप्पणी करना चाहता हूं, “यह तथ्य कि एआईसी अलग है (लेकिन बदलाव में बदलाव नहीं है) लगातार शब्द पर वापस आता है जो दो मॉडलों के लॉग-लाइबिलिटीज के बीच अंतर था। भक्ति में परिवर्तन की गणना करते समय, इसे रद्द कर दिया जाता है क्योंकि यह एक ही डेटा के आधार पर सभी मॉडलों में समान होता है। "दुर्भाग्य से, यह विचलन में परिवर्तन के लिए सही नहीं है। विचलन में निरंतर शब्द शामिल नहीं है (अतिरिक्त स्थिर) द्विपद डेटा के लिए लॉग-लाइबिलिटी में पद)। इसलिए, अवतरण में परिवर्तन निरंतर शब्द EX से कोई लेना-देना नहीं है। विचलन किसी दिए गए मॉडल की तुलना पूर्ण मॉडल से करता है। तथ्य यह है कि विचलन बर्नोली / बाइनरी से अलग हैं। और द्विपदीय मॉडलिंग लेकिन परिवर्तन में बदलाव पूर्ण मॉडल लॉग-लाइबिलिटी मूल्यों में अंतर के कारण नहीं है। इन मूल्यों को अवमूल्यन परिवर्तनों की गणना करने में रद्द कर दिया गया है। इसलिए, बर्नौली और द्विपद लॉजिस्टिक रिग्रेशन मॉडल एक समान अवमूल्यन परिवर्तन पैदा करते हैं, बशर्ते कि अनुमानित संभावनाएं पीज और पाई समान हों। वास्तव में, यह प्रोबिट और अन्य लिंक फ़ंक्शन के लिए सही है।

बता दें कि lBm और lBf फिटिंग मॉडल m और पूर्ण मॉडल f से बर्नौली डेटा तक लॉग-लाइबिलिटी वैल्यू को दर्शाते हैं। तबाही तो है

    DB=2(lBf - lBm)=-2(lBm – lBf).

यद्यपि द्विआधारी डेटा के लिए एलबीएफ शून्य है, हमने डीबी को सरल नहीं किया है और इसे वैसे ही रखा है। एक ही सहसंयोजक के साथ द्विपद मॉडलिंग से विचलन है

    Db=2(lbf+Ex – (lbm+Ex))=2(lbf – lbm) = -2(lbm – lbf)

जहाँ lbf + Ex और lbm + Ex द्विपदीय डेटा से सज्जित पूर्ण और m मॉडल द्वारा लॉग-लाइबिलिटी मान हैं। अतिरिक्त निरंतर पद (Ex) को Db के दाहिने हाथ की तरफ से गायब कर दिया जाता है। अब मॉडल 1 से मॉडल 2 के बदलावों को देखें। बर्नौली मॉडलिंग से, हम में बदलाव आया है

    DBC=DB2-DB1=2(lBf – lBm2)-2(lBf – lBm1) =2(lBm1 – lBm2).

इसी तरह, द्विपद फिटिंग से विचलन में परिवर्तन है

    DbC=DB2-DB1=2(lbf – lbm2)-2(lbf – lbm1) =2(lbm1 – lbm2).

यह तुरंत इस प्रकार है कि अवतरण परिवर्तन पूर्ण मॉडल, एलबीएफ और एलबीएफ से लॉग-लाइबिलिटी योगदान से मुक्त हैं। इसलिए, हमें डीबीबीसी = डीबीसी में समान बदलाव मिलेगा, अगर एलबीएम 1 = एलबीएम 1 और एलबीएम 2 = एलबीएम 2। हम जानते हैं कि यहाँ ऐसा ही होता है और यही कारण है कि हमें बर्नौली और द्विपदीय मॉडलिंग से समान बदलाव मिल रहा है। एलबीएफ और एलबीएफ के बीच का अंतर अलग-अलग विचलन की ओर जाता है।

— सेई
स्रोत

क्या यह संभवतः आपके लिए अपने उत्तर के प्रारूपण को संपादित करने के लिए होगा? दुर्भाग्य से इस रूप में यह बहुत पठनीय नहीं है। मैं आपको पैराग्राफ में पाठ को ब्रेक करने और सूत्रों में स्वरूपण जोड़ने के लिए प्रोत्साहित करूंगा । यह हमेशा स्पष्ट नहीं होता है कि आपके द्वारा उपयोग किए जाने वाले संक्षिप्ताक्षर क्या हैं।

T E X

$\TeX$

— टिम

बहुत धन्यवाद, टिम। मैं TEX स्वरूपण से परिचित नहीं हूं। मैंने मूल रूप से वर्ड में टाइप किया है, लेकिन मैं कॉपी और पेस्ट करने में असमर्थ था। मैंने पाठ से समीकरणों को अलग कर दिया है।

— सई

मुझे यकीन नहीं है कि अगर आप उस पैराग्राफ को गलत समझते हैं: मैंने कहा कि "एआईसी अलग है ( लेकिन विचलन में बदलाव नहीं है )", और पैराग्राफ के शेष बताते हैं कि एआईसी दो मॉडलों के बीच अलग क्यों है। मैंने यह दावा नहीं किया कि निरंतर अवधि के आधार पर भक्ति में परिवर्तन हुआ। वास्तव में, मैंने कहा " जब भक्ति में परिवर्तन की गणना करते हैं, तो यह [निरंतर कार्यकाल] रद्द कर दिया जाता है क्योंकि यह एक ही डेटा के आधार पर सभी मॉडलों में समान है "

— मार्क

समस्या यह है कि पाठ में केवल एक "निरंतर शब्द" है और यह संयोजन शब्द (द्विपद गुणांक) है। जब आप कहते हैं कि "यह" रद्द कर दिया गया है, तो इसका मतलब है कि निरंतर अवधि को अवमूल्यन में शामिल किया गया है। बर्नौली और द्विपद मॉडल के विचलन के बीच का अंतर पूर्ण मॉडल से लॉग-लाइबिलिटी मान lbf से योगदान है। एक ही डेटा पर अलग-अलग द्विपद मॉडल द्वारा lbf भिन्न नहीं होता है और इसे भटकाव में परिवर्तन की गणना करते समय रद्द कर दिया जाता है।

— सेई

आह ठीक है मैं देख रहा हूं कि आपका क्या मतलब है। मैंने अपने जवाब को तदनुसार संपादित किया है, जो कि भटकाव में बदलाव के संदर्भ में है क्योंकि पूछने वाले ने विशेष रूप से इसका उल्लेख किया है। भक्ति में परिवर्तन एक ही है क्योंकि भटकाव निरंतर अवधि पर निर्भर नहीं करता है।

— मार्क