इस बहुपद प्रतिगमन में बायेसियन विश्वसनीय अंतराल पक्षपाती क्यों है जबकि विश्वास अंतराल सही है?

नीचे दिए गए कथानक पर विचार करें जिसमें मैंने निम्नानुसार डेटा का अनुकरण किया है। हम एक द्विआधारी परिणाम को देखते हैं जिसके लिए 1 होने की सच्ची संभावना काली रेखा से संकेतित होती है। एक covariate और के बीच कार्यात्मक संबंध लॉजिस्टिक लिंक के साथ तीसरा क्रम बहुपद है (इसलिए यह दोहरे तरीके से गैर-रैखिक है)। $y_{obs}$ $x$ $p(y_{obs}=1 | x)$

ग्रीन लाइन GLM लॉजिस्टिक रिग्रेशन फिट है जहां को 3 क्रम बहुपद के रूप में पेश किया जाता है। धराशायी हरी रेखाएँ भविष्यवाणी चारों ओर 95% विश्वास अंतराल हैं , जहां फिट किए गए प्रतिगमन गुणांकों को । मैंने इस्तेमाल किया और इसके लिए। $x$ $p(y_{obs}=1 | x, \hat{\beta})$ $\hat{\beta}$ R glmpredict.glm

इसी तरह, प्रुपल लाइन एक समान पूर्व का उपयोग करके बायेसियन लॉजिस्टिक रिग्रेशन मॉडल के के लिए 95% विश्वसनीय अंतराल के साथ पीछे का मतलब है । मैंने इसके लिए फ़ंक्शन के साथ पैकेज का उपयोग किया (सेटिंग पहले यूनिफ़ॉर्मेटिव पूर्व देता है)। $p(y_{obs}=1 | x, \beta)$ MCMCpackMCMClogitB0=0

लाल डॉट्स डेटा सेट में टिप्पणियों को दर्शाते हैं जिसके लिए , काले डॉट्स अवलोकन साथ टिप्पणियों हैं । ध्यान दें कि वर्गीकरण / असतत विश्लेषण में सामान्य है लेकिन है। $y_{obs}=1$ $y_{obs}=0$ $y$ $p(y_{obs}=1 | x)$

कई चीजें देखी जा सकती हैं:

मैंने इस उद्देश्य से अनुकरण किया कि बाएं हाथ पर विरल है। मैं चाहता हूं कि जानकारी की कमी (टिप्पणियों) के कारण आत्मविश्वास और विश्वसनीय अंतराल यहां व्यापक हो। $x$
दोनों भविष्यवाणियाँ बाईं ओर ऊपर से पक्षपाती हैं। यह पूर्वाग्रह चार लाल बिंदुओं के कारण होता है जो अवलोकनों को दर्शाता है , जो गलत तरीके से यह बताता है कि असली कार्यात्मक रूप यहां ऊपर जाएगा। एल्गोरिथ्म में अपर्याप्त कार्यात्मक जानकारी है जो यह बताती है कि वास्तविक कार्यात्मक रूप नीचे की ओर झुका हुआ है। $y_{obs}=1$
विश्वास अंतराल अपेक्षा के अनुरूप व्यापक हो जाता है, जबकि विश्वसनीय अंतराल नहीं होता है । वास्तव में विश्वास अंतराल पूर्ण पैरामीटर स्थान को संलग्न करता है, क्योंकि यह जानकारी की कमी के कारण होना चाहिए।

ऐसा लगता है कि एक हिस्से के लिए विश्वसनीय अंतराल गलत है / बहुत आशावादी है । यह विश्वसनीय अंतराल के लिए वास्तव में अवांछनीय व्यवहार है जब जानकारी विरल हो जाती है या पूरी तरह अनुपस्थित होती है। आमतौर पर यह नहीं है कि एक विश्वसनीय अंतराल कैसे प्रतिक्रिया करता है। क्या कोई समझा सकता है: $x$

इसके क्या कारण हैं?
बेहतर विश्वसनीय अंतराल पर आने के लिए मैं क्या कदम उठा सकता हूं? (यह वह है, जो कम से कम सही कार्यात्मक रूप को संलग्न करता है, या आत्मविश्वास अंतराल जितना बेहतर होता है)

ग्राफ़िक में पूर्वानुमान अंतराल प्राप्त करने के लिए कोड यहाँ मुद्रित किया गया है:

fit <- glm(y_obs ~ x + I(x^2) + I(x^3), data=data, family=binomial)
x_pred <- seq(0, 1, by=0.01)
pred <- predict(fit, newdata = data.frame(x=x_pred), se.fit = T)
plot(plogis(pred$fit), type='l')
matlines(plogis(pred$fit + pred$se.fit %o% c(-1.96,1.96)), type='l', col='black', lty=2)


library(MCMCpack)
mcmcfit <- MCMClogit(y_obs ~ x + I(x^2) + I(x^3), data=data, family=binomial)
gibbs_samps <- as.mcmc(mcmcfit)
x_pred_dm <- model.matrix(~ x + I(x^2) + I(x^3), data=data.frame('x'=x_pred))
gibbs_preds <- apply(gibbs_samps, 1, `%*%`, t(x_pred_dm))
gibbs_pis <- plogis(apply(gibbs_preds, 1, quantile, c(0.025, 0.975)))
matlines(t(gibbs_pis), col='red', lty=2)

डेटा एक्सेस : https://pastebin.com/1H2iXiew @DeltaIV और @AdamO धन्यवाद

— Tomka
स्रोत

अगर कोई मुझे समझा सकता है कि डेटा के साथ तालिका कैसे साझा की जाए, तो मैं ऐसा कर सकता हूं।

— टॉमका

आप dputडेटाफ़्रेम युक्त डेटा पर उपयोग कर सकते हैं , और फिर dputआउटपुट को अपनी पोस्ट में कोड के रूप में शामिल कर सकते हैं।

— डेल्टावि सिप

@tomka ओह मैं देख रहा हूँ। मैं colorblind नहीं हूँ, लेकिन हरे / नीले अंतर को देखना मेरे लिए बहुत मुश्किल है!

— एडम 14

@ अदमो को उम्मीद है कि यह बेहतर है

— टमका

@Flounderer जैसे चेक stats.stackexchange.com/questions/26450/... या stats.stackexchange.com/questions/6652/...

— टिम

एक लगातार मॉडल के लिए, भविष्यवाणी का प्रसरण सेंटीमीटर से दूरी के वर्ग के अनुपात में बढ़ जाता है $X$ । बायेसियन जीएलएम के लिए पूर्वानुमान अंतराल की गणना करने की आपकी विधि फिटेड प्रायिकता वक्र के आधार पर अनुभवजन्य मात्रात्मक का उपयोग करती है, लेकिन इसका कोई हिसाब नहीं है $X$ उत्तोलन है।

एक द्विपद लगातार जीएलएम पहचान लिंक के साथ जीएलएम से अलग नहीं है सिवाय इसके कि विचरण माध्य के लिए आनुपातिक है।

ध्यान दें कि लॉगिट संभावनाओं के किसी भी बहुपद निरूपण से जोखिम की भविष्यवाणियां होती हैं जो 0 के रूप में परिवर्तित होती हैं $X\rightarrow -\infty$ और 1 के रूप में $X\rightarrow \infty$ या इसके विपरीत, उच्चतम बहुपद क्रम के संकेत पर निर्भर करता है ।

बार-बार होने वाली भविष्यवाणी के लिए, पूर्वानुमानों के विचरण में वर्गीय विचलन (उत्तोलन) आनुपातिक वृद्धि इस प्रवृत्ति पर हावी है। यही कारण है कि भविष्यवाणी अंतरालों के अभिसरण की दर [0, 1] के बराबर होती है, तीसरे क्रम बहुपद लॉगिट कनवर्जेन्स की तुलना में 0 या 1 एकल की संभावनाओं की तुलना में तेज होती है।

बायेसियन के बाद वाले फिटेड मात्राओं के लिए ऐसा नहीं है। चुकता विचलन का कोई स्पष्ट उपयोग नहीं है, इसलिए हम दीर्घकालिक वर्चस्व वाले अंतराल के निर्माण के लिए केवल 0 या 1 प्रवृत्ति के वर्चस्व के अनुपात पर भरोसा करते हैं।

यह बहुत दूर एक्सट्रपलेशन करके स्पष्ट किया जाता है $X$ ।

हमारे द्वारा ऊपर दिए गए कोड का उपयोग करना:

> x_pred_dom <- model.matrix(~ x + I(x^2) + I(x^3), data=data.frame('x'=c(1000)))
> gibbs_preds <- plogis(apply(gibbs_samps[1000:10000, ], 1, `%*%`, t(x_pred_dom))) # a bunch of 0/1s basically past machine precision
> prop.table(table(gibbs_preds))
gibbs_preds
         0          1 
0.97733585 0.02266415 
>

तो 97.75% समय, तीसरा बहुपद शब्द नकारात्मक था। यह गिब्स के नमूनों से सत्यापित है:

> prop.table(table(gibbs_samps[, 4]< 0))

 FALSE   TRUE 
0.0225 0.9775

इसलिए अनुमानित संभावना 0 के रूप में परिवर्तित होती है $X$ अनंत को जाता है। अगर हम बायेसियन मॉडल के एसई का निरीक्षण करते हैं, तो हम पाते हैं कि तीसरे बहुपद शब्द का अनुमान है -185.25 se 108.81 के साथ जिसका अर्थ है कि यह 0 से 1.70 एसडी है, इसलिए सामान्य संभावना कानूनों का उपयोग करते हुए, यह 0 95.5% से कम होना चाहिए ( 10,000 पुनरावृत्तियों पर आधारित बहुत भिन्न भविष्यवाणी नहीं)। इस घटना को समझने का बस एक और तरीका है।

दूसरी ओर, अक्सर फिट रहने वाले को उम्मीद के मुताबिक 0,1 तक का नुकसान होता है:

freq <- predict(fit, newdata = data.frame(x=1000), se.fit=T)
plogis(freq$fit + c(-1.96, 1.96) %o% freq$se.fit)

देता है:

> plogis(freq$fit + c(-1.96, 1.96) %o% freq$se.fit)
     [,1]
[1,]    0
[2,]    1

— Adamo
स्रोत

फिर भी: डेटा के क्षेत्रों में बायेसियन मॉडल अति-आत्मविश्वास नहीं है

x

$x$ कि यह कोई उदाहरण नहीं देखा है? मुझे पता है कि बायेसियन पोस्टेरीयर्स या भविष्य कहनेवाला वितरण में अक्सर बहुत अलग व्यवहार होता है (यानी अंतर की तरह अधिक अंतराल)। मुझे संदेह है कि पूर्व का कुछ प्रभाव है। यदि आप में हेरफेर करते हैं B0, MCMClogitतो आप एक सामान्य से पहले की शुद्धता को निर्दिष्ट करते हैं और विश्वसनीय अंतराल पर काफी प्रभाव देख सकते हैं।

— तोकपा

@tomka मुझे पता नहीं है कि इसका उत्तर कैसे दिया जाए, क्योंकि यह प्रश्न के अनुकूल है। सबसे महत्वपूर्ण बात यह इंगित कर रही है कि पीआई की गणना करने के ये तरीके वास्तव में तुलनीय नहीं हैं, खासकर जब वे एक्सट्रपलेशन से संबंधित होते हैं। बेशक, बायेसियन इंट्रेंस के साथ, यदि आप एक सूचनात्मक पूर्व का उपयोग करते हैं, तो आप दक्षता प्राप्त करते हैं जब पूर्व सही होता है, और पहले गलत होने पर हार जाता है।

— एडमो

बस आपको यह बताने के लिए कि मैं अभी भी आपके उत्तर के बारे में सोच रहा हूं। मुझे अभी भी लगता है कि यह विचित्र है कि पीछे वाला चौड़ा होकर विरलता पर प्रतिक्रिया नहीं करता है। मेरा मानना है कि अन्य पुजारियों के लिए विरल क्षेत्र में बेहतर व्यवहार हासिल किया जा सकता है। मैं इस समय बिल्कुल नीचे पिन नहीं कर सकता; मैं शायद एक उदाहरण के साथ प्रश्न को बढ़ाऊंगा जहां विश्वसनीय अंतराल उस तरीके से काम करता है, जिसकी मैं अपेक्षा करता हूं, यहां तक कि एक्सट्रपलेशन के मामले में भी (मैं विशेष रूप से सामान्य रैखिक बायेसियन प्रतिगमन के बारे में सोच रहा हूं)। जब मैं करूंगा तो आपको बता दूंगा।

— टॉमका