जब एक विश्वास अंतराल "समझ में आता है" लेकिन संबंधित विश्वसनीय अंतराल नहीं होता है?

यह अक्सर ऐसा होता है कि 95% कवरेज के साथ एक आत्मविश्वास अंतराल एक विश्वसनीय अंतराल के समान होता है जिसमें 95% घनत्व होता है। यह तब होता है जब पूर्ववर्ती वर्दी या निकटवर्ती वर्दी में होता है। इस प्रकार एक आत्मविश्वास अंतराल का उपयोग अक्सर एक विश्वसनीय अंतराल और इसके विपरीत करने के लिए किया जा सकता है। महत्वपूर्ण रूप से, हम इस बात से निष्कर्ष निकाल सकते हैं कि एक विश्वसनीय अंतराल के रूप में बहुत अधिक गलत व्याख्या गलत है क्योंकि कई साधारण उपयोग के मामलों के लिए कोई व्यावहारिक महत्व नहीं है।

ऐसे मामलों के कई उदाहरण हैं जहां ऐसा नहीं होता है, हालांकि वे सभी को साबित करने की कोशिश में बेयसियन सांख्यिकी के समर्थकों द्वारा चेरी के साथ प्रतीत होता है कि लगातार दृष्टिकोण के साथ कुछ गड़बड़ है। इन उदाहरणों में, हम देखते हैं कि विश्वास अंतराल में असंभव मूल्य शामिल हैं, आदि, जो यह दर्शाता है कि वे बकवास हैं।

मैं उन उदाहरणों, या बायेसियन बनाम फ़्रीक्वेंटिस्ट की एक दार्शनिक चर्चा पर वापस नहीं जाना चाहता।

मैं इसके विपरीत के उदाहरणों की तलाश में हूं। क्या ऐसे कोई मामले हैं जहां विश्वास और विश्वसनीय अंतराल काफी हद तक अलग हैं, और विश्वास प्रक्रिया द्वारा प्रदान किया गया अंतराल स्पष्ट रूप से बेहतर है?

स्पष्ट करने के लिए: यह उस स्थिति के बारे में है जब विश्वसनीय अंतराल आमतौर पर संबंधित आत्मविश्वास अंतराल के साथ मेल खाने की उम्मीद की जाती है, अर्थात फ्लैट, वर्दी, आदि पुजारियों का उपयोग करते समय। मुझे उस मामले में कोई दिलचस्पी नहीं है जहां कोई व्यक्ति पहले से मनमाने ढंग से बुरा चुनता है।

EDIT: @JaeHyeok शिन के जवाब के जवाब में, मुझे असहमत होना चाहिए कि उसका उदाहरण सही संभावना का उपयोग करता है। R में नीचे थीटा के लिए सही पश्च वितरण का अनुमान लगाने के लिए मैंने अनुमानित बायेसियन अभिकलन का उपयोग किया:

### Methods ###
# Packages
require(HDInterval)

# Define the likelihood
like <- function(k = 1.2, theta = 0, n_print = 1e5){
  x    = NULL
  rule = FALSE
  while(!rule){
    x     = c(x, rnorm(1, theta, 1))
    n     = length(x)
    x_bar = mean(x)

    rule = sqrt(n)*abs(x_bar) > k

    if(n %% n_print == 0){ print(c(n, sqrt(n)*abs(x_bar))) }
  }
  return(x)
}

# Plot results
plot_res <- function(chain, i){
    par(mfrow = c(2, 1))
    plot(chain[1:i, 1], type = "l", ylab = "Theta", panel.first = grid())
    hist(chain[1:i, 1], breaks = 20, col = "Grey", main = "", xlab = "Theta")
}


### Generate target data ### 
set.seed(0123)
X = like(theta = 0)
m = mean(X)


### Get posterior estimate of theta via ABC ###
tol   = list(m = 1)
nBurn = 1e3
nStep = 1e4


# Initialize MCMC chain
chain           = as.data.frame(matrix(nrow = nStep, ncol = 2))
colnames(chain) = c("theta", "mean")
chain$theta[1]  = rnorm(1, 0, 10)

# Run ABC
for(i in 2:nStep){
  theta = rnorm(1, chain[i - 1, 1], 10)
  prop  = like(theta = theta)

  m_prop = mean(prop)


  if(abs(m_prop - m) < tol$m){
    chain[i,] = c(theta, m_prop)
  }else{
    chain[i, ] = chain[i - 1, ]
  }
  if(i %% 100 == 0){ 
    print(paste0(i, "/", nStep)) 
    plot_res(chain, i)
  }
}

# Remove burn-in
chain = chain[-(1:nBurn), ]

# Results
plot_res(chain, nrow(chain))
as.numeric(hdi(chain[, 1], credMass = 0.95))

यह 95% विश्वसनीय अंतराल है:

> as.numeric(hdi(chain[, 1], credMass = 0.95))
[1] -1.400304  1.527371

EDIT # 2:

यहाँ @JaeHyeok शिन की टिप्पणियों के बाद एक अद्यतन है। मैं इसे यथासंभव सरल रखने की कोशिश कर रहा हूं, लेकिन स्क्रिप्ट थोड़ी अधिक जटिल हो गई। मुख्य परिवर्तन:

अब माध्य के लिए 0.001 की सहिष्णुता का उपयोग करना (यह 1 था)
छोटी सहिष्णुता के लिए 500k तक कदमों की संख्या में वृद्धि
छोटे सहिष्णुता के लिए प्रस्ताव वितरण की एसडी को घटाकर 1 करने के लिए (यह 10 था)
तुलना के लिए n = 2k के साथ सरल rnorm संभावना जोड़ा गया
एक सारांश सांख्यिकीय के रूप में नमूना आकार (एन) जोड़ा गया, 0.5 * n_target के लिए सहिष्णुता सेट करें

यहाँ कोड है:

### Methods ###
# Packages
require(HDInterval)

# Define the likelihood
like <- function(k = 1.3, theta = 0, n_print = 1e5, n_max = Inf){
  x    = NULL
  rule = FALSE
  while(!rule){
    x     = c(x, rnorm(1, theta, 1))
    n     = length(x)
    x_bar = mean(x)
    rule  = sqrt(n)*abs(x_bar) > k
    if(!rule){
     rule = ifelse(n > n_max, TRUE, FALSE)
    }

    if(n %% n_print == 0){ print(c(n, sqrt(n)*abs(x_bar))) }
  }
  return(x)
}


# Define the likelihood 2
like2 <- function(theta = 0, n){
  x = rnorm(n, theta, 1)
  return(x)
}



# Plot results
plot_res <- function(chain, chain2, i, main = ""){
    par(mfrow = c(2, 2))
    plot(chain[1:i, 1],  type = "l", ylab = "Theta", main = "Chain 1", panel.first = grid())
    hist(chain[1:i, 1],  breaks = 20, col = "Grey", main = main, xlab = "Theta")
    plot(chain2[1:i, 1], type = "l", ylab = "Theta", main = "Chain 2", panel.first = grid())
    hist(chain2[1:i, 1], breaks = 20, col = "Grey", main = main, xlab = "Theta")
}


### Generate target data ### 
set.seed(01234)
X    = like(theta = 0, n_print = 1e5, n_max = 1e15)
m    = mean(X)
n    = length(X)
main = c(paste0("target mean = ", round(m, 3)), paste0("target n = ", n))



### Get posterior estimate of theta via ABC ###
tol   = list(m = .001, n = .5*n)
nBurn = 1e3
nStep = 5e5

# Initialize MCMC chain
chain           = chain2 = as.data.frame(matrix(nrow = nStep, ncol = 2))
colnames(chain) = colnames(chain2) = c("theta", "mean")
chain$theta[1]  = chain2$theta[1]  = rnorm(1, 0, 1)

# Run ABC
for(i in 2:nStep){
  # Chain 1
  theta1 = rnorm(1, chain[i - 1, 1], 1)
  prop   = like(theta = theta1, n_max = n*(1 + tol$n))
  m_prop = mean(prop)
  n_prop = length(prop)
  if(abs(m_prop - m) < tol$m &&
     abs(n_prop - n) < tol$n){
    chain[i,] = c(theta1, m_prop)
  }else{
    chain[i, ] = chain[i - 1, ]
  }

  # Chain 2
  theta2  = rnorm(1, chain2[i - 1, 1], 1)
  prop2   = like2(theta = theta2, n = 2000)
  m_prop2 = mean(prop2)
  if(abs(m_prop2 - m) < tol$m){
    chain2[i,] = c(theta2, m_prop2)
  }else{
    chain2[i, ] = chain2[i - 1, ]
  }

  if(i %% 1e3 == 0){ 
    print(paste0(i, "/", nStep)) 
    plot_res(chain, chain2, i, main = main)
  }
}

# Remove burn-in
nBurn  = max(which(is.na(chain$mean) | is.na(chain2$mean)))
chain  = chain[ -(1:nBurn), ]
chain2 = chain2[-(1:nBurn), ]


# Results
plot_res(chain, chain2, nrow(chain), main = main)
hdi1 = as.numeric(hdi(chain[, 1],  credMass = 0.95))
hdi2 = as.numeric(hdi(chain2[, 1], credMass = 0.95))


2*1.96/sqrt(2e3)
diff(hdi1)
diff(hdi2)

परिणाम, जहां hdi1 मेरी "संभावना" है और hdi2 सरल rnorm है (n, थीटा, 1:

> 2*1.96/sqrt(2e3)
[1] 0.08765386
> diff(hdi1)
[1] 1.087125
> diff(hdi2)
[1] 0.07499163

तो पर्याप्त रूप से सहिष्णुता को कम करने के बाद, और कई और एमसीएमसी चरणों की कीमत पर, हम rnorm मॉडल के लिए अपेक्षित CrI चौड़ाई देख सकते हैं।

— जर्द
स्रोत

डुप्लिकेट नहीं है, लेकिन उसके पास संबंध हैं। आंकड़े .stackexchange.com

— questions/

आम तौर पर, जब आपके पास एक सूचनात्मक पूर्व होता है जो काफी गलत होता है, एक अनौपचारिक अर्थ में, उदाहरण के लिए, सामान्य (0,1) जब वास्तविक मूल्य -3.6 होता है, तो बहुत सारे डेटा के अभाव में आपका विश्वसनीय अंतराल बहुत खराब होगा जब लगातार नजरिए से देखा।

— जूलमैन

@ जंबोमैन यह विशेष रूप से मामले के बारे में है जब एक समान पूर्व या एन (0, 1e6) जैसे कुछ का उपयोग करते हैं।

— नाराज

दशकों पहले, असली बायेसियन ने सांख्यिकीविद् को बुलाया, जो छद्म- (या नकली-) बायोसियन के रूप में गैर-जानकारीपूर्ण का उपयोग करते थे।

— user158565

@ user158565 यह अपमानजनक है, लेकिन एक वर्दी पहले सिर्फ एक सन्निकटन है। यदि p (H_0) = p (H_1) = p (H_2) = ... = p (H_n) तो सभी पुजारी Bayes के नियम से गणना को आसान बना सकते हैं। जब यह समझ में आता है तो एक भाजक से छोटी शर्तों को छोड़ना अधिक गलत नहीं है।

— ज्वलंत

जवाबों:

एक अनुक्रमिक प्रयोगात्मक डिजाइन में, विश्वसनीय अंतराल भ्रामक हो सकता है।

(अस्वीकरण: मैं तर्क नहीं कर रहा हूँ यह उचित नहीं है - यह बायेसियन तर्क में पूरी तरह से उचित है और बायेसियन दृष्टिकोण के परिप्रेक्ष्य में भ्रामक नहीं है।)

$X$ $N(\theta,1)$ $\theta$ $n$ $\sqrt{n} \bar{X}_n > k$ $k$ $N$

N = inf {n \geq 1 : \sqrt{n} {\bar{X}}_{n} > k} .

$N = \inf\left\{n \geq 1 : \sqrt{n}\bar{X}_n > k \right\}.$

$P_{\theta}(N < \infty) = 1$ $\theta \in \mathbb{R}$

$\theta$ $\pi(\theta)$ $\theta \sim N(0, 10))$ $k$ $\theta$ $N(\bar{X}_N, 1/N)$

C I_{b a y e s} := [{\bar{X}}_{N} - \frac{1.96}{\sqrt{N}}, {\bar{X}}_{N} + \frac{1.96}{\sqrt{N}}] .

$CI_{bayes} :=\left[\bar{X}_N - \frac{1.96}{\sqrt{N}}, \bar{X}_N + \frac{1.96}{\sqrt{N}}\right].$

N

$N$

0

$0$

k

$k$

0 < {\bar{X}}_{N} - \frac{k}{\sqrt{N}} ≪ {\bar{X}}_{N} - \frac{1.96}{\sqrt{N}}

$0 < \bar{X}_N - \frac{k}{\sqrt{N}} \ll \bar{X}_N - \frac{1.96}{\sqrt{N}}$

k ≫ 0

$k \gg 0$

C I_{b a y e s}

$CI_{bayes}$

inf_{θ} P_{θ} (θ \in C I_{b a y e s}) = 0,

$\inf_{\theta} P_\theta( \theta \in CI_{bayes} ) = 0,$

0

$0$

θ

$\theta$

0

$0$

0.95

$0.95$

P (θ \in C I_{b a y e s} | X_{1}, \dots, X_{N}) \approx 0.95.

$\mathbb{P}( \theta \in CI_{bayes} | X_1, \dots, X_N) \approx 0.95.$

घर संदेश ले लो: यदि आप एक लगातारवादी गारंटी होने में रुचि रखते हैं, तो आपको बायेसियन इनविज़न टूल का उपयोग करने के बारे में सावधान रहना चाहिए जो हमेशा बायेसियन गारंटी के लिए मान्य है लेकिन हमेशा लगातार लोगों के लिए नहीं।

(मैंने इस उदाहरण को लैरी के भयानक व्याख्यान से सीखा। इस नोट में अक्सरवादी और बायेसियन फ्रेमवर्क के बीच सूक्ष्म अंतर के बारे में कई दिलचस्प चर्चाएं हैं। http://www.stat.cmu.edu/~larry/=stat705/Lecture14.pdf )

EDIT इन लिड्स एबीसी, सहनशीलता का मूल्य बहुत बड़ा है, इसलिए मानक सेटिंग के लिए भी जहां हम निश्चित संख्या में टिप्पणियों का नमूना लेते हैं, यह एक सही सीआर नहीं देता है। मैं ABC से परिचित नहीं हूँ, लेकिन अगर मैंने केवल टोल मान को 0.05 में बदल दिया है, तो हम निम्नलिखित के रूप में बहुत कम तिरछे सीआर हो सकते हैं

> X = like(theta = 0)
> m = mean(X)
> print(m)
[1] 0.02779672

> as.numeric(hdi(chain[, 1], credMass = 0.95)) [1] -0.01711265 0.14253673

बेशक, श्रृंखला अच्छी तरह से स्थिर नहीं है, लेकिन फिर भी अगर हम श्रृंखला की लंबाई बढ़ाते हैं, तो हम इसी तरह के सीआर - सकारात्मक भाग को तिरछा कर सकते हैं।

$\sqrt{N}\bar{X}_N$ $k$ $0<\theta \ll k$ $-k$ $-k \ll \theta <0$

— जेहेयोक शिन
स्रोत

"यदि हम एक बड़ा k सेट करते हैं, तो we का पिछला भाग लगभग N (X_N, 1 / N) है" । यह मुझे लगता है कि स्पष्ट रूप से पीआर (एक्स | थीटा)! = सामान्य (थीटा, 1) है। यानी, इस प्रक्रिया के लिए गलत संभावना है जिसने आपके अनुक्रम को उत्पन्न किया। इसके अलावा, एक टाइपो है। मूल उदाहरण में जब आप sqrt (n) * abs (माध्य (x))> k का नमूना लेना बंद कर देते हैं।

— विस्‍तृत

\prod_{i = 1}^{N} ϕ (X_{i} - θ)

$\prod_{i=1}^N \phi(X_i - \theta)$ । तो यह एन सामान्य टिप्पणियों के उत्पाद के समान है, हालांकि एन अब यादृच्छिक है। यह उदाहरण वर्तमान रोक नियम के लिए अभी भी मान्य है, हालांकि आपने जो इंगित किया था वह मूल और ऐतिहासिक उदाहरण है - इस रोक के नियम के साथ लगातार और बायेसियन ने बहस की है कि कैसे का एक दिलचस्प इतिहास है। आप उदाहरण के लिए, errorstatistics.com/2013/04/06/…

— JaeHyeok शिन

कृपया प्रश्न में मेरा संपादन देखें। मुझे अभी भी लगता है कि आपके विश्वसनीय अंतराल का कोई मतलब नहीं है क्योंकि यह एक गलत संभावना का उपयोग करता है। मेरे कोड में सही संभावना का उपयोग करते समय हमें एक उचित अंतराल मिलता है।

— विभाजित

k

$k$

0 < {\bar{X}}_{N} - k / \sqrt{N} ≪ {\bar{X}}_{N} - 1.96 / \sqrt{N}

$0 < \bar{X}_N - k / \sqrt{N} \ll \bar{X}_N - 1.96 / \sqrt{N}$

k

$k$

k > 10

$k > 10$

— जेहेयोक शिन

2 \times 1.96 / \sqrt{2000} = 0.0876

$2 \times 1.96 / \sqrt{2000} = 0.0876$

चूँकि विश्वसनीय वितरण पश्चात वितरण से बनता है, एक निर्धारित पूर्व वितरण के आधार पर, आप आसानी से एक पूर्व वितरण का उपयोग करके बहुत खराब विश्वसनीय अंतराल का निर्माण कर सकते हैं जो अत्यधिक अनुमानित पैरामीटर मानों पर भारी रूप से केंद्रित है। आप एक विश्वसनीय अंतराल बना सकते हैं जो एक पूर्व वितरण का उपयोग करके "समझदारी" नहीं करता है जो पूरी तरह से असंभव पैरामीटर मूल्यों पर केंद्रित है ।

— मोनिका को बहाल करो
स्रोत

या बेहतर अभी तक, एक पूर्व द्वारा निर्मित एक विश्वसनीय जो आपके पूर्व से असहमत है (भले ही वह किसी और का पूर्व हो) आपके लिए अच्छा है। यह विज्ञान में असामान्य नहीं है; मेरे पास शोधकर्ताओं का कहना है कि वे विशेषज्ञ की राय को शामिल नहीं करना चाहते हैं, क्योंकि उनकी टिप्पणियों में, विशेषज्ञ हमेशा दृढ़ता से अति आत्मविश्वास में रहे हैं।

— क्लिफ एबी

यह विशेष रूप से वर्दी, या "फ्लैट", पुजारियों के बारे में है।

— ज्वलंत

@ विभाजित: आपको यह निश्चित रूप से शामिल करना चाहिए कि आप अपने प्रश्न में फ्लैट पुजारियों के बारे में बात कर रहे हैं। जो पूरी तरह से सब कुछ बदल देता है।

— एबी एबी

@CliffAB यह पहले दो वाक्यों में है, लेकिन मैं स्पष्ट करूंगा, धन्यवाद।

— ज्वलंत

यदि हम एक फ्लैट का उपयोग कर रहे हैं, तो यह केवल एक गेम है जहां हम एक पुनर्मूल्यांकन में एक फ्लैट से पहले आने की कोशिश करते हैं जो समझ में नहीं आता है।

उदाहरण के लिए, मान लें कि हम एक संभावना पर अनुमान लगाना चाहते हैं। यदि हम संभाव्यता के लॉग ऑड्स पर एक फ्लैट पहले रखते हैं, तो वास्तविक संभावना के लिए हमारा 95% विश्वसनीय अंतराल दो अंक है $\{0,1\}$ इससे पहले कि हम भी डेटा देखें! यदि हम एक एकल सकारात्मक डेटा बिंदु प्राप्त करते हैं और 95% विश्वसनीय अंतराल का निर्माण करते हैं, तो यह अब एकल बिंदु है $\{1\}$ ।

यही कारण है कि कई बायेसियन फ्लैट पुजारियों पर आपत्ति करते हैं।

— क्लिफ एबी
स्रोत

मैंने अपनी प्रेरणा को बहुत स्पष्ट रूप से समझाया। मैं उदाहरणों की तरह कुछ चाहता हूं जहां आत्मविश्वास अंतराल में असंभव मूल्य शामिल हैं, लेकिन जहां विश्वसनीय अंतराल ठीक व्यवहार करता है। यदि आपका उदाहरण कुछ निरर्थक करने पर टिका है, जैसे कि गलत संभावना को चुनना, तो यह किसी के लिए क्यों हितकर होगा?

— ज्वलंत

@ विभाजित: संभावना समारोह पूरी तरह से उचित है। फ्लैट से पहले लॉग-बाधाओं पर नहीं है। और यह इस तर्क की संपूर्णता है कि बायेसियन यह कहने के लिए उपयोग करते हैं कि आपको फ्लैट पुजारियों का उपयोग नहीं करना चाहिए ; वे वास्तव में बेहद जानकारीपूर्ण हो सकते हैं और अक्सर उपयोगकर्ता का इरादा नहीं होता है!

— एबी एबी

यहां एंड्रयू गेलमैन ने फ्लैट पुजारियों के मुद्दों पर चर्चा की।

— एबी एबी

"लॉग-ऑड्स पर फ्लैट पहले नहीं है।" मेरा मतलब था कि लॉग-ट्रांसफ़्ड ऑड्स पर एक फ्लैट डालने से पहले आपको गलत लग रहा था, जैसे कि गलत संभावना का उपयोग करना। क्षमा करें, लेकिन मैं इस उदाहरण से परिचित नहीं हूं। यह मॉडल वास्तव में क्या करने वाला है?

— ज्वलंत

@ विभाजित: यह असामान्य लग सकता है, लेकिन यह वास्तव में नहीं है! उदाहरण के लिए, लॉजिस्टिक रिग्रेशन आमतौर पर लॉग-ऑड पैमाने पर सभी मापदंडों पर विचार करता है। यदि आपके पास अपने सभी समूहों के लिए डमी चर हैं और अपने प्रतिगमन मापदंडों पर फ्लैट पुजारियों का उपयोग किया है, तो आप वास्तव में इस समस्या में भाग लेंगे ।

— एबी एबी