गिब्स आउटपुट से सीमांत संभावना


13

मैं खंड 4.2.1 में परिणामों को खरोंचने से पुन: उत्पन्न कर रहा हूं

गिब्स आउटपुट से सीमांत संभावना

सिद्धार्थ चिब

अमेरिकी सांख्यिकी एसोसिएशन जर्नल, खंड। 90, नंबर 432. (दिसंबर, 1995), पीपी। 1313-1321।

यह घटकों के ज्ञात संख्या के साथ मॉडल का मिश्रण है । च ( एक्स | डब्ल्यू , μ , σ 2 ) = n Π मैं = 1 कश्मीर Σ j = 1 एन ( एक्स मैं | μ j , σ 2 जे )k≥1

f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σj2).(∗)

इस मॉडल के लिए गिब्स नमूना को टान्नर और वोंग की डेटा वृद्धि तकनीक का उपयोग करके लागू किया गया है। आवंटन चर एक मान मान शुरू किया गया है, और हम निर्दिष्ट करते हैं कि और f (x_i \ mid z) , \ mu, \ sigma ^ 2) = \ mathrm {N} (x_i \ mid \ mu_ {z_i}, \ sigma ^ 2_ {z_i}) । यह इस प्रकार है कि z_i के मूल पर एकीकरण मूल संभावना (*) देता है ।z=(z1,…,zn)1,…,kPr(zi=j∣w)=wjf(xi∣z,μ,σ2)=N(xi∣μzi,σzi2)zi(∗)

कॉरोना बोरेलिस तारामंडल से 82 आकाशगंगाओं के वेग द्वारा डेटासेट का निर्माण होता है।

set.seed(1701)

x <- c(  9.172,  9.350,  9.483,  9.558,  9.775, 10.227, 10.406, 16.084, 16.170, 18.419, 18.552, 18.600, 18.927,
        19.052, 19.070, 19.330, 19.343, 19.349, 19.440, 19.473, 19.529, 19.541, 19.547, 19.663, 19.846, 19.856,
        19.863, 19.914, 19.918, 19.973, 19.989, 20.166, 20.175, 20.179, 20.196, 20.215, 20.221, 20.415, 20.629,
        20.795, 20.821, 20.846, 20.875, 20.986, 21.137, 21.492, 21.701, 21.814, 21.921, 21.960, 22.185, 22.209,
        22.242, 22.249, 22.314, 22.374, 22.495, 22.746, 22.747, 22.888, 22.914, 23.206, 23.241, 23.263, 23.484,
        23.538, 23.542, 23.666, 23.706, 23.711, 24.129, 24.285, 24.289, 24.366, 24.717, 24.990, 25.633, 26.960,
        26.995, 32.065, 32.789, 34.279 )

nn <- length(x)

हम मानते हैं कि , का और का स्वतंत्र रूप से एक प्राथमिकता है wμjσj2

(w1,…,wk)∼Dir(a1,…,ak),μj∼N(μ0,σ02),σj2∼IG(ν02,δ02).
k <- 3

mu0 <- 20
va0 <- 100

nu0 <- 6
de0 <- 40

a <- rep(1, k)

बेयर्स प्रमेय का उपयोग करते हुए, पूर्ण सशर्त हैं जिसमें साथ

w∣μ,σ2,z,x∼Dir(a1+n1,…,ak+nk)μj∣w,σ2,z,x∼N(njmjσ02+μ0σj2njσ02+σj2,σ02σj2njσ02+σj2)σj2∣w,μ,z,x∼IG(ν0+nj2,δ0+δj2)Pr(zi=j∣w,μ,σ2,x)∝wj×1σje−(xi−μj)2/2σj2
nj=|Lj|,mj={1nj∑i∈Ljxiifnj>00otherwise.,δj=∑i∈Lj(xi−μj)2,
Lj={i∈{1,…,n}:zi=j} ।

लक्ष्य मॉडल की सीमांत संभावना के लिए एक अनुमान की गणना करना है। चिब की विधि पूर्ण सशर्त का उपयोग करके गिब्स नमूना के पहले रन के साथ शुरू होती है।

burn_in <- 1000
run     <- 15000

cat("First Gibbs run (full):\n")

N <- burn_in + run

w  <- matrix(1, nrow = N, ncol = k)
mu <- matrix(0, nrow = N, ncol = k)
va <- matrix(1, nrow = N, ncol = k)
z  <- matrix(1, nrow = N, ncol = nn)

n <- integer(k)
m <- numeric(k)
de <- numeric(k)

rdirichlet <- function(a) { y <- rgamma(length(a), a, 1); y / sum(y) }

pb <- txtProgressBar(min = 2, max = N, style = 3)
z[1,] <- sample.int(k, size = nn, replace = TRUE)
for (t in 2:N) {
    n <- tabulate(z[t-1,], nbins = k)
    w[t,] <- rdirichlet(a + n)
    m <- sapply(1:k, function(j) sum(x[z[t-1,]==j]))
    m[n > 0] <- m[n > 0] / n[n > 0]
    mu[t,] <- rnorm(k, mean = (n*m*va0+mu0*va[t-1,])/(n*va0+va[t-1,]), sd = sqrt(va0*va[t-1,]/(n*va0+va[t-1,])))
    de <- sapply(1:k, function(j) sum((x[z[t-1,]==j] - mu[t,j])^2))
    va[t,] <- 1 / rgamma(k, shape = (nu0+n)/2, rate = (de0+de)/2)
    z[t,] <- sapply(1:nn, function(i) sample.int(k, size = 1, prob = exp(log(w[t,]) + dnorm(x[i], mean = mu[t,], sd = sqrt(va[t,]), log = TRUE))))
    setTxtProgressBar(pb, t)
}
close(pb)

इस पहले भाग से हमें अधिकतम संभावना की लगभग एक अनुमानित बिंदु मिलती है । चूंकि संभावना वास्तव में अबाधित है, यह प्रक्रिया संभवतः जो देती है वह एक अनुमानित स्थानीय एमएपी है।(w∗,μ∗,σ2∗)

w  <- w[(burn_in+1):N,]
mu <- mu[(burn_in+1):N,]
va <- va[(burn_in+1):N,]
z  <- z[(burn_in+1):N,]
N  <- N - burn_in

log_L <- function(x, w, mu, va) sum(log(sapply(1:nn, function(i) sum(exp(log(w) + dnorm(x[i], mean = mu, sd = sqrt(va), log = TRUE))))))

ts <- which.max(sapply(1:N, function(t) log_L(x, w[t,], mu[t,], va[t,])))

ws <- w[ts,]
mus <- mu[ts,]
vas <- va[ts,]

सीमांत संभावना के चिब का लॉग-अनुमान

log⁡f(x)^=log⁡Lx(w∗,μ∗,σ2∗)+log⁡π(w∗,μ∗,σ2∗)−log⁡π(μ∗∣x)−log⁡π(σ2∗∣μ∗,x)−log⁡π(w∗∣μ∗,σ2∗,x).

हमारे पास पहले से ही पहले दो पद हैं।

log_prior <- function(w, mu, va) {
    lgamma(sum(a)) - sum(lgamma(a)) + sum((a-1)*log(w))
    + sum(dnorm(mu, mean = mu0, sd = sqrt(va0), log = TRUE))
    + sum((nu0/2)*log(de0/2) - lgamma(nu0/2) - (nu0/2+1)*log(va) - de0/(2*va))
}

chib <- log_L(x, ws, mus, vas) + log_prior(ws, mus, vas)

राव-ब्लैकवेलिज्ड अनुमान of is और आसानी से प्राप्त किया जाता है पहले गिब्स दौड़ते हैं।π(μ∗∣x)

π(μ∗∣x)=∫∏j=1kN(μj∗|njmjσ02+μ0σj2njσ02+σj2,σ02σj2njσ02+σj2)p(σ2,z∣x)dσ2dz,
pi.mu_va.z.x <- function(mu, va, z) {
    n <- tabulate(z, nbins = k)
    m <- sapply(1:k, function(j) sum(x[z==j]))
    m[n > 0] <- m[n > 0] / n[n > 0]
    exp(sum(dnorm(mu, mean = (n*m*va0+mu0*va)/(n*va0+va), sd = sqrt(va0*va/(n*va0+va)), log = TRUE)))
}

chib <- chib - log(mean(sapply(1:N, function(t) pi.mu_va.z.x(mus, va[t,], z[t,]))))

राव-ब्लैकवेलिज्ड एस्टिमेट ऑफ़ is और एक दूसरे कम गिब्स रन से गणना की जाती है जिसमें अपडेट नहीं होता है, लेकिन बनाया जाता है प्रत्येक पुनरावृत्ति कदम पर बराबर ।π(σ2∗∣μ∗,x)

π(σ2∗∣μ∗,x)=∫∏j=1kIG(σj2∗|ν0+nj2,δ0+δj2)p(z∣μ∗,x)dz,
μjμj∗
cat("Second Gibbs run (reduced):\n")

N <- burn_in + run

w  <- matrix(1, nrow = N, ncol = k)
va <- matrix(1, nrow = N, ncol = k)
z  <- matrix(1, nrow = N, ncol = nn) 

pb <- txtProgressBar(min = 2, max = N, style = 3)
z[1,] <- sample.int(k, size = nn, replace = TRUE)
for (t in 2:N) {
    n <- tabulate(z[t-1,], nbins = k)
    w[t,] <- rdirichlet(a + n)
    de <- sapply(1:k, function(j) sum((x[z[t-1,]==j] - mus[j])^2))
    va[t,] <- 1 / rgamma(k, shape = (nu0+n)/2, rate = (de0+de)/2)
    z[t,] <- sapply(1:nn, function(i) sample.int(k, size = 1, prob = exp(log(w[t,]) + dnorm(x[i], mean = mus, sd = sqrt(va[t,]), log = TRUE))))
    setTxtProgressBar(pb, t)
}
close(pb)

w  <- w[(burn_in+1):N,]
va <- va[(burn_in+1):N,]
z  <- z[(burn_in+1):N,]
N  <- N - burn_in

pi.va_mu.z.x <- function(va, mu, z) {
    n <- tabulate(z, nbins = k)         
    de <- sapply(1:k, function(j) sum((x[z==j] - mu[j])^2))
    exp(sum(((nu0+n)/2)*log((de0+de)/2) - lgamma((nu0+n)/2) - ((nu0+n)/2+1)*log(va) - (de0+de)/(2*va)))
}

chib <- chib - log(mean(sapply(1:N, function(t) pi.va_mu.z.x(vas, mus, z[t,]))))

उसी तरह, राव-ब्लैकवेल्ड अनुमान of is और एक तीसरे घटे गिब्स से गणना की जाती है जिसमें 's और the ' s अपडेट नहीं किए जाते, लेकिन और बराबर बनाए जाते हैं क्रमशः प्रत्येक पुनरावृति चरण पर।π(w∗∣μ∗,σ2∗,x)

π(w∗∣μ∗,σ2∗,x)=∫Dir(w∗∣a1+n1,…,ak+nk)p(z∣μ∗,σ2∗,x)dz,
μjσj2μj∗σj2∗
cat("Third Gibbs run (reduced):\n")

N <- burn_in + run

w  <- matrix(1, nrow = N, ncol = k)
z  <- matrix(1, nrow = N, ncol = nn) 

pb <- txtProgressBar(min = 2, max = N, style = 3)
z[1,] <- sample.int(k, size = nn, replace = TRUE)
for (t in 2:N) {
    n <- tabulate(z[t-1,], nbins = k)
    w[t,] <- rdirichlet(a + n)
    z[t,] <- sapply(1:nn, function(i) sample.int(k, size = 1, prob = exp(log(w[t,]) + dnorm(x[i], mean = mus, sd = sqrt(vas), log = TRUE))))
    setTxtProgressBar(pb, t)
}
close(pb)

w  <- w[(burn_in+1):N,]
z  <- z[(burn_in+1):N,]
N  <- N - burn_in

pi.w_z.x <- function(w, z) {
    n <- tabulate(z, nbins = k)
    exp(lgamma(sum(a+n)) - sum(lgamma(a+n)) + sum((a+n-1)*log(w)))
}

chib <- chib - log(mean(sapply(1:N, function(t) pi.w_z.x(ws, z[t,]))))

इस सब के बाद, हमें एक लॉग-अनुमान मिलता है, जो मोंटे कार्लो त्रुटि साथ चिब: द्वारा गए से बड़ा है ।−217.9199−224.138.086

यह जांचने के लिए कि क्या मैंने किसी तरह गिब्स के नमूनों को गड़बड़ किया है, मैंने आरजेएजीएस का उपयोग करके पूरी बात को फिर से लागू किया। निम्न कोड समान परिणाम देता है।

x <- c( 9.172,  9.350,  9.483,  9.558,  9.775, 10.227, 10.406, 16.084, 16.170, 18.419, 18.552, 18.600, 18.927, 19.052, 19.070, 19.330,
       19.343, 19.349, 19.440, 19.473, 19.529, 19.541, 19.547, 19.663, 19.846, 19.856, 19.863, 19.914, 19.918, 19.973, 19.989, 20.166,
       20.175, 20.179, 20.196, 20.215, 20.221, 20.415, 20.629, 20.795, 20.821, 20.846, 20.875, 20.986, 21.137, 21.492, 21.701, 21.814,
       21.921, 21.960, 22.185, 22.209, 22.242, 22.249, 22.314, 22.374, 22.495, 22.746, 22.747, 22.888, 22.914, 23.206, 23.241, 23.263,
       23.484, 23.538, 23.542, 23.666, 23.706, 23.711, 24.129, 24.285, 24.289, 24.366, 24.717, 24.990, 25.633, 26.960, 26.995, 32.065,
       32.789, 34.279 )

library(rjags)

nn <- length(x)

k <- 3

mu0 <- 20
va0 <- 100

nu0 <- 6
de0 <- 40

a <- rep(1, k)

burn_in <- 10^3

N <- 10^4

full <- "
    model {
        for (i in 1:n) {
            x[i] ~ dnorm(mu[z[i]], tau[z[i]])
            z[i] ~ dcat(w[])
        }
        for (i in 1:k) {
            mu[i] ~ dnorm(mu0, 1/va0)
            tau[i] ~ dgamma(nu0/2, de0/2)
            va[i] <- 1/tau[i]
        }
        w ~ ddirich(a)
    }
"
data <- list(x = x, n = nn, k = k, mu0 = mu0, va0 = va0, nu0 = nu0, de0 = de0, a = a)
model <- jags.model(textConnection(full), data = data, n.chains = 1, n.adapt = 100)
update(model, n.iter = burn_in)
samples <- jags.samples(model, c("mu", "va", "w", "z"), n.iter = N)

mu <- matrix(samples$mu, nrow = N, byrow = TRUE)
    va <- matrix(samples$va, nrow = N, byrow = TRUE)
w <- matrix(samples$w, nrow = N, byrow = TRUE)
    z <- matrix(samples$z, nrow = N, byrow = TRUE)

log_L <- function(x, w, mu, va) sum(log(sapply(1:nn, function(i) sum(exp(log(w) + dnorm(x[i], mean = mu, sd = sqrt(va), log = TRUE))))))

ts <- which.max(sapply(1:N, function(t) log_L(x, w[t,], mu[t,], va[t,])))

ws <- w[ts,]
mus <- mu[ts,]
vas <- va[ts,]

log_prior <- function(w, mu, va) {
    lgamma(sum(a)) - sum(lgamma(a)) + sum((a-1)*log(w))
    + sum(dnorm(mu, mean = mu0, sd = sqrt(va0), log = TRUE))
    + sum((nu0/2)*log(de0/2) - lgamma(nu0/2) - (nu0/2+1)*log(va) - de0/(2*va))
}

chib <- log_L(x, ws, mus, vas) + log_prior(ws, mus, vas)

cat("log-likelihood + log-prior =", chib, "\n")

pi.mu_va.z.x <- function(mu, va, z, x) {
    n <- sapply(1:k, function(j) sum(z==j))
    m <- sapply(1:k, function(j) sum(x[z==j]))
    m[n > 0] <- m[n > 0] / n[n > 0]
    exp(sum(dnorm(mu, mean = (n*m*va0+mu0*va)/(n*va0+va), sd = sqrt(va0*va/(n*va0+va)), log = TRUE)))
}

chib <- chib - log(mean(sapply(1:N, function(t) pi.mu_va.z.x(mus, va[t,], z[t,], x))))

cat("log-likelihood + log-prior - log-pi.mu_ =", chib, "\n")

fixed.mu <- "
    model {
        for (i in 1:n) {
            x[i] ~ dnorm(mus[z[i]], tau[z[i]])
            z[i] ~ dcat(w[])
        }
        for (i in 1:k) {
            tau[i] ~ dgamma(nu0/2, de0/2)
            va[i] <- 1/tau[i]
        }
        w ~ ddirich(a)
    }
"
data <- list(x = x, n = nn, k = k, nu0 = nu0, de0 = de0, a = a, mus = mus)
model <- jags.model(textConnection(fixed.mu), data = data, n.chains = 1, n.adapt = 100)
update(model, n.iter = burn_in)
samples <- jags.samples(model, c("va", "w", "z"), n.iter = N)

va <- matrix(samples$va, nrow = N, byrow = TRUE)
    w <- matrix(samples$w, nrow = N, byrow = TRUE)
z <- matrix(samples$z, nrow = N, byrow = TRUE)

pi.va_mu.z.x <- function(va, mu, z, x) {
    n <- sapply(1:k, function(j) sum(z==j))
    de <- sapply(1:k, function(j) sum((x[z==j] - mu[j])^2))
    exp(sum(((nu0+n)/2)*log((de0+de)/2) - lgamma((nu0+n)/2) - ((nu0+n)/2+1)*log(va) - (de0+de)/(2*va)))
}

chib <- chib - log(mean(sapply(1:N, function(t) pi.va_mu.z.x(vas, mus, z[t,], x))))

cat("log-likelihood + log-prior - log-pi.mu_ - log-pi.va_ =", chib, "\n")

fixed.mu.and.va <- "
    model {
        for (i in 1:n) {
            x[i] ~ dnorm(mus[z[i]], 1/vas[z[i]])
            z[i] ~ dcat(w[])
        }
        w ~ ddirich(a)
    }
"
data <- list(x = x, n = nn, a = a, mus = mus, vas = vas)
model <- jags.model(textConnection(fixed.mu.and.va), data = data, n.chains = 1, n.adapt = 100)
update(model, n.iter = burn_in)
samples <- jags.samples(model, c("w", "z"), n.iter = N)

w <- matrix(samples$w, nrow = N, byrow = TRUE)
    z <- matrix(samples$z, nrow = N, byrow = TRUE)

pi.w_z.x <- function(w, z, x) {
    n <- sapply(1:k, function(j) sum(z==j))
    exp(lgamma(sum(a)+nn) - sum(lgamma(a+n)) + sum((a+n-1)*log(w)))
}

chib <- chib - log(mean(sapply(1:N, function(t) pi.w_z.x(ws, z[t,], x))))

cat("log-likelihood + log-prior - log-pi.mu_ - log-pi.va_ - log-pi.w_ =", chib, "\n")

मेरा प्रश्न यह है कि यदि उपरोक्त विवरण में चिब की विधि की गलतफहमी हो या इसके कार्यान्वयन में कोई गलती हो।


1
100 बार सिमुलेशन चलाने पर, परिणाम रेंज में । [−218.7655;−216.8824]
— ज़ेन

जवाबों:


6

पूर्व में थोड़ी प्रोग्रामिंग की गलती है

log_prior <- function(w, mu, va) {
    lgamma(sum(a)) - sum(lgamma(a)) + sum((a-1)*log(w))
    + sum(dnorm(mu, mean = mu0, sd = sqrt(va0), log = TRUE))
    + sum((nu0/2)*log(de0/2) - lgamma(nu0/2) - (nu0/2+1)*log(va) - de0/(2*va))
}

जैसा कि इसके बजाय होना चाहिए

log_prior <- function(w, mu, va) {
    lgamma(sum(a)) - sum(lgamma(a)) + sum((a-1)*log(w)) +
      sum(dnorm(mu, mean = mu0, sd = sqrt(va0), log = TRUE)) +
      sum((nu0/2)*log(de0/2) - lgamma(nu0/2) - (nu0/2+1)*log(va) - de0/(2*va))
}

इस तरह से कोड को फिर से चलाना

> chib
[1] -228.194

जो उस मामले के लिए चिब (1995) में उत्पादित मूल्य नहीं है! हालाँकि, नील की समस्या के (1999) reanalysis में, वह उल्लेख करता है

एक अनाम जेएएसए रेफरी के अनुसार, चिब के कागज में दिए गए असमान परिवर्तन के साथ तीन घटक मॉडल के लिए सीमांत संभावना के लॉग के लिए -224.138 का आंकड़ा एक "टाइपो" है जो सही आंकड़ा -228.608 है।

तो यह विसंगति के मुद्दे को हल करता है।


2
प्रो। क्रिश्चियन रॉबर्ट और केट ली: क्या आप जानते हैं कि आप कितने महान हैं?
— जेन

2
वैसे, यह निश्चित रूप से "बुराई वाक्यविन्यास" का एक उदाहरण है। मैं इसे नहीं भूलूंगा।
— ज़ेन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.