अधिकतम संभावना अनुमान (MLE) एक ऐसी तकनीक है जो सबसे अधिक संभावित
फ़ंक्शन को खोजने के लिए है जो प्रेक्षित डेटा की व्याख्या करती है। मुझे लगता है कि गणित आवश्यक है, लेकिन इसे आपको डरने न दें!
मान लें कि हमारे पास समतल में बिंदुओं का एक सेट है , और हम फ़ंक्शन पैरामीटर और जानना चाहते हैं जो कि सबसे अधिक संभावना डेटा को फिट करते हैं (इस मामले में हम फ़ंक्शन को जानते हैं क्योंकि मैंने इसे बनाने के लिए निर्दिष्ट किया था उदाहरण, लेकिन मेरे साथ सहन)।बीटा σx,yβσ
data <- data.frame(x = runif(200, 1, 10))
data$y <- 0 + beta*data$x + rnorm(200, 0, sigma)
plot(data$x, data$y)
एक MLE करने के लिए, हमें फ़ंक्शन के रूप के बारे में धारणा बनाने की आवश्यकता है। एक रेखीय मॉडल में, हम मानते हैं कि अंक एक सामान्य (गाऊसी) संभाव्यता वितरण का अनुसरण करते हैं, जिसका मतलब है और variance : । इस प्रायिकता घनत्व फ़ंक्शन का समीकरण है:xβσ2y=N(xβ,σ2)
12πσ2−−−−√exp(−(yi−xiβ)22σ2)
हम जो खोजना चाहते हैं, वह सभी बिंदुओं लिए इस संभावना को अधिकतम करने वाला पैरामीटर और है । यह "संभावना" फ़ंक्शन,βσ(xi,yi)L
लॉग(एल)=nΣमैं=1-n
L=∏i=1nyi=∏i=1n12πσ2−−−−√exp(−(yi−xiβ)22σ2)
विभिन्न कारणों से, संभावना फ़ंक्शन के लॉग का उपयोग करना आसान है:
log(L)=∑i=1n−n2log(2π)−n2log(σ2)−12σ2(yi−xiβ)2
हम इसे R में एक फ़ंक्शन के रूप में साथ कोड कर सकते हैं ।θ=(β,σ)
linear.lik <- function(theta, y, X){
n <- nrow(X)
k <- ncol(X)
beta <- theta[1:k]
sigma2 <- theta[k+1]^2
e <- y - X%*%beta
logl <- -.5*n*log(2*pi)-.5*n*log(sigma2) - ( (t(e) %*% e)/ (2*sigma2) )
return(-logl)
}
यह फ़ंक्शन, और विभिन्न मूल्यों पर , एक सतह बनाता है।σβσ
surface <- list()
k <- 0
for(beta in seq(0, 5, 0.1)){
for(sigma in seq(0.1, 5, 0.1)){
k <- k + 1
logL <- linear.lik(theta = c(0, beta, sigma), y = data$y, X = cbind(1, data$x))
surface[[k]] <- data.frame(beta = beta, sigma = sigma, logL = -logL)
}
}
surface <- do.call(rbind, surface)
library(lattice)
wireframe(logL ~ beta*sigma, surface, shade = TRUE)
जैसा कि आप देख सकते हैं, इस सतह पर कहीं अधिकतम बिंदु है। हम ऐसे पैरामीटर पा सकते हैं जो आर के अंतर्निहित अनुकूलन कमांड के साथ इस बिंदु को निर्दिष्ट करते हैं। यह वास्तव में पैरामीटर्स को उजागर करने के करीब आता है
0,β=2.7,σ=1.3
linear.MLE <- optim(fn=linear.lik, par=c(1,1,1), lower = c(-Inf, -Inf, 1e-8),
upper = c(Inf, Inf, Inf), hessian=TRUE,
y=data$y, X=cbind(1, data$x), method = "L-BFGS-B")
linear.MLE$par
## [1] -0.1303868 2.7286616 1.3446534
साधारण कम से कम वर्गों है एक रेखीय मॉडल के लिए अधिकतम संभावना है, इसलिए यह भावना है कि बनाता है lmहमें एक ही जवाब देना होगा। (ध्यान दें कि मानक त्रुटियों को निर्धारित करने में का उपयोग किया जाता है)।σ2
summary(lm(y ~ x, data))
##
## Call:
## lm(formula = y ~ x, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3616 -0.9898 0.1345 0.9967 3.8364
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.13038 0.21298 -0.612 0.541
## x 2.72866 0.03621 75.363 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.351 on 198 degrees of freedom
## Multiple R-squared: 0.9663, Adjusted R-squared: 0.9661
## F-statistic: 5680 on 1 and 198 DF, p-value: < 2.2e-16
