लॉग-रूपांतरित प्रतिक्रिया चर के लिए LM और GLM के बीच चयन करना

55

मैं एक सामान्यीकृत मॉडल (GLM) बनाम एक रैखिक मॉडल (LM) का उपयोग करने के पीछे के दर्शन को समझने की कोशिश कर रहा हूं। मैंने नीचे एक उदाहरण डेटा सेट बनाया है:

\log (y) = x + ε

$\log(y) = x + \varepsilon$

उदाहरण में की परिमाण के एक कार्य के रूप में त्रुटि नहीं है , इसलिए मैं मानूंगा कि लॉग-रूपांतरित y का एक रेखीय मॉडल सबसे अच्छा होगा। नीचे दिए गए उदाहरण में, यह वास्तव में मामला है (मुझे लगता है) - चूंकि लॉग-ट्रांसफ़ॉर्म किए गए डेटा पर एलएम का एआईसी सबसे कम है। लॉग-लिंक फ़ंक्शन के साथ गामा वितरण GLM के एआईसी में वर्गों (एसएस) का कम योग है, लेकिन स्वतंत्रता के अतिरिक्त डिग्री से थोड़ा अधिक एआईसी में परिणाम होता है। मुझे आश्चर्य था कि गौसियन वितरण एआईसी इतना अधिक है (भले ही एसएस मॉडल का सबसे कम है)। $\varepsilon$ $y$

मुझे उम्मीद है कि जब मुझे GLM मॉडल से संपर्क करना चाहिए, तो मुझे कुछ सलाह मिलनी चाहिए - यानी ऐसा कुछ है जो मुझे अपने LM मॉडल फिट अवशिष्ट में दिखना चाहिए, ताकि मुझे पता चल सके कि एक और वितरण अधिक उपयुक्त है? साथ ही, एक उचित वितरण परिवार के चयन में कैसे आगे बढ़ना चाहिए।

आपकी मदद के लिए आगे से बहुत - बहुत धन्यवाद।

[संपादित करें]: मैंने अब सारांश आँकड़ों को समायोजित कर दिया है ताकि लॉग-ट्रांसफ़र लीनियर मॉडल का एसएस लॉग-लिंक फ़ंक्शन के साथ जीएलएम मॉडल के बराबर हो। अब आँकड़ों का एक ग्राफ दिखाया गया है।

उदाहरण

set.seed(1111)
n <- 1000
y <- rnorm(n, mean=0, sd=1)
y <- exp(y)
hist(y, n=20)
hist(log(y), n=20)

x <- log(y) - rnorm(n, mean=0, sd=1)
hist(x, n=20)

df  <- data.frame(y=y, x=x)
df2 <- data.frame(x=seq(from=min(df$x), to=max(df$x),,100))


#models
mod.name <- "LM"
assign(mod.name, lm(y ~ x, df))
summary(get(mod.name))
plot(y ~ x, df)
lines(predict(get(mod.name), newdata=df2) ~ df2$x, col=2)

mod.name <- "LOG.LM"
assign(mod.name, lm(log(y) ~ x, df))
summary(get(mod.name))
plot(y ~ x, df)
lines(exp(predict(get(mod.name), newdata=df2)) ~ df2$x, col=2)

mod.name <- "LOG.GAUSS.GLM"
assign(mod.name, glm(y ~ x, df, family=gaussian(link="log")))
summary(get(mod.name))
plot(y ~ x, df)
lines(predict(get(mod.name), newdata=df2, type="response") ~ df2$x, col=2)

mod.name <- "LOG.GAMMA.GLM"
assign(mod.name, glm(y ~ x, df, family=Gamma(link="log")))
summary(get(mod.name))
plot(y ~ x, df)
lines(predict(get(mod.name), newdata=df2, type="response") ~ df2$x, col=2)

#Results
model.names <- list("LM", "LOG.LM", "LOG.GAUSS.GLM", "LOG.GAMMA.GLM")

plot(y ~ x, df, log="y", pch=".", cex=3, col=8)
lines(predict(LM, newdata=df2) ~ df2$x, col=1, lwd=2)
lines(exp(predict(LOG.LM, newdata=df2)) ~ df2$x, col=2, lwd=2)
lines(predict(LOG.GAUSS.GLM, newdata=df2, type="response") ~ df2$x, col=3, lwd=2)
lines(predict(LOG.GAMMA.GLM, newdata=df2, type="response") ~ df2$x, col=4, lwd=2)
legend("topleft", legend=model.names, col=1:4, lwd=2, bty="n") 

res.AIC <- as.matrix(
    data.frame(
        LM=AIC(LM),
        LOG.LM=AIC(LOG.LM),
        LOG.GAUSS.GLM=AIC(LOG.GAUSS.GLM),
        LOG.GAMMA.GLM=AIC(LOG.GAMMA.GLM)
    )
)

res.SS <- as.matrix(
    data.frame(
        LM=sum((predict(LM)-y)^2),
        LOG.LM=sum((exp(predict(LOG.LM))-y)^2),
        LOG.GAUSS.GLM=sum((predict(LOG.GAUSS.GLM, type="response")-y)^2),
        LOG.GAMMA.GLM=sum((predict(LOG.GAMMA.GLM, type="response")-y)^2)
    )
)

res.RMS <- as.matrix(
    data.frame(
        LM=sqrt(mean((predict(LM)-y)^2)),
        LOG.LM=sqrt(mean((exp(predict(LOG.LM))-y)^2)),
        LOG.GAUSS.GLM=sqrt(mean((predict(LOG.GAUSS.GLM, type="response")-y)^2)),
        LOG.GAMMA.GLM=sqrt(mean((predict(LOG.GAMMA.GLM, type="response")-y)^2))
    )
)

png("stats.png", height=7, width=10, units="in", res=300)
#x11(height=7, width=10)
par(mar=c(10,5,2,1), mfcol=c(1,3), cex=1, ps=12)
barplot(res.AIC, main="AIC", las=2)
barplot(res.SS, main="SS", las=2)
barplot(res.RMS, main="RMS", las=2)
dev.off()

यहाँ छवि विवरण दर्ज करें

— बॉक्स में निशान
स्रोत

Log.lm में अनुमानित मूल्य का सूत्र गलत है। का माध्यिका देता है । अपेक्षित मूल्य प्राप्त करने के लिए, घातांक में जोड़ें

e x p (X \hat{b e t a})

$exp(X \hat{beta})$

y

$y$

1 / 2 \times s i g m a^{2}

$1/2 \times sigma^2$

— pauljohn32

1

एक और मॉडल, जिसके लिए आर एक परिवार की पेशकश नहीं करता है, एक लॉगनॉर्मल वितरण है। एसएएस फिट होगा कि, मुझे नहीं पता कि आर glm क्यों नहीं करता है। कुछ लोग tgat के लिए R पैकेज गमलों का सुझाव देते हैं, लेकिन यह मेरे लिए कभी समझदारी से काम नहीं करता है। शायद आपके पास बेहतर भाग्य होगा।

— pauljohn32

23

इस मुद्दे के माध्यम से सोचने के लिए अच्छा प्रयास। यहाँ एक अधूरा जवाब है, लेकिन अगले चरणों के लिए कुछ शुरुआत।

सबसे पहले, AIC स्कोर - संभावना के आधार पर - अलग-अलग वितरण और लिंक फ़ंक्शन के कारण अलग-अलग पैमानों पर होते हैं, इसलिए उनकी तुलना की जा सकती है। आपकी राशि का वर्ग और औसत योग की गणना मूल पैमाने पर की गई है और इसलिए समान पैमाने पर हैं, इसलिए तुलना की जा सकती है, हालांकि क्या यह मॉडल चयन के लिए एक अच्छा मानदंड है, यह एक और सवाल है (यह हो सकता है, या नहीं भी हो सकता है) - इस के कुछ अच्छी चर्चा के लिए मॉडल चयन पर क्रॉस मान्य अभिलेखागार खोजें)।

आपके अधिक सामान्य प्रश्न के लिए, समस्या पर ध्यान केंद्रित करने का एक अच्छा तरीका LOG.LM (लॉग (y) के रूप में प्रतिक्रिया के साथ आपका रैखिक मॉडल) के बीच अंतर पर विचार करना है; और LOG.GAUSS.GLM, y के रूप में प्रतिक्रिया के साथ glm और एक लॉग लिंक फ़ंक्शन। पहले मामले में आप जिस मॉडल को फिट कर रहे हैं वह है:

$\log(y)=X\beta+\epsilon$ ;

और glm () मामले में यह है:

$\log(y+\epsilon)=X\beta$

और दोनों मामलों में को वितरित किया जाता है । $\epsilon$ $\mathcal{N}(0,\sigma^2)$

— पीटर एलिस
स्रोत

3

Glm का लक्षण वर्णन सही नहीं दिखता है: बाएँ हाथ की तरफ एक यादृच्छिक चर जबकि दाहिने हाथ की तरफ केवल डेटा और पैरामीटर हैं, लेकिन कोई यादृच्छिक चर नहीं है।

ϵ

$\epsilon$

— व्हिबर

4

यह डालने का एक अजीब तरीका है, मुझे पता है कि मैं @ शुभकर्ता हूं लेकिन से बनता है । बिंदु यह है कि लिंक फ़ंक्शन

E (Y) = g^{- 1} (X β)

$E(Y) = g^{-1}(X\beta)$

g (E (Y)) = X β

$g(E(Y)) = X\beta$

E (Y)

$E(Y)$

— पीटर एलिस

मुझे यह बहुत मददगार लगा: christoph-scherber.de/content/PDF%20Files/…

— आदित्य

16

अधिक सामान्य तरीके से, और समान नहीं हैं। इसके अलावा GLM द्वारा बनाई गई विचरण धारणाएं OLS की तुलना में अधिक लचीली हैं, और निश्चित रूप से अलग-अलग वितरण परिवारों को लेते हुए मॉडलिंग की स्थिति मायने रखती है। $E[\ln(Y|x)]$ $\ln([E(Y|X])$

मेरी राय में वितरण परिवार के बारे में विचरण और माध्य के साथ इसके संबंध के बारे में एक प्रश्न है। उदाहरण के लिए एक गाऊसी परिवार में हमारे पास निरंतर विचरण है। एक गामा परिवार में हमारे पास माध्य के द्विघात कार्य के रूप में विचरण होता है। फिट किए गए मूल्यों बनाम अपने स्टैंडराइज्ड अवशेषों को प्लॉट करें और देखें कि वे कैसे हैं।

— D.Castro
स्रोत

1

+1 वास्तव में इस सवाल से संबंधित है कि सही परिवार का चयन कैसे करें (और मैं कहूंगा कि यहां कुछ और विस्तार के लिए जगह है)

— etov

7

दुर्भाग्य से, आपका Rकोड एक उदाहरण के लिए नहीं ले जाता है जहां । इसके बजाय, आपका उदाहरण । यहां त्रुटियां क्षैतिज हैं, ऊर्ध्वाधर नहीं; वे में त्रुटियां हैं, में त्रुटियां नहीं हैं । सहज रूप से, ऐसा लगता है कि यह एक अंतर नहीं होना चाहिए, लेकिन यह करता है। आप यहाँ मेरा जवाब पढ़ना चाहते हैं: y के साथ x और x के साथ y पर रैखिक प्रतिगमन में क्या अंतर है? आपका सेटअप "सही" मॉडल के मुद्दे को जटिल करता है। सख्ती से, सही मॉडल रिवर्स प्रतिगमन है: $\log(y) = x + \varepsilon$ $x = \log(y) + \varepsilon$ $x$ $y$

ly = log(y)
REVERSE.REGRESSION = lm(x~ly)
summary(REVERSE.REGRESSION)
# Call:
# lm(formula = x ~ ly)
# 
# Residuals:
#      Min       1Q   Median       3Q      Max 
# -2.93996 -0.64547 -0.01351  0.63133  2.92991 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)  0.01563    0.03113   0.502    0.616    
# ly           1.01519    0.03138  32.350   <2e-16 ***
# ---
# Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 0.984 on 998 degrees of freedom
# Multiple R-squared:  0.5119,    Adjusted R-squared:  0.5114 
# F-statistic:  1047 on 1 and 998 DF,  p-value: < 2.2e-16

इस मॉडल के लिए मैट्रिक्स (AIC की तरह) आपके मॉडल की तुलना में नहीं होगा। हालाँकि, हम जानते हैं कि यह डेटा बनाने की प्रक्रिया पर आधारित सही मॉडल है, और ध्यान दें कि अनुमानित गुणांक लक्ष्य पर सही हैं।

— गुंग - फिर से बहाल करें मोनिका
स्रोत

आपके कमेंट के लिए धन्यवाद। मैं मानता हूं, उदाहरण डेटा बेहतर हो सकता था, लेकिन मेरा मानना है कि यह सही है कि यह कैसे त्रुटियों को उत्पन्न करता है। उदाहरण में, कोई अवरोधन नहीं है और ढलान 1 है। यदि आप रेखा के चारों ओर घूमते हैं x = log(y) - rnorm(n, mean=0, sd=1), तो आपको लॉग (y) = x + rnorm (n, माध्य = 0, sd = 1) मिलता है। अगर @ व्हिबर की टिप्पणी ने आपके उत्तर को गलत ठहराया (मुझे विश्वास है कि यह किया है), तो मेरा मानना है कि वह डेटा पीढ़ी का जिक्र नहीं कर रहा है, बल्कि @peterellis द्वारा जीएलएम मॉडल तैयार कर रहा है।

— बॉक्स में

0

चुनाव आपके चर पर आपकी परिकल्पना पर आधारित है।

\frac{\sqrt{V a r (X_{t}}}{E (X_{t})} = c o n s t a n t

$\frac{\sqrt{\mathrm{Var}(X_t} }{\mathrm{E}(X_t)} = \mathrm{constant}$

गामा वितरण पर आधारित है

\frac{V a r (X_{t})}{E (X_{t})} = c o n s t a n t

$\frac{\mathrm{Var}(X_t) }{\mathrm{E}(X_t)} = \mathrm{constant}$

लॉग परिवर्तन परिकल्पना पर टिकी हुई है,

\sqrt{V a r (X_{t}} = E (X_{t}) σ

$\sqrt{\mathrm{Var}(X_t} = \mathrm{E}(X_t) \sigma$

इस तरह,

\begin{aligned} X_{t} & = X_{t} \\ = E (X_{t}) \cdot \frac{X_{t}}{E (X_{t})} \\ = E (X_{t}) \cdot \frac{X_{t} - E (X_{t}) + E (X_{t})}{E (X_{t})} \\ = E (X_{t}) \cdot (1 + \frac{X_{t} - E (X_{t})}{E (X_{t})}) \end{aligned}

$\begin{alignat}{2} X_t &= X_t\\ & = \mathrm{E}(X_t) \cdot \frac{X_t}{\mathrm{E}(X_t)} \\ & = \mathrm{E}(X_t) \cdot \frac{X_t - \mathrm{E}(X_t) + \mathrm{E}(X_t)}{\mathrm{E}(X_t)} \\ & = \mathrm{E}(X_t) \cdot (1 + \frac{X_t - \mathrm{E}(X_t)}{\mathrm{E}(X_t)}) \\ \end{alignat}$

टेलर नियम के आधार पर,

\log (1 + x) \approx x

$\log(1+x) \approx x$

हमें मिला

\log (1 + \frac{X_{t} - E (X_{t})}{E (X_{t})}) = \frac{X_{t} - E (X_{t})}{E (X_{t})}

$\log(1 + \frac{X_t - \mathrm{E}(X_t)}{\mathrm{E}(X_t)}) = \frac{X_t - \mathrm{E}(X_t)}{\mathrm{E}(X_t)}$

इस प्रकार,

\begin{aligned} X_{t} & = E (X_{t}) \cdot (1 + \frac{X_{t} - E (X_{t})}{E (X_{t})}) \\ \log X_{t} & = \log E (X_{t}) + \log (1 + \frac{X_{t} - E (X_{t})}{E (X_{t})}) \\ = \log E (X_{t}) + \frac{X_{t} - E (X_{t})}{E (X_{t})} \\ E (\log X_{t}) & \approx \log E (X_{t}) \end{aligned}

$\begin{alignat}{2} X_t &= \mathrm{E}(X_t) \cdot (1 + \frac{X_t - \mathrm{E}(X_t)}{\mathrm{E}(X_t)}) \\ \log X_t &= \log \mathrm{E}(X_t) + \log (1 + \frac{X_t - \mathrm{E}(X_t)}{\mathrm{E}(X_t)}) \\ &= \log \mathrm{E}(X_t) + \frac{X_t - \mathrm{E}(X_t)}{\mathrm{E}(X_t)} \\ \mathrm{E}(\log X_t) & \approx \log \mathrm{E}(X_t) \end{alignat}$

हालाँकि, गामा वितरण परिकल्पना पर टिकी हुई है कि,

Y \sim Γ (α, β)

$Y \sim \Gamma(\alpha, \beta)$

{\begin{cases} E (y_{i}) = α_{i} \cdot β_{i} \\ V a r (y_{i}) = α_{i} \cdot β_{i}^{2} \end{cases} \to \frac{V a r (y_{i})}{E (y_{i})} = β_{i}

$\begin{cases} E(y_i) = \alpha_i \cdot \beta_i \\ Var(y_i) = \alpha_i \cdot \beta_i^2 \\ \end{cases} \to \frac{Var(y_i)}{E(y_i)} = \beta_i$

— Jiaxiang
स्रोत