रैखिक मॉडल के लिए BLUE (OLS समाधान) की तुलना में अन्य निष्पक्ष अनुमानक

एक रेखीय मॉडल के लिए ओएलएस समाधान मापदंडों के लिए सबसे अच्छा रैखिक निष्पक्ष अनुमानक प्रदान करता है।

बेशक हम निम्न विचरण के लिए पूर्वाग्रह में व्यापार कर सकते हैं, जैसे रिज प्रतिगमन। लेकिन मेरा सवाल पक्षपात न करने से संबंधित है। क्या कोई अन्य अनुमानक हैं जो आमतौर पर कुछ हद तक उपयोग किए जाते हैं, जो निष्पक्ष हैं, लेकिन ओएलएस अनुमानित मापदंडों की तुलना में अधिक भिन्नता है?

अगर मेरे पास एक बड़ा डेटा सेट होता है, तो मैं निश्चित रूप से इसका उप-नमूना कर सकता हूं और कम डेटा वाले मापदंडों का अनुमान लगा सकता हूं, और विचरण बढ़ा सकता हूं। मुझे लगता है कि यह काल्पनिक रूप से उपयोगी हो सकता है।

यह एक आलंकारिक प्रश्न अधिक है, क्योंकि जब मैंने BLUE अनुमानकों के बारे में पढ़ा है, तो एक बुरा विकल्प प्रदान नहीं किया जाता है। मुझे लगता है कि बदतर विकल्प प्रदान करने से लोगों को BLUE अनुमानकों की शक्ति को बेहतर ढंग से समझने में मदद मिल सकती है।

— Gumeo
स्रोत

अधिकतम संभावना अनुमानक के बारे में क्या? उदाहरण के लिए, यदि आपको लगता है कि आपका डेटा एक

डिस्ट्रीब्यूशन से अपेक्षाकृत कम डिग्रियों के साथ आज़ादी के पैरामीटर (

या

लिए वित्तीय रिटर्न की विशेषता हो सकती है) से लिया गया है, तो अधिकतम संभावना अनुमानक OLS के साथ मेल नहीं खाता, लेकिन मुझे लगता है यह अभी भी निष्पक्ष होगा।

t

$t$

t (3)

$t(3)$

t (4)

$t(4)$

— रिचर्ड हार्डी

प्रासंगिक: andrewgelman.com/2015/05/11/…

— kjetil b halvorsen

@ रीचर्डहार्डी, मैंने MLE का भी प्रयास किया, जिसके परिणामों का आपने अनुमान लगाया था।

— क्रिस्टोफ हांक

एक उदाहरण जो दिमाग में आता है, वह है कुछ GLS आकलनकर्ता जो अलग-अलग तरीके से वज़न उठाता है, हालांकि यह आवश्यक नहीं है कि जब गॉस-मार्कोव की मान्यताएं पूरी हो जाएं (जो कि सांख्यिकीविद् को मामला नहीं पता होगा और इसलिए अभी भी लागू करें GLS)।

की एक प्रतिगमन के मामले पर विचार $y_i$ , $i=1,\ldots,n$ चित्रण के लिए एक निरंतर पर (आसानी से सामान्य GLS आकलनकर्ता को सामान्यीकृत)। इधर, $\{y_i\}$ मतलब के साथ एक जनसंख्या से नमूने के तौर पर माना जाता है $\mu$ और विचरण $\sigma^2$ ।

फिर, हम जानते हैं कि OLS बस है , नमूना मतलब। बिंदु पर जोर देना है कि प्रत्येक अवलोकन वजन के साथ दिया जाता है , के रूप में यह लिख $\hat\beta=\bar y$ $1/n$

\hat{β} = \sum_{i = 1}^{n} \frac{1}{n} y_{i} .

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ यह अच्छी तरह से ज्ञात है कि

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ ।

अब, एक और आकलनकर्ता जो के रूप में लिखा जा सकता है पर विचार

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$ जहां वजन इस तरह के हैं कि

\sum_{i} w_{i} = 1

$\sum_iw_i=1$ । यह सुनिश्चित करता है कि आकलनकर्ता निष्पक्ष, के रूप में है

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$

w_{i} = 1 / n

$w_i=1/n$

i

$i$

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$

λ

$\lambda$

w_{i} = w_{j}

$w_i=w_j$

w_{i} = 1 / n

$w_i=1/n$

यहाँ थोड़ा अनुकरण से चित्रमय चित्रण किया गया है, जो नीचे दिए गए कोड के साथ बनाया गया है:

EDIT: @ kjetilbhalvorsen's और @ रिचर्डहार्डी के सुझावों के जवाब में मैं भी शामिल हूं $y_i$ , (4) वितरण पर स्थान पैरामीटर pf का MLE (मुझे चेतावनी मिलती है In log(s) : NaNs producedकि मैंने आगे की जाँच नहीं की) और भूखंड में ह्यूबर के अनुमानक।

हम मानते हैं कि सभी अनुमानक निष्पक्ष प्रतीत होते हैं। हालांकि, आकलनकर्ता जो वजन का उपयोग करता है $w_i=(1\pm\epsilon)/n$ नमूना के आधे के लिए वजन के रूप में अधिक चर है, के रूप में मंझला, टी-वितरण के MLE और ह्यूबर के अनुमानक (केवल थोड़ा बाद में, यहां भी देखें ) हैं।

यह कि बाद के तीन ओएलएस घोल से गलत तरीके से निकले हैं, जिन्हें तुरंत BLUE प्रॉपर्टी (कम से कम मेरे पास नहीं) द्वारा निहित किया गया है, क्योंकि यह स्पष्ट नहीं है कि वे रैखिक अनुमानक हैं (न ही मुझे पता है कि MLE और ह्यूबर निष्पक्ष हैं)।

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— क्रिस्टोफ हांक
स्रोत

साफ! मुझे लगता है कि यह एक बहुत ही सरल उदाहरण है, जो मेरे साथ आया था उससे थोड़ा अधिक सामान्य है। जब लोग लगातार सेटिंग में अनुमानकों के बारे में सीख रहे होते हैं तो मुझे लगता है कि इस तरह के उदाहरण अक्सर गायब होते हैं, वे वास्तव में आपको अवधारणा का एक बेहतर समझ पाने में मदद करते हैं।

— ग्यूमो

एक और संभावना होगी (मजबूत) एक मानदंड को कम करने के आधार पर अनुमानक (जैसे)

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$ कहाँ पे

e_{i}

$e_i$ ith अवशिष्ट है और

w

$w$ कुछ सममित कार्य, उत्तल या गैर-उत्तल है, जिसमें (वैश्विक) न्यूनतम 0 है,

w (0) = 0

$w(0)=0$ । ह्यूबर अनुमानक एक उदाहरण होगा।

— kjetil b halvorsen

@kjetilbhalvorsen, अब मैं भी ह्यूबर अनुमानक को शामिल करता हूं, जो वास्तव में अच्छी तरह से करता है।

— क्रिस्टोफ़ हैनक