वहाँ एक उदाहरण है जहाँ MLE मतलब का एक पक्षपाती अनुमान पैदा करता है?

Question

क्या आप इस बात का एक MLE अनुमानक का उदाहरण प्रदान कर सकते हैं कि पक्षपाती है?

मैं एक उदाहरण की तलाश नहीं कर रहा हूं जो नियमित परिस्थितियों का उल्लंघन करके सामान्य रूप से MLE अनुमानकों को तोड़ता है।

सभी उदाहरण जो मैं इंटरनेट पर देख सकता हूं, वह विचरण को संदर्भित करता है, और मुझे माध्य से संबंधित कुछ भी नहीं मिल रहा है।

संपादित करें

@MichaelHardy ने एक उदाहरण प्रदान किया जहां हमें एक निश्चित प्रस्तावित मॉडल के तहत MLE का उपयोग करते हुए समान वितरण के साधन का एक पक्षपाती अनुमान मिलता है।

तथापि

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

सुझाव देता है कि एमएलई एक समान रूप से न्यूनतम निष्पक्ष अनुमानक है, स्पष्ट रूप से एक अन्य प्रस्तावित मॉडल के तहत।

इस बिंदु पर यह अभी भी मेरे लिए बहुत स्पष्ट नहीं है कि MLE अनुमान से क्या मतलब है अगर यह बहुत ही परिकल्पित मॉडल पर निर्भर है जो एक नमूना मतलब अनुमानक कहने का विरोध करता है जो मॉडल तटस्थ है। अंत में मुझे आबादी के बारे में कुछ अनुमान लगाने में दिलचस्पी है और वास्तव में एक परिकल्पित मॉडल के पैरामीटर के आकलन के बारे में परवाह नहीं है।

EDIT 2

जैसा कि @ChristophHanck ने अतिरिक्त जानकारी के साथ मॉडल को दिखाया और पूर्वाग्रह का परिचय दिया, लेकिन MSE को कम करने का प्रबंधन नहीं किया।

हमारे पास अतिरिक्त परिणाम भी हैं:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (स्लाइड 2) http: // /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (स्लाइड)

"यदि ˆθ का सबसे कुशल निष्पक्ष अनुमानक ie मौजूद है (अर्थात ias निष्पक्ष है और इसका विचरण CRLB के बराबर है) तो अनुमान की अधिकतम संभावना विधि इसे उत्पन्न करेगी।"

"इसके अलावा, अगर एक कुशल अनुमानक मौजूद है, तो यह एमएल अनुमानक है।"

चूंकि मुक्त मॉडल मापदंडों के साथ MLE निष्पक्ष और कुशल है, इसलिए परिभाषा में यह "अधिकतम संभावना अनुमानक" है?

EDIT 3

@AlecosPapadopoulos में गणित मंच पर आधा सामान्य वितरण के साथ एक उदाहरण है।

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

यह वर्दी के मामले में इसके किसी भी पैरामीटर की एंकरिंग नहीं कर रहा है। मैं कहूंगा कि वह इसे सुलझाता है, हालांकि उसने औसत अनुमानक के पूर्वाग्रह का प्रदर्शन नहीं किया है।

Comments

शून्य और थीटा पर एक समान का मतलब है।

— क्रिस्टोफ़ हनक

मैं "आबादी के बारे में कुछ का अनुमान लगाने" और "एक परिकल्पित मॉडल के एक पैरामीटर" के बीच आपके अंतर का पालन नहीं कर सकता। सभी पैरामीट्रिक आँकड़ों में, हम कुछ मापदंडों के आधार पर जनसंख्या को मापते हैं। इस प्रकार, हम मिसकैरेज के मुद्दों में भाग सकते हैं, लेकिन यह मुद्दे पर प्रासंगिक नहीं लगता है।

— क्रिस्टोफ़ हनक

उदाहरण के लिए, एक जनसंख्या को इसके मापदंडों / क्षणों की विशेषता की जा सकती है, जैसे कि माध्य और विचरण (जो सामान्य जनसंख्या के लिए पर्याप्त होगा, उदाहरण के लिए)। और: मुझे नहीं लगता कि लोग इस मंच पर किसी और के साथ आपके साथ कम या ज्यादा पांडित्यपूर्ण हैं।

— क्रिस्टोफ़ हेंक

आप "पैरामीटर" और "मतलब है" के बीच स्विच करने के हाथ के स्पष्ट सफ़ाई के बारे में दुखी महसूस कर रहे हैं, मुझे अपने मतलब के मामले में एक निश्चित गैर नकारात्मक वितरण को परिभाषित करते हैं घनत्व के साथ, $\mu$ के अपने समर्थन पर[0,2μ]...$\frac{1}{2\mu}$$[0, 2\mu]$

— silverfish

आपके संपादित 2 के बारे में, इनमें से कई परिणाम नियमितता शर्तों के तहत प्राप्त होते हैं जो इस धागे में चर्चा किए गए एकसमान उदाहरण के लिए संतुष्ट नहीं होते हैं, जिसके लिए नमूना स्थान पैरामीटर पर निर्भर करता है।

— क्रिस्टोफ़ हेंक

Answer 1

क्रिस्टोफ़ हैनक ने अपने प्रस्तावित उदाहरण का विवरण पोस्ट नहीं किया है। मैं ले यह वह अंतराल पर समान वितरण का मतलब है एक आईआईडी नमूने के आधार पर एक्स 1 , ... , एक्स एन से आकार के और अधिक n = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

माध्य ।$\theta/2$

माध्य का MLE $\max\{X_1,\ldots,X_n\}/2.$

यही कारण है कि जब से पक्षपाती है तो ई ( अधिकतम / 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

पुनश्च: शायद हम नोट करना चाहिए कि इसका मतलब का सबसे अच्छा निष्पक्ष आकलनकर्ता है नहीं नमूना मतलब है, बल्कि है n + $\theta/2$नमूना माध्य का एक घटिया आकलनकर्ता हैθ/2क्योंकि कुछ नमूने के लिए, नमूना माध्य से कम है

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$और यह स्पष्ट रूप से असंभव है के लिएθ/2की तुलना में कम होने के लिएअधिकतम/2.पी एस के अंत$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

मुझे संदेह है कि पारेतो वितरण एक और ऐसा मामला है। यहाँ संभाव्यता माप है: अपेक्षित मान

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ अपेक्षित मान का MLE $\dfrac \alpha {\alpha -1 } \kappa.$ जहांमिनट=मिनट{एक्स1,...,एक्सn} $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

मैंने मतलब के लिए MLE के अपेक्षित मूल्य पर काम नहीं किया है, इसलिए मुझे नहीं पता कि इसका पूर्वाग्रह क्या है।

Comments

Cagdas, यह एक countexample के लिए पूछने के लिए वैध नहीं है और फिर इनकार करते हैं कि आप कुछ और प्रस्तावित करेंगे! यह एक ऐसे फल का उदाहरण पूछने के लिए है जो लाल नहीं है, एक ब्लूबेरी दिखाया जा रहा है, और फिर यह कहना कि इसकी गिनती नहीं है क्योंकि आपको ब्लूबेरी पसंद नहीं है।

— व्हिबर

यह आपके द्वारा पूछे गए प्रश्न के लिए प्रासंगिक नहीं है।

— whuber

@CagdasOzgenc: MLE पक्षपाती है या नहीं यह मॉडल पर निर्भर करता है। बिना मॉडल के MLE जैसी कोई चीज नहीं है। और यदि आप मॉडल को बदलते हैं, तो आप MLE को बदल देते हैं।

— माइकल हार्डी

@CagdasOzgenc यहां एक सामाजिक प्रश्न है: नमूना का मतलब क्या है का एक निष्पक्ष अनुमानक? अनुमान लगाने के लिए आपके पास एक मॉडल होना चाहिए।

— मैथ्यू ड्र्यू

आईड नमूना का मतलब जनसंख्या का निष्पक्ष अनुमानक है, लेकिन किसी व्यक्ति को किसी चीज के निष्पक्ष अनुमानक की जरूरत से ज्यादा संरचना के बिना किसी चीज की अधिकतम-संभावना आकलनकर्ता से बात नहीं की जा सकती है।

— माइकल हार्डी

Answer 2

यहाँ एक उदाहरण है जो मुझे लगता है कि कुछ आश्चर्यजनक लग सकता है:

लॉजिस्टिक रिग्रेशन में, गैर-निर्धारक परिणामों के साथ किसी भी परिमित नमूने के आकार के लिए (अर्थात ), कोई भी अनुमानित प्रतिगमन गुणांक केवल पक्षपाती नहीं है, प्रतिगमन गुणांक का अर्थ वास्तव में अपरिभाषित है।$0 < p_{i} < 1$

ऐसा इसलिए है क्योंकि किसी भी परिमित नमूने के आकार के लिए, परिणामों की सही पृथक्करण प्राप्त करने के लिए नमूनों की संख्या (प्रतिगमन मापदंडों की संख्या की तुलना में बड़ी होने पर) एक सकारात्मक संभावना है (भले ही बहुत छोटा हो। जब ऐसा होता है, तो अनुमानित प्रतिगमन गुणांक या तो होंगे या reg । या तो किया जा रहा है की सकारात्मक संभावना होने - ∞ या ∞ उम्मीद मूल्य अपरिभाषित है निकलता है।$-\infty$$\infty$$-\infty$$\infty$

इस विशेष मुद्दे पर अधिक जानकारी के लिए, Hauck-Donner-effect देखें ।

Comments

यह काफी चालाक है। मुझे आश्चर्य है कि अगर हक-डोनर प्रभाव की गैर-मौजूदगी पर तार्किक प्रतिगमन गुणांक का MLE निष्पक्ष सशर्त है?

— गंग - मोनिका

@gung: संक्षिप्त उत्तर: हक-डोनर प्रभाव को नजरअंदाज करते हुए, पूर्ण प्रतिगमन गुणांक में अभी भी ऊपर की ओर पूर्वाग्रह है (यानी नकारात्मक गुणांक में नीचे की ओर पूर्वाग्रह हैं, सकारात्मक में ऊपर की ओर पूर्वाग्रह हैं)। दिलचस्प है, अनुमानित संभावनाओं में 0.5 की ओर पूर्वाग्रह प्रतीत होता है। मैंने इस पोस्ट पर इसके बारे में लिखना शुरू कर दिया है , लेकिन अनुमानित संभावनाओं के आधार पर अपने परिणामों को नहीं डाला है।

— एबी एबी

Answer 3

हालाँकि @MichaelHardy ने बात बनाई है, यहाँ एक अधिक विस्तृत तर्क दिया गया है कि अधिकतम का MLE क्यों (और इसलिए, इसका मतलब , व्युत्क्रम से) निष्पक्ष नहीं है, हालाँकि यह एक अलग मॉडल में है (देखें नीचे संपादित करें)।$\theta/2$

हम ऊपरी समान वितरण के लिए बाध्य अनुमान । यहाँ, रैंडम सैंपल y के लिए y ( n ) MLE है । हम बताते हैं कि y ( n ) निष्पक्ष नहीं है। इसका cdf $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ इस प्रकार, इसका घनत्व है चy(एन)(एक्स)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ इसलिए, E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

संपादित करें: यह वास्तव में ऐसा मामला है कि (टिप्पणियों में चर्चा देखें) MLE उस मामले के लिए निष्पक्ष है, जिसमें निचली बाउंड और ऊपरी बाउंड b दोनों अज्ञात हैं। फिर, न्यूनतम Y ( 1 ) एक के लिए MLE है , (विवरण छोड़ा गया) अपेक्षित मान E ( Y ( 1 ) ) = n a + $a$$b$$Y_{(1)}$$a$ जबकि E(Y(n))=nb+

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ ताकि MLE(a+b)/2 केलिए Y ( 1 ) +Y ( n $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ अपेक्षित मूल्य E( Y ( 1 ) + Y ( n $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

EDIT 2: हेनरी के बिंदु पर विस्तार से बताने के लिए, यहाँ मीन के अनुमानकों के MSE के लिए थोड़ा सा अनुकरण है, यह दिखाते हुए कि यदि MLE को हम नहीं जानते हैं कि कम बाउंड शून्य है निष्पक्ष है, दो वेरिएंट के लिए MSE समान हैं , यह सुझाव देते हुए कि अनुमानक जो निचली सीमा के ज्ञान को शामिल करता है, परिवर्तनशीलता को कम करता है।

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Comments

क्योंकि विकिपीडिया के साथ शुरू करने के लिए एक अलग मॉडल का प्रस्ताव है। यहीं से मेरा भ्रम दूर होता है।

— कागदस ओजेंकेन

$a=0$$(max+0)/2$

मैंने विवरणों पर काम नहीं किया है, लेकिन उस मॉडल में MLE निष्पक्ष नहीं हो सकता है यदि न्यूनतम उसी राशि से निचली सीमा को घटाता है जैसे कि अधिकतम अधिकतम को कम करता है, ताकि मध्य बिंदु बिना पूर्वाग्रह के अनुमान लगाया जा रहा है।

— क्रिस्टोफ़ हेंक

@ कागदासओजेंक: निष्पक्षता केवल या यहां तक ​​कि बेहतर का सबसे महत्वपूर्ण उपाय नहीं है । समर्थन के एक छोर को ठीक से जानने के बाद, आप माध्य का अनुमान लगाने में त्रुटियों के बीच संतुलन खो सकते हैं, लेकिन आप अंत में (उदाहरण के लिए) रेंज का बेहतर अनुमान लगाते हैं

— हेनरी

छोटे नमूना आकारों के सभी मानदंडों के लिए अधिकतम संभावना अनुमानक हमेशा "सर्वश्रेष्ठ" नहीं होते हैं। तो क्या? वे या तो होने का नाटक नहीं करते हैं। यदि आप अपनी समस्या के लिए एक अलग अनुमानक का उपयोग करना चाहते हैं जिसमें नमूना आकारों के लिए कुछ मानदंड के अनुसार बेहतर गुण हैं जो आपके वास्तविक नमूना आकार के पड़ोस में हैं, तो आप ऐसा करने के लिए स्वतंत्र हैं। मैं ऐसा करता हूं, और दूसरे लोग भी ऐसा करते हैं। कोई भी यह दावा नहीं कर रहा है कि MLE का उपयोग करना सभी स्थितियों में उचित है क्योंकि यह MLE है।

— जुम्मन

Answer 4

यहाँ पर मेरे उत्तर में चूक को पूरा करना। ओपी द्वारा संदर्भित।

$n$ वितरण। इस वितरण के घनत्व और क्षण हैं

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

The log-likelihood of the sample is

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

The first derivative with respect to $v$ is

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

Answer 5

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

Comments

While this example holds true, this actually defies one of the basic regularity conditions for asymptotic results of MLE's: that $k / n \rightarrow 0$, where $k$ is the number of parameters estimated and $n$ is the sample size.

— Cliff AB

@CliffAB the assumption violation is that the parametric dimension is not fixed. The dimension of $\Theta$ goes to $\infty$ as $n \rightarrow \infty$. I think that's what you're saying, but don't know what $k$ means. The practical illustration of this example of course is that these results would be biased even in small samples and you have to use conditional likelihood, like a mixed effects model, to estimate $\sigma$ in this case.

— AdamO

Answer 6

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.