अधिकतम संभावना अनुमान की मानक त्रुटि से क्या अभिप्राय है?

मैं एक गणितज्ञ स्व-अध्ययन के आँकड़े और विशेष रूप से भाषा के साथ संघर्ष कर रहा हूँ।

मैं जिस पुस्तक का उपयोग कर रहा हूं, उसमें निम्नलिखित समस्या है:

एक यादृच्छिक चर को रूप में दिया गया है, जिसे Alpha साथ वर्गीकृत किया गया है । (बेशक, आप इस प्रश्न के लिए एक पैरामीटर के आधार पर कोई भी वितरण ले सकते हैं।) फिर पांच मान , , , , का एक नमूना दिया गया है। $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

पहला भाग: "अधिकतम संभावना की विधि का उपयोग करना, एक अनुमान लगता है की [नमूना] पर आधारित है।" यह कोई समस्या नहीं थी। जवाब है । $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

लेकिन फिर: " " के मानक त्रुटि के लिए एक अनुमान दें । " $\hat{\alpha}$

इसका क्या मतलब है? चूंकि एक निश्चित वास्तविक संख्या है, मैं नहीं देखता कि किस तरह से यह एक मानक त्रुटि हो सकती है। क्या मैं के मानक विचलन का निर्धारण करने के लिए हूं ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

अगर आपको लगता है कि प्रश्न स्पष्ट नहीं है, तो यह जानकारी मेरी भी मदद करेगी।

maximum-likelihood

— स्टीफन
स्रोत

क्या के लिए खड़ा है?

60

$60$

— एलेकोस पापाडोपोलोस 20

क्या आपके पास कोई सूत्र है ? जो आपको इसकी मानक त्रुटि का अनुमान लगाने में मदद करेगा।

\hat{α}

$\hat \alpha$

— रात

@Glen_b लेकिन अगर यह निचली सीमा थी तो यह कैसे हो सकता है कि एहसास किए गए नमूने के सभी मूल्य छोटे हों?

— एलेकोस पापाडोपोलस

@ एलेकोस यह एक उत्कृष्ट बिंदु है। मेरी टिप्पणी का कोई मतलब नहीं है; मैंने इसे मिटा दिया।

— Glen_b -Reinstate Monica

@ एलेकोस:

घनत्व साथ वितरण है ।

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— स्टीफन

जवाबों:

अन्य उत्तर ने मानक त्रुटि की व्युत्पत्ति को कवर किया है, मैं सिर्फ आपको अंकन के साथ मदद करना चाहता हूं:

आपका भ्रम इस तथ्य के कारण है कि सांख्यिकी में हम एस्टीमेटर (जो एक फ़ंक्शन है) को निरूपित करने के लिए बिल्कुल उसी प्रतीक का उपयोग करते हैं, और एक विशिष्ट अनुमान (जो कि अनुमानकर्ता को इनपुट के विशिष्ट नमूने के रूप में प्राप्त होने पर प्राप्त होता है)।

So और for । So यादृच्छिक चर का एक कार्य है और इसलिए एक यादृच्छिक चर है, जिसमें निश्चित रूप से एक भिन्नता है। $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

एमएल आकलन में, कई मामलों में हम जो गणना कर सकते हैं वह एसिम्प्टोटिक मानक त्रुटि है, क्योंकि अनुमानक का परिमित-नमूना वितरण ज्ञात नहीं है (व्युत्पन्न नहीं किया जा सकता है)।

कड़ाई से बोलते हुए, में एक असममित वितरण नहीं होता है, क्योंकि यह एक वास्तविक संख्या (एमएल अनुमान के लगभग सभी मामलों में सही संख्या) में परिवर्तित हो जाता है। लेकिन मात्रा एक सामान्य यादृच्छिक चर (केंद्रीय सीमा प्रमेय के अनुप्रयोग द्वारा परिवर्तित होती है। $\hat \alpha$ $\sqrt n (\hat \alpha - \alpha)$

उल्लेखनीय भ्रम का एक दूसरा बिंदु : अधिकांश, यदि सभी पाठ नहीं हैं, तो ("Avar" = asymptotic प्रसरण ") लिखेंगे, जबकि उनका अर्थ है , अर्थात वे मात्रा के वर्गमूलक विचलन का उल्लेख करते हैं , ... मूल पेरेटो के मामले के लिए वितरण हमारे पास है $\text {Avar}(\hat \alpha)$ $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

और so

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(लेकिन जो आपको लिखा मिलेगा वह है ) $\text {Avar}(\hat \alpha ) = \alpha^2$

अब, किस अर्थ में एस्टिमेटर का एक "एसिम्प्टोटिक विचरण" है, जैसा कि कहा गया है, एसिम्पोटिक रूप से यह एक स्थिर में परिवर्तित होता है? ठीक है, एक अनुमानित अर्थ में और बड़े लेकिन परिमित नमूने के लिए। यानी कहीं-कहीं "छोटे" नमूने के बीच, जहां एस्टीमेटर एक यादृच्छिक चर है (आमतौर पर) अज्ञात वितरण के साथ, और "अनंत" नमूना, जहां अनुमानक एक स्थिर है, यह "बड़ा लेकिन परिमित नमूना क्षेत्र" है जहां अनुमानक अभी तक स्थिर नहीं हुआ है और जहां इसका वितरण और विचरण एक गोल चक्कर रास्ते से होता है, पहले सेंट्रल लिमिट थ्योरम का उपयोग करके मात्रा का ठीक से विषम वितरण प्राप्त करें $\hat \alpha$ $Z = \sqrt n (\hat \alpha - \alpha)$ (जो सीएलटी के कारण सामान्य है), और फिर चीजों को घुमाकर लिख रहा है (एक कदम पीछे ले जाते हुए और को परिमित मानकर) जो दिखाता है सामान्य रैंडम वेरिएबल एफाइन फंक्शन के रूप में , और इसलिए सामान्य रूप से खुद को (हमेशा लगभग) वितरित किया जाता है। $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— एलेकोस पापाडोपोलोस
स्रोत

+1 को और बीच अंतर करने के लिए - निश्चित रूप से अंकन असंगत हो सकता है।

\hat{α}

$\hat{\alpha}$

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— नैट पोप

$\hat{\alpha}$ - एक अधिकतम संभावना अनुमानक - एक यादृच्छिक नमूने का एक कार्य है, और इसलिए यादृच्छिक (निश्चित नहीं) भी है। फिशर सूचना से की मानक त्रुटि का एक अनुमान प्राप्त किया जा सकता है, $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

जहाँ एक पैरामीटर है और यादृच्छिक नमूना पर का लॉग-लाइक फ़ंक्शन है । वास्तव में, फिशर जानकारी MLE के चारों ओर लॉग-लाइलेबिलिटी सतह की वक्रता की स्थिरता को इंगित करता है, और इसलिए ' ' के बारे में 'जानकारी' की मात्रा बारे में प्रदान करती है । $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

एक एक साकार साथ वितरण, लॉग-लाइबिलिटी जहां ज्ञात है: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

फिशर जानकारी की परिभाषा में प्लगिंग,

\begin{aligned} एल (α | y, y_{0}) & = लॉग α + α लॉग y_{0} - (α + 1) लॉग y \\ {एल}^{'} (α | y, y_{0}) & = \frac{1}{α} + लॉग y_{0} - लॉग y \\ {एल}^{"} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

नमूने के लिए

अधिकतम संभावना आकलनकर्ता

asymptotically के रूप में वितरित किया जाता है

मैं (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

जहां

नमूना आकार है। क्योंकि

अज्ञात है, हम में प्लग कर सकते हैं

एक अनुमान मानक त्रुटि प्राप्त करने के लिए:

\begin{aligned} \hat{α} \overset{n \to \infty}{~} एन (α, \frac{1}{n मैं (α)}) = एन (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$

एस इ (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— नैट पोप
स्रोत

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$