क्या नमूना का अर्थ कुछ अर्थों में वितरण का "सबसे अच्छा" अनुमान है?

बड़ी संख्या के (कमजोर / मजबूत) कानून द्वारा, कुछ iid नमूना अंक दिए गए एक वितरण का, उनके नमूने का मतलब वितरण का अभिप्राय दोनों संभाव्यता में और जैसा कि नमूना आकार अनंत तक जाता है। $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

जब नमूना आकार तय हो जाता है, तो मुझे आश्चर्य होता है कि क्या LLN अनुमानक कुछ अर्थों में एक अनुमानक सबसे अच्छा है? उदाहरण के लिए, $N$ $f^*$

इसकी उम्मीद वितरण का मतलब है, इसलिए यह एक निष्पक्ष अनुमानक है। इसका प्रसरण जहां वितरण संस्करण है। लेकिन क्या यह UMVU है? $\frac{\sigma^2}{N}$ $\sigma^2$
क्या कुछ कार्य जैसे कि न्यूनतम समस्या को हल करें: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
दूसरे शब्दों में, wrt कुछ विपरीत समारोह सबसे अच्छा है न्यूनतम विपरीत ढांचे में (धारा 2.1 cf "में" आकलन की बुनियादी Heuristics " गणितीय सांख्यिकी: बुनियादी विचारों और चयनित विषयों, खंड 1 " बिकल और Doksum द्वारा)। $f^*$ $l_0$

उदाहरण के लिए, यदि वितरण गौसियन वितरण के परिवार से जाना जाता है / प्रतिबंधित है, तो नमूना माध्य वितरण का MLE अनुमानक होगा, और MLE न्यूनतम विपरीत रूपरेखा के अंतर्गत आता है, और इसके विपरीत कार्य लॉग संभावना है समारोह। $l_0$
क्या कोई फंक्शन ऐसा है कि कम से कम समस्या का समाधान करें: किसी भी वितरण के लिए की कुछ परिवार के भीतर वितरण का? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
दूसरे शब्दों में, सबसे अच्छा wrt है कुछ खोए हुए कार्य और कुछ परिवार के निर्णय में सिद्धांतिक ढाँचा (cf खंड 1.3 "निर्णय सिद्धांत फ्रेमवर्क" " गणितीय आँकड़े: मूल विचार और चयनित विषय, खंड 1 ) Bickle और Doksum द्वारा)। $f^*$ $l$ $F$

ध्यान दें कि उपरोक्त तीन अलग-अलग व्याख्याएं हैं "सर्वश्रेष्ठ" अनुमान के लिए जो मैंने अब तक जाना है। यदि आप अन्य संभावित व्याख्याओं के बारे में जानते हैं जो एलएलएन अनुमानक पर लागू हो सकती हैं, तो कृपया इसका उल्लेख करने में संकोच न करें।

estimation expected-value law-of-large-numbers

— टिम
स्रोत

एक अनुमानक को चिह्नित करने का एक और तरीका: कृपया यहां निरंतर अनुमानक के बारे में पढ़ें । नमूना माध्य LLN के कारण सुसंगत है।

— रोहित बंगा

नमूना का मतलब कई अच्छे और दिलचस्प गुण हैं लेकिन कभी-कभी वे सबसे अच्छे नहीं होते हैं जो किसी विशेष स्थिति में हो सकते हैं। एक उदाहरण ऐसे मामलों में है जहां वितरण का समर्थन पैरामीटर के मूल्य पर निर्भर करता है। पर विचार करें , तो की एक निष्पक्ष आकलनकर्ता है वितरण का अर्थ थाटा है, लेकिन यह UMVUE नहीं है, उदाहरण के लिए, सबसे बड़े ऑर्डर स्टेटिस्टिक आधार पर निष्पक्ष अनुमानों के नमूने के मतलब से छोटा विचरण होगा।

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— विटालस्टैटिस्टिक्स

धन्यवाद! लेकिन इसके विचरण की गणना कैसे की जाती है?

— टिम

का पीडीएफ , सबसे बड़ा ऑर्डर स्टेटिस्टिक द्वारा दिया जाता है, , इसलिए निष्पक्ष अनुमानक का विचरण होगा, , अर्थात विचरण नमूना के विचरण की तुलना में के क्रम का है, जो क्रम ।

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— विटालस्टैटिस्टिक्स

@VitalStatistix, क्या मैं पूरी तरह से यहाँ कुछ याद कर रहा हूँ? यदि चर the पर समान हैं उनके नमूने का मतलब प्रत्याशा , तो क्या आप का निष्पक्ष अनुमानक प्राप्त करने के लिए 2 से गुणा नहीं करना चाहते हैं ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

एक न्यूनतम विपरीत अनुमानक, कुछ तकनीकी परिस्थितियों में, दोनों संगत और समान रूप से सामान्य है। नमूना माध्य के लिए, यह पहले से ही एलएलएन और केंद्रीय सीमा प्रमेय का अनुसरण करता है। मुझे नहीं पता कि न्यूनतम विपरीत अनुमानक किसी भी तरह से "इष्टतम" हैं। न्यूनतम विपरीत अनुमानकों के बारे में क्या अच्छा है कि कई मजबूत अनुमानक (जैसे कि माध्यिका, ह्यूबर अनुमानक, नमूना मात्राएँ) इस परिवार में आते हैं, और हम यह निष्कर्ष निकाल सकते हैं कि वे न्यूनतम विपरीत अनुमानों के लिए सामान्य प्रमेय को लागू करके सुसंगत और विषम रूप से सामान्य हैं, इसलिए जब तक हम कुछ तकनीकी स्थितियों की जांच करते हैं (हालांकि अक्सर यह लगता है की तुलना में बहुत मुश्किल है)।

आपके प्रश्न में उल्लेख नहीं किया गया इष्टतमता की एक धारणा दक्षता है, जो मोटे तौर पर बोल रही है, एक निश्चित गुणवत्ता का अनुमान प्राप्त करने के लिए आपको कितना बड़ा नमूना चाहिए। माध्य और माध्य की दक्षता की तुलना के लिए http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency देखें (माध्य अधिक कुशल है, लेकिन मध्यक आउटलेर्स के लिए अधिक मजबूत है)।

तीसरे प्रश्न के लिए, कार्य के सेट पर कुछ प्रतिबंध के बिना, जिस पर आप argmin पा रहे हैं, मुझे नहीं लगता कि नमूना का मतलब इष्टतम होगा। किसी भी वितरण P के लिए, आप f को स्थिर जो की उपेक्षा करता है और विशेष P के लिए नुकसान को कम करता है। नमूना मतलब यह नहीं हरा सकता है। $x_i$

मिनिमैक्स इष्टतमता आपके द्वारा दिए गए की तुलना में एक कमजोर स्थिति है: यह पूछने के बजाय कि एक वर्ग में किसी भी लिए सबसे अच्छा कार्य है , आप पूछ सकते हैं कि का सबसे खराब स्थिति वाला प्रदर्शन है। यह है कि, argmin और अपेक्षा के बीच, एक । बायेसियन optimality एक और तरीका है: पर एक पूर्व वितरण डाल , और अधिक उम्मीद ले अच्छी तरह से नमूना के रूप में के रूप में । $f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
स्रोत

धन्यवाद! क्या न्यूनतम विपरीत अनुमानक के गुणों पर कुछ अच्छे संदर्भ हैं, जैसे कि सुसंगत और विषम रूप से सामान्य, साथ ही साथ माध्य, ह्यूबर अनुमानक, नमूना मात्रात्मक जैसे उदाहरण?

— टिम

बिकेल और डोकसम पुस्तक की धारा 5.2.2 में आपके हवाले से न्यूनतम विपरीत अनुमानकर्ताओं की संगति पर एक प्रमेय है। खंड 5.4.2 में विषमतात्मक सामान्यता पर चर्चा की गई है। एक अन्य स्रोत जो मैं सुझाता हूं, और जो मेरे द्वारा उल्लेख किए गए अन्य अनुमानकों पर चर्चा करता है, वह है वैन डेर वार्ट की एसिम्प्टोटिक सांख्यिकी पुस्तक। अध्याय 5 एम-आकलनकर्ताओं पर है, जो न्यूनतम विपरीत अनुमानकर्ताओं के लिए उनका नाम है।

— डेविड आरटी

धन्यवाद! क्या आपके पहले पैराग्राफ में मानदंड एक ऑन है या यह होना चाहिए मानदंड?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— टिम

मेरा मतलब है कि मानक यूक्लिडियन मानदंड - मैंने इसे स्पष्ट करने के लिए वेक्टर संकेतन में बदल दिया है।

— डेविड आरटी

डेविड, धन्यवाद! (१) मेरी पोस्ट के भाग ३ के बारे में, मुझे आश्चर्य है कि अगर नमूना का अर्थ है, एलएलएन अनुमानक, कुछ हानि फ़ंक्शन लिए निर्णय सिद्धांत ढांचे में फिट हो सकता है ? (२) मुझे यह धारणा है कि सभी अनुमानक, जैसे कि MLE और Least Square Estimator, न्यूनतम विपरीत रूपरेखा में फिट होते हैं, लेकिन निर्णय सिद्धांत संबंधी रूपरेखा नहीं। तो क्या निर्णय सिद्धांत का उपयोग अनुमानकों के निर्माण के लिए नहीं किया जाता है, बल्कि केवल उनका मूल्यांकन करने के लिए किया जाता है?

l

$l$

— टिम