न्यूनतम अनुमानक में सुधार

मान लीजिए कि मेरे पास और उनके संबंधित निष्पक्ष अनुमानों का अनुमान लगाने के लिए सकारात्मक पैरामीटर हैं जो कि अनुमानकर्ताओं द्वारा उत्पादित हैं। , यानी , और इसी तरह। $n$ $\mu_1,\mu_2,...,\mu_n$ $n$ $\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$ $\mathrm E[\hat{\mu_1}]=\mu_1$ $\mathrm E[\hat{\mu_2}]=\mu_2$

मैं हाथ से अनुमानों का उपयोग करके का अनुमान । स्पष्ट रूप से भोली अनुमानक पक्षपाती के रूप में निम्नतर पक्षपाती है $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$ $\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

E [m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})] \leq m i n (μ_{1}, μ_{2}, . . ., μ_{n})

$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$

मान लीजिए कि मेरे पास संगत अनुमानक । क्या दिए गए अनुमानों और सहसंयोजी मैट्रिक्स का उपयोग करके निष्पक्ष (या कम पक्षपातपूर्ण) अनुमान प्राप्त करना संभव है? $\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

unbiased-estimator estimators minimum

— कगदस ओजगेंक
स्रोत

क्या आप बायेसियन एमसीएमसी दृष्टिकोण का उपयोग करने के लिए तैयार हैं या आपको कुछ बंद फार्मूला की आवश्यकता है?

— मार्टिन मोड्राक

लेकिन एक साधारण नमूना दृष्टिकोण ठीक है? (यह भी, आप बेयसियन विश्लेषण के लिए कड़ाई से

— पादरियों की

@ MartinModrák मैं नमूने के दृष्टिकोण के साथ अनुभवी नहीं हूं। यदि मैं बायेसियन करता हूं तो मैं आमतौर पर साधारण संयुग्मित सामान करता हूं। लेकिन अगर आपको लगता है कि यह जाने का रास्ता है तो मैं आगे जाकर सीखूंगा।

— कागदस ओजेंक

आप इन अनुमानों के बारे में और क्या जानते हैं? क्या आप भाव जानते हैं? क्या आप इन मापदंडों का अनुमान लगाने के लिए उपयोग किए गए डेटा के वितरण को जानते हैं?

— विज

@ मैं जरूरत पड़ने पर अनुमानकों के कुछ अन्य क्षणों का अनुमान लगाने की कोशिश कर सकता हूं। मेरे पास आकलनकर्ताओं के वितरण के लिए एक विश्लेषणात्मक अभिव्यक्ति नहीं है। समाधान डेटा के वितरण पर निर्भर होना चाहिए (मेरी आवश्यकता के रूप में) नहीं होना चाहिए।

— कागदस ओजेंक

जवाबों:

निष्पक्ष अनुमानक के अस्तित्व के बारे में मेरे पास कोई स्पष्ट जवाब नहीं है। हालांकि, अनुमान त्रुटि के संदर्भ में, अनुमान लगा रहा है $\min(\mu_1, \dots, \mu_n)$ सामान्य रूप से आंतरिक समस्या है।

उदाहरण के लिए, , और । चलो हो लक्ष्य मात्रा और का एक अनुमान है । यदि हम "भोले" आकलनकर्ता जहां , तो, अनुमान त्रुटि ऊपरी को निरंतर तक। (कि नोट प्रत्येक के लिए अनुमान त्रुटि है )। बेशक, अगर $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$ $\mu = (\mu_1, \dots, \mu_n)$ $\theta = \min_i \mu_i$ $\hat{\theta}$ $\theta$ $\hat{\theta} = \min_i(\bar{Y}_i)$ $\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$ $L_2$

E [\hat{θ} - θ]^{2} ⪅ \frac{σ^{2} \log n}{N}

$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$

μ_{i}

$\mu_i$

\frac{σ^{2}}{N}

$\frac{\sigma^2}{N}$

μ_{i}

$\mu_i$ एक दूसरे से बहुत दूर हैं और बहुत छोटा है, अनुमान त्रुटि को घटाकर कर दिया जाना चाहिए । हालांकि, सबसे खराब स्थिति में, वहाँ का कोई अनुमान है अनुभवहीन आकलनकर्ता की तुलना में बेहतर काम करता है। आप ठीक से दिखा सकते हैं कि जहां अनंत नमूना और आधार पर _ सभी संभावित एस्टीमेट को अपने कब्जे में लेता है और s के सभी संभव कॉन्फ़िगरेशन को ।

σ

$\sigma$

\frac{σ^{2}}{N}

$\frac{\sigma^2}{N}$

θ

$\theta$

inf_{\hat{θ}} sup_{μ_{1}, \dots, μ_{n}} E [\hat{θ} - θ]^{2} ⪆ \frac{σ^{2} \log n}{N}

$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$

θ

$\theta$

Y_{1}, \dots, Y_{N}

$Y_1,\dots, Y_N$

μ_{i}

$\mu_i$

इसलिए भोला अनुमानक स्थिरांक के लिए न्यूनतम इष्टतम है, और इस अर्थ में का कोई बेहतर अनुमान नहीं है। $\theta$

— जेहेयोक शिन
स्रोत

आपूर्ति की गई अतिरिक्त जानकारी बिल्कुल भी मदद नहीं कर रही है? कौन से अतिरिक्त आँकड़े मददगार हो सकते हैं?

— कैगदास ओजेंक

एक भ्रामक बिंदु बनाने के लिए क्षमा करें। मेरा मतलब यह नहीं था कि अतिरिक्त जानकारी (सहसंयोजक) मददगार नहीं है। मैं सिर्फ यह बताना चाहता हूं कि न्यूनतम जनसंख्या का अनुमान लगाना मुश्किल है। सहसंयोजक जानकारी सहायक होनी चाहिए। उदाहरण के लिए, सामान्य स्थिति में, यदि हमारे पास सभी संभावित जोड़ों के लिए सही सहसंबंध हैं, तो इसका मतलब है कि यादृच्छिक अवलोकन विभिन्न माध्य + सामान्य शोर शब्द से आते हैं। इस मामले में, भोला अनुमानक (नमूना के न्यूनतम साधन) निष्पक्ष है।

— Jaeyeok शिन

संपादित करें: निम्नलिखित उत्तर को एक अलग प्रश्न के रूप में पूछा गया था - इसे ऐसा माना जाता है जैसे कि को यादृच्छिक माना जाता है, लेकिन काम नहीं करता है जब को निश्चित माना जाता है, जो संभवतः ओपी के दिमाग में था। यदि निश्चित है, तो मेरे पास से बेहतर उत्तर नहीं है $\mu$ $\mu$ $\mu$ $\min(\hat\mu_1,...,\hat\mu_n)$

यदि हम केवल माध्य और सहसंयोजक के लिए अनुमानों पर विचार करते हैं, तो हम बहुभिन्नरूपी सामान्य वितरण से एकल नमूने के रूप में उपचार कर सकते हैं । न्यूनतम का अनुमान प्राप्त करने का एक सरल तरीका तब से बड़ी संख्या में नमूने खींचना है , प्रत्येक नमूने की न्यूनतम गणना करें और फिर उन मिनीमा का मतलब निकालें। $(\mu_1, ..., \mu_n)$ $MVN(\hat{\mu}, \Sigma)$

उपरोक्त प्रक्रिया और इसकी सीमाओं को बायेसियन शब्दों में समझा जा सकता है - एमवीएन पर विकिपीडिया से संकेतन लेते हुए , अगर अनुमानकर्ताओं का ज्ञात सहसंयोजक है और हमारे पास एक अवलोकन है, तो संयुक्त पीछे का वितरण जहां और पूर्व से उठते हैं, जहां किसी भी डेटा को देखने से पहले हम पूर्व लेते हैं )। चूँकि आप शायद पुजारियों को पर रखने के लिए तैयार नहीं हैं , इसलिए हम सीमा को रूप में ले सकते हैं , जिसके परिणामस्वरूप फ्लैट पहले से बन जाएगा और पीछे $\Sigma$ $\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$ $\lambda_0$ $m$ $\mu \sim MVN(\lambda_0, m^{-1} \Sigma$ $\mu$ $m \rightarrow 0$ $\mu \sim MVN(\hat{\mu}, \Sigma)$ । हालाँकि, फ्लैट दिए जाने से पहले हम यह अनुमान लगा रहे हैं कि के तत्व बहुत भिन्न हैं (यदि सभी वास्तविक संख्या समान रूप से होने की संभावना है, तो समान मान प्राप्त करना बहुत संभावना नहीं है)। $\mu$

एक त्वरित अनुकरण से पता चलता है कि इस प्रक्रिया में थोड़ा overestimates साथ अनुमान जब के तत्वों एक बहुत और underestimates के अलग जब तत्वों के समान हैं। कोई यह तर्क दे सकता है कि बिना किसी पूर्व ज्ञान के यह सही व्यवहार है। यदि आप कम से कम कुछ पूर्व सूचना (उदाहरण के लिए ) के लिए तैयार हैं, तो परिणाम आपके उपयोग के मामले में थोड़ा बेहतर व्यवहार कर सकते हैं। $min(\mu)$ $\mu$ $min(\mu)$ $m = 0.1$

यदि आप अधिक संरचना ग्रहण करने के इच्छुक हैं, तो आप मल्टीवार्इट सामान्य की तुलना में बेहतर वितरण का चयन करने में सक्षम हो सकते हैं। यह भी समझ में आता है कि स्टेन या अन्य MCMC नमूना का उपयोग करने के लिए पहली जगह में के अनुमान को फिट किया जा सकता है। यह आपको के नमूनों का एक सेट मिलेगा जो अनुमानकर्ताओं में अनिश्चितता को दर्शाते हैं, जिसमें उनकी सहसंयोजक संरचना (संभवतः MVN क्या प्रदान कर सकती है) से अधिक समृद्ध है। एक बार फिर से आप प्रत्येक नमूने के लिए न्यूनतम गणना करने की तुलना में मिनिमा पर एक समान वितरण प्राप्त कर सकते हैं, और यदि आपको एक बिंदु अनुमान की आवश्यकता है तो इस वितरण का मतलब निकालें। $\mu$ $(\mu_1, ..., \mu_n)$

— मार्टिन मोद्रक
स्रोत

ध्यान दें कि मैं न्यूनतम रैंडम चर का अनुमान लगाने की कोशिश नहीं कर रहा हूं। मैं न्यूनतम एन मापदंडों का अनुमान लगाने की कोशिश कर रहा हूं। ऐसा लगता है कि आपका सुझाव लिए एक अनुमान है, जबकि मुझे लिए एक अनुमान की आवश्यकता है

E [m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})]

$E[min(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]$

m i n (μ_{1}, μ_{2}, . . ., μ_{n})

$min(\mu_1,\mu_2,...,\mu_n)$

— Cagdas Ozgenc

मैंने तर्क को समझाने के लिए उत्तर को संपादित करने की कोशिश की, आशा है कि मदद करता है।

— मार्टिन मोद्रेक

तो क्या यह नमूना विधि सरल परिणाम की तुलना में बेहतर परिणाम अनुमानक, जो तब भी अच्छी तरह से काम करता है जब दूर होते हैं जब वे करीब होते हैं तो अलग और कम आंकते हैं। उपयोगी होने के लिए यह तब काम करना चाहिए जब वे करीब हों।

m i n (\hat{μ_{1}}, \hat{μ_{2}}, . . ., \hat{μ_{n}})

$min(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

μ_{i}

$\mu_i$

— कागदस ओजगें

यह भी ध्यान दें कि सभी सकारात्मक संख्याएं हैं, इसलिए आपको वास्तव में वास्तविक रेखा के नकारात्मक भाग की आवश्यकता नहीं है।

μ_{i}

$\mu_i$

— कागदस ओजेंक

आप सही हैं कि मैं संकेतों को अनदेखा करता हूं और मुझे उन्हें समायोजित करने का एक सरल तरीका नहीं दिखता है। इसके अलावा, मेरे द्वारा प्रस्तावित अनुमानक बेहतर प्रदर्शन करता है जब को यादृच्छिक माना जाता है, लेकिन यह फिक्स्ड लिए से भी बदतर है । मुझे नहीं लगता कि मैं इसे उबार सकता हूं और मैं अनिश्चित हूं कि आगे का सबसे अच्छा तरीका क्या है - मैं जवाब को हटाने की कोशिश करने के लिए इच्छुक हूं क्योंकि यह वास्तव में सवाल का जवाब नहीं देता है, लेकिन (मुझे उम्मीद है कि उत्तर में भी कुछ विचार हैं) किसी के लिए उपयोगी हो सकता है।

μ

$\mu$

m i n (\hat{μ})

$min(\hat{\mu})$

μ

$\mu$

— मार्टिन मोद्रक