स्टाइन के विरोधाभास केवल आयाम में क्यों लागू होता है इसके पीछे का तर्क

स्टीन के उदाहरण से पता चलता है कि की अधिकतम संभावना का अनुमान सामान्य रूप से वितरित चर का मतलब है और variances (एक वर्ग हानि फ़ंक्शन के तहत) iff । साफ-सुथरे प्रमाण के लिए, बड़े पैमाने पर इंजेक्शन का पहला अध्याय देखें : ब्रैडली एफ्रॉन द्वारा अनुमान, परीक्षण और भविष्यवाणी के लिए अनुभवजन्य तरीके । $n$ $\mu_1,\ldots,\mu_n$ $1$ $n\ge 3$

यह मेरे लिए पहली बार में बहुत ही आश्चर्यचकित करने वाला था, लेकिन इसके पीछे कुछ अंतर्ज्ञान है कि कोई व्यक्ति मानक अनुमान को बेवजह होने की उम्मीद क्यों कर सकता है (सबसे विशेष रूप से, अगर , तो , जैसा कि स्टीन के मूल पेपर में उल्लिखित है, नीचे लिंक किया गया है)। $x \sim \mathcal N(\mu,1)$ $\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

मेरा प्रश्न यह है: $n$ -dimporary space ( $n\ge 3$ ) की क्या संपत्ति $\mathbb{R}^2$ कमी है जो स्टीन के उदाहरण की सुविधा देती है? संभव उत्तर $n$ क्षेत्र के वक्रता , या कुछ पूरी तरह से अलग के बारे में हो सकता है ।

दूसरे शब्दों में, MLE क्यों में स्वीकार्य है $\mathbb{R}^2$ ?

1 संपादित करें: 1.30 के बाद से 1.31 के बारे में @mpiktas चिंता के जवाब में:

E_{μ} (‖ z - \hat{μ} ‖^{2}) = E_{μ} (S {(\frac{N - 2}{S})}^{2}) = E_{μ} (\frac{(N - 2)^{2}}{S}) .

$E_\mu\left(\|z-\hat{\mu}\|^2\right)=E_\mu\left(S\left(\frac{N-2}{S}\right)^2\right)=E_\mu\left(\frac{(N-2)^2}{S}\right).$

\hat{μ_{i}} = (1 - \frac{N - 2}{S}) z_{i}

$\hat{\mu_i} = \left(1-\frac{N-2}{S}\right)z_i$ इसलिए

E_{μ} (\frac{\partial \hat{μ_{i}}}{\partial z_{i}}) = E_{μ} (1 - \frac{N - 2}{S} + 2 \frac{z_{i}^{2}}{S^{2}}) .

$E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=E_\mu\left( 1-\frac{N-2}{S}+2\frac{z_i^2}{S^2}\right).$ इसलिए हमारे पास है:

2 \sum_{i = 1}^{N} E_{μ} (\frac{\partial \hat{μ_{i}}}{\partial z_{i}}) = 2 N - 2 E_{μ} (\frac{N (N - 2)}{S}) + 4 E_{μ} (\frac{(N - 2)}{S}) = 2 N - E_{μ} \frac{2 (N - 2)^{2}}{S} .

$2\sum_{i=1}^N E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=2N-2E_\mu\left(\frac{N(N-2)}{S}\right)+4E_\mu\left(\frac{(N-2)}{S}\right)\\=2N-E_\mu\frac{2(N-2)^2}{S}.$

संपादन 2 : इस पत्र में , स्टीन साबित करता है कि MLE लिए स्वीकार्य है $N=2$ ।

— हर
स्रोत

@mpiktas यह दिखने में उतना अनुपयुक्त नहीं है। स्थिति एक एनोवा के समान है जब हम एक पर्याप्त कमी लागू करते हैं। यह संकेत देता है कि समूह के सामान्य एएनओएए अनुमानों का अर्थ है कि हम 3 से अधिक समूहों के साधनों का अनुमान लगाने की कोशिश कर रहे हैं (जो सच हो जाता है) अनजाने में उपलब्ध हैं। मैं उन साक्ष्यों को देखने की सलाह दूंगा जो MLE लिए स्वीकार्य हैं और यह देखने में विफल रहता है कि जब वे का विस्तार करने की कोशिश कर रहे थे, तो केवल साक्ष्यों को देखते हुए कि स्टीन का अनुमानक वही करता है जो वह करने का दावा करता है, जो एक बार आसान है आपके पास वास्तव में अनुमानक है।

N = 1, 2

$N = 1, 2$

N = 3

$N = 3$

— लड़का

... और स्टीन के लेम्मा का उपयोग करना जानते हैं। मुझे लगता है कि यह वास्तव में 6 मिनट पहले की तुलना में थोड़ा कम सीधे आगे है।

— लड़का

मैं सहमत हूँ। क्या आपके पास इसके लिए कोई अच्छा संदर्भ है (मूल कागज से अलग)। मैंने पाया कि स्टीन का मूल पेपर अत्यधिक कम्प्यूटेशनल था और उम्मीद कर रहा था कि किसी ने पिछले पचास वर्षों में एक अलग विधि विकसित की होगी।

— हर

जो प्रमाण मुझे पढ़ाया गया था, वह 1983 से ब्राउन और ह्वांग का था, जो 1950 के दशक के शुरुआती दिनों से बेली द्वारा सुझाई गई विधि का उपयोग करता है। यह बहुत सामान्य है (स्टीन के परिणाम से अधिक सामान्य है कि यह घातीय परिवार के लिए काम करता है) और, मेरा मानना है कि, स्टीन से काफी अलग है। लेकिन यह तुच्छ नहीं है।

— लड़का

@ बहुत बढ़िया सवाल! (+1)

— १su

जवाबों:

मामलों के बीच विरोधाभास और एक की संकरी की MLE की स्वीकार्यता के लिए आयामी मल्टीवेरिएट सामान्य यादृच्छिक चर निश्चित रूप से चौंकाने वाला है। $d < 3$ $d \geq 3$ $d$

प्रायिकता और सांख्यिकी में एक और बहुत प्रसिद्ध उदाहरण है जिसमें और मामलों के बीच एक । यह जाली पर एक साधारण यादृच्छिक चलना की पुनरावृत्ति है । यही है, -डायनामिक सिंपल रैंडम वॉक 1 या 2 आयामों में आवर्तक है, लेकिन आयामों में क्षणिक है । निरंतर-समय का एनालॉग (ब्राउनियन गति के रूप में) भी धारण करता है। $d < 3$ $d \geq 3$ $\mathbb{Z}^d$ $d$ $d \geq 3$

यह पता चला है कि दोनों निकट से संबंधित हैं।

लैरी ब्राउन ने साबित किया कि दो सवाल अनिवार्य रूप से बराबर हैं। यही है, सबसे अच्छा अपरिवर्तनीय आकलनकर्ता एक -dimimensional बहुभिन्नरूपी सामान्य माध्य वेक्टर का स्वीकार्य है यदि और केवल यदि -dimimensional ब्राउनियन गति आवर्तक है। $\hat{\mu} \equiv \hat{\mu}(X) = X$ $d$ $d$

वास्तव में, उसके परिणाम बहुत आगे जाते हैं। के लिए किसी भी समझदार (यानी, सामान्यीकृत Bayes) आकलनकर्ता के साथ घिरे (सामान्यीकृत) जोखिम, वहाँ एक स्पष्ट है (!) इसी आयामी प्रसार ऐसी है कि आकलनकर्ता स्वीकार्य है यदि और केवल यदि उसका संबंधित प्रसार आवर्तक है। $\tilde{\mu} \equiv \tilde{\mu}(X)$ $L_2$ $d$ $\tilde{\mu}$

इस प्रसार का स्थानीय अर्थ अनिवार्य रूप से दो अनुमानकों के बीच की विसंगति है, अर्थात, और प्रसार का सहवास । इससे, यह देखना आसान है कि MLE , हम पुनर्प्राप्त (पुनर्विकसित) ब्राउनियन गति। $\tilde{\mu} - \hat{\mu}$ $2 I$ $\tilde{\mu} = \hat{\mu} = X$

तो, कुछ अर्थों में, हम स्टोकेस्टिक प्रक्रियाओं के लेंस के माध्यम से ग्राह्यता के प्रश्न को देख सकते हैं और वांछित निष्कर्ष पर पहुंचने के लिए विसरित गुणों का अच्छी तरह से अध्ययन कर सकते हैं।

संदर्भ

एल। ब्राउन (1971)। स्वीकार्य अनुमानक, आवर्तक प्रसार और अघुलनशील सीमा मूल्य समस्याएं । एन। गणित। स्टेट। , वॉल्यूम। 42, सं। 3, पीपी। 855-903
आरएन भट्टाचार्य (1978)। पुनरावृत्ति के लिए मानदंड और बहुआयामी प्रसार के लिए अपरिवर्तनीय उपायों के अस्तित्व । एन। समस्या। , वॉल्यूम। 6, नहीं। 4, 541–553।

— कार्डिनल
स्रोत

वास्तव में, ऐसा कुछ है जिसकी मुझे उम्मीद थी। गणित के एक अन्य क्षेत्र से संबंध (यह अंतर ज्यामिति या स्टोकेस्टिक प्रक्रियाओं हो) से पता चलता है कि लिए प्रवेश केवल एक अस्थायी नहीं था। बहुत बढ़िया जवाब!

n = 2

$n=2$

— हर

आपके उत्तर से प्रेरित होकर, मैंने कुछ विवरण प्रदान किए और एमओ पर इस समस्या के जवाब में एक ज्यामितीय व्याख्या भी जोड़ दी: mathoverflow.net/questions/93745/…

— हेनरी।

@कार्डिनल ने एक शानदार उत्तर (+1) दिया, लेकिन जब तक कोई व्यक्ति प्रमाणों से परिचित नहीं होता (और मैं नहीं हूँ) तब तक पूरा मुद्दा रहस्यमय बना रहता है। इसलिए मुझे लगता है कि सवाल यह है कि क्या एक सहज कारण है कि स्टीन का विरोधाभास और में नहीं दिखता है । $\mathbb R$ $\mathbb R^2$

मुझे स्टीफन स्टिगलर, 1990 में ए गैल्टोनियन पर्सपेक्टिव ऑन श्रिनेज एस्टेलेटर्स पर पेश किया गया एक बहुत ही उपयोगी प्रतिगमन परिप्रेक्ष्य मिला । स्वतंत्र माप पर विचार करें , प्रत्येक में कुछ अंतर्निहित ( ) को मापने और से नमूना लिया गया है । अगर हमें किसी तरह से पता था , तो हम जोड़े का एक बिखरा हुआ प्लॉट बना सकते हैं : $X_i$ $\theta_i$ $\mathcal N(\theta_i, 1)$ $\theta_i$ $(X_i, \theta_i)$

स्टीन का विरोधाभास: प्रतिगमन परिप्रेक्ष्य

विकर्ण लाइन शून्य शोर और सही अनुमान से मेल खाती है; वास्तव में शोर गैर-शून्य है और इसलिए अंक क्षैतिज दिशा में विकर्ण रेखा से विस्थापित होते हैं । Correspondinly, के एक प्रतिगमन लाइन के रूप में देखा जा सकता है पर । तथापि, हम जानते हैं कि और अनुमान लगाना चाहते , इसलिए हम नहीं बल्कि एक प्रतिगमन की लाइन पर विचार करना चाहिए पर - जो एक अलग ढलान है, क्षैतिज पक्षपाती , के रूप में यह आंकड़ा (धराशायी लाइन) पर दिखाया गया है। $\theta = X$ $\theta = X$ $X$ $\theta$ $X$ $\theta$ $\theta$ $X$

स्टिगलर के पेपर से उद्धरण:

स्टीन विरोधाभास पर यह गैल्टोनियन परिप्रेक्ष्य इसे लगभग पारदर्शी प्रस्तुत करता है। "साधारण" आकलनकर्ता के सैद्धांतिक प्रतिगमन लाइन से प्राप्त कर रहे पर । यदि हमारा लक्ष्य से भविष्यवाणी करना है, तो यह रेखा उपयोगी होगी , लेकिन हमारी समस्या उलटी है, जिसका अर्थ है कि से भविष्यवाणी करने के लिए चुकता त्रुटियों का रूप में। एक कसौटी। उस मानदंड के लिए, इष्टतम रैखिक अनुमानक पर के न्यूनतम वर्ग प्रतिगमन लाइन द्वारा दिए गए हैं $\hat \theta_i^0 = X_i$ $X$ $\theta$ $X$ $\theta$ $\theta$ $X$ $\sum (\theta_i - \hat \theta_i)^2$ $\theta$ $X$ , और जेम्स-स्टीन और एफ्रॉन-मॉरिस अनुमानक स्वयं उस इष्टतम रैखिक अनुमानक के अनुमानक हैं। "साधारण" अनुमानक गलत प्रतिगमन रेखा से प्राप्त होते हैं, जेम्स-स्टीन और एफ्रॉन-मॉरिस अनुमानक अनुमानों से सही प्रतिगमन रेखा से लिए गए हैं।

और अब महत्वपूर्ण बिट (जोर जोड़ा) आता है:

हम यह भी देख सकते हैं कि क्यों आवश्यक है: यदि या , पर की न्यूनतम वर्ग रेखा बिंदुओं , और इसलिए या , (के दो प्रतिगमन लाइनों पर और की पर ) प्रत्येक पर सहमत होना होगा । $k\ge 3$ $k=1$ $2$ $\theta$ $X$ $(X_i, \theta_i)$ $k=1$ $2$ $X$ $\theta$ $\theta$ $X$ $X_i$

मुझे लगता है कि यह बहुत स्पष्ट करता है कि और बारे में क्या खास है । $k=1$ $k=2$

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत