यदि संकोचन को एक चतुर तरीके से लागू किया जाता है, तो क्या यह हमेशा अधिक कुशल आकलनकर्ताओं के लिए बेहतर काम करता है?

मान लीजिए मैं दो आकलनकर्ता है और है कि एक ही पैरामीटर के अनुरूप आकलनकर्ता हैं और ऐसी है कि $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$ के साथ

V_{1} \leq V_{2}

$V_1 \leq V_2$ PSD अर्थ में। इस प्रकार, asymptotically

से अधिक कुशल है

। ये दो अनुमानक अलग-अलग नुकसान कार्यों पर आधारित हैं।

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

अब मैं अपने अनुमानकों के परिमित-नमूना गुणों में सुधार करने के लिए कुछ संकोचन तकनीकों की तलाश करना चाहता हूं।

कि मैं एक संकोचन तकनीक है कि आकलनकर्ता को बेहतर बनाता है पाया मान लीजिए एक परिमित नमूने में और मुझे एमएसई के मूल्य के बराबर देता । को लागू करने के लिए इस है कि मैं एक उपयुक्त संकोचन तकनीक पा सकते हैं संकेत करता है मुझे दे देंगे कि एमएसई से अधिक नहीं ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

दूसरे शब्दों में, यदि संकोचन को चतुराई से लागू किया जाता है, तो क्या यह हमेशा अधिक कुशल आकलनकर्ताओं के लिए बेहतर काम करता है?

— Alik
स्रोत

जवाबों:

मुझे एक मामूली सा उबाऊ उलटफेर का सुझाव दें। का कहना है कि बस asymptotically से अधिक कुशल नहीं है , लेकिन यह भी क्रेमर राव निम्न सीमित पा लेता है। के लिए एक चालाक संकोचन तकनीक के साथ । की asymptotic विचरण $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ है

जहां अंतिम समानता लेम्मा का उपयोग करती है

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ हौसमैन का कागज । हम

तो एक asymptotic जोखिम सुधार (कोई पूर्वाग्रह शब्द हैं) नहीं है। तो हम एक संकोचन तकनीक है कि कुछ asymptotic (और इसलिए उम्मीद है कि परिमित नमूना) सुधार से अधिक देता है पाया

। फिर भी, वहाँ कोई समान संकोचन आकलनकर्ता है

कि इस प्रक्रिया से इस प्रकार है।

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

यहाँ बिंदु यह है कि संकोचन कुशल अनुमानक की ओर किया जाता है और इसलिए कुशल अनुमानक पर लागू नहीं होता है। यह एक उच्च स्तर पर बहुत स्पष्ट लगता है, लेकिन मुझे लगता है कि एक विशिष्ट उदाहरण में यह इतना स्पष्ट नहीं है ( समान वितरण के लिए MLE और क्षणों का अनुमान लगाने वाला तरीका एक उदाहरण हो सकता है?)।

— मथायस श्मिटबब्लिचर
स्रोत

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

इन क्रेडिट को साझा करने के लिए धन्यवाद, भले ही मैंने वास्तव में आपके सवाल का जवाब नहीं दिया ...

— Matthias Schmidtblaicher

-2

यह एक दिलचस्प सवाल है जहां मैं पहले कुछ हाइलाइट्स को इंगित करना चाहता हूं।

दो आकलनकर्ता सुसंगत हैं
$\hat{\beta}_1$ $\hat\beta_2$
हानि कार्य समान नहीं हैं
एक संकोचन विधि को एक पर लागू किया जाता है ताकि यह भिन्नता को कम कर दे जो अपने आप ही एक बेहतर अनुमानक को समाप्त कर दे
प्रश्न : दूसरे शब्दों में, अगर संकोचन को चतुराई से लागू किया जाता है, तो क्या यह हमेशा अधिक कुशल आकलनकर्ताओं के लिए बेहतर काम करता है ?

मौलिक रूप से, एक निश्चित ढांचे में एक अनुमानक को सुधारना संभव है, जैसे कि अनुमानकर्ताओं का निष्पक्ष वर्ग। हालांकि, जैसा कि आपके द्वारा बताया गया है, विभिन्न नुकसान कार्य स्थिति को मुश्किल बनाते हैं क्योंकि एक नुकसान फ़ंक्शन द्विघात नुकसान को कम कर सकता है और दूसरा एंट्रॉपी को कम करता है। इसके अलावा, "हमेशा" शब्द का उपयोग करना बहुत मुश्किल है क्योंकि यदि एक अनुमानक कक्षा में सबसे अच्छा है, तो आप किसी भी बेहतर अनुमानक का दावा नहीं कर सकते हैं, तार्किक रूप से बोल रहे हैं।

$l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ $p=2$ $p\rightarrow 1$

तो आपके प्रश्न का मेरा उत्तर है हाँ, यह देखते हुए कि आप अनुमानकर्ताओं के एक ही परिवार और एक ही नुकसान के कार्य के साथ-साथ मान्यताओं को भी मानते हैं।

— TPArrow
स्रोत

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

— user795305

धन्यवाद @, मुझे लगता है कि हम संकोचन की परिभाषा में एक आम सहमति नहीं है। आप इसे पोस्ट-प्रोसेस की तरह लेते हैं लेकिन मुझे इनलाइन प्रोसेसिंग के रूप में। मुझे लगता है कि हम दोनों सही हैं क्योंकि सवाल इस प्रकार के संकोचन को ध्यान में नहीं ले रहा है। पुनश्च: मुझे लगता है कि आप सिकुड़न से क्या मतलब है, हार्ड-थ्रॉल्डिंग की तरह है।

— TPArrow

श्रिंकेज इनलाइन और पोस्ट-प्रोसेसिंग दोनों के रूप में हो सकता है। आपकी प्रतिक्रिया में जिन उदाहरणों का आपने उल्लेख किया है, वे "इनलाइन संकोचन" के बारे में हैं, जबकि प्रश्न "पोस्ट प्रोसेसिंग संकोचन" के बारे में पूछता है। ध्यान दें कि प्रश्न दो अनुमानकर्ताओं को और , फिर एक संकोचन तकनीक के लिए या पर लागू करने के लिए । मुझे लगता है कि इस के प्रकाश में प्रश्न को फिर से पढ़ना सार्थक हो सकता है।

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

— user795305