एक अनुमानक जो स्क्वेयर्ड बायस की एक भारित राशि को कम करता है और विचरण निर्णय सिद्धांत में फिट होता है?

Question

ठीक है - मेरा मूल संदेश एक प्रतिक्रिया प्राप्त करने में विफल रहा; इसलिए, मुझे प्रश्न को एक अलग तरीके से रखना चाहिए। मैं एक निर्णय सिद्धांत से परिप्रेक्ष्य की मेरी समझ की व्याख्या करके शुरू करूंगा। मेरे पास कोई औपचारिक प्रशिक्षण नहीं है और यह मुझे आश्चर्यचकित नहीं करेगा अगर मेरी सोच किसी तरह से दोषपूर्ण हो।

मान लें कि हमारे पास कुछ हानि फ़ंक्शन । अपेक्षित नुकसान (लगातार) जोखिम है:$L(\theta,\hat\theta(x))$

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

जहां संभावना है; और बेयस जोखिम अपेक्षित लगातार जोखिम है:$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

जहाँ हमारा पूर्व है।$\pi (\theta)$

सामान्य तौर पर, हम पाते हैं जो कि कम करता है और यह सब अच्छी तरह से काम करता है; फ़ुओवरि का प्रमेय इसके अलावा लागू होता है और हम एकीकरण के क्रम को उलट सकते हैं ताकि किसी भी दिए गए जो को कम करता है वह अन्य सभी से स्वतंत्र हो। इस तरह संभावना सिद्धांत का उल्लंघन नहीं किया जाता है और हम बेयसियन और इतने पर होने के बारे में अच्छा महसूस कर सकते हैं।$\hat\theta(x)$$r$$\hat\theta(x)$$r$

उदाहरण के लिए, परिचित चुकता त्रुटि हानि, हमारा लगातार जोखिम माध्य चुकता त्रुटि या योग है चुकता पूर्वाग्रह और विचरण और हमारे बेयस के जोखिम का वर्गीय पूर्वाग्रह और विचरण का अपेक्षित योग है - जो कि हमारे पूर्व में दिया गया है - अर्थात, पश्चवर्ती हानि।$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

यह मुझे अब तक समझदार लगता है (हालाँकि मैं काफी गलत हो सकता है); लेकिन, किसी भी मामले में, कुछ अन्य उद्देश्यों के लिए चीजें मेरे लिए बहुत कम मायने रखती हैं। उदाहरण के लिए, मान लें कि समान रूप से भारित वर्ग और पूर्वाग्रह के योग को कम करने के बजाय , मैं असमान-भारित राशि को कम करना चाहता हूं - अर्थात, मैं चाहता हूं कि न्यूनतम जो कम से कम हो:$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

जहां कुछ सकारात्मक वास्तविक स्थिरांक (1 के अलावा) है।$k$

मैं आमतौर पर इस तरह के एक "उद्देश्य समारोह" के रूप में एक राशि का उल्लेख करता हूं, हालांकि यह हो सकता है कि मैं उस शब्द का गलत तरीके से उपयोग कर रहा हूं। मेरा प्रश्न इस बारे में नहीं है कि कोई समाधान कैसे खोजा जाए - इस उद्देश्य फ़ंक्शन को कम करने वाले को संख्यात्मक रूप से प्राप्त करना संभव है - बल्कि, मेरा प्रश्न दुगुना है:$\hat\theta(x)$

1. क्या इस तरह के उद्देश्य समारोह निर्णय सिद्धांत प्रतिमान में फिट हो सकते हैं? यदि नहीं, तो क्या एक और ढांचा है जिसमें यह फिट बैठता है? यदि हाँ, तो कैसे? ऐसा लगता है कि संबद्ध हानि फ़ंक्शन , , और का एक फ़ंक्शन होगा , जो कि - अपेक्षा के कारण - (है) मुझे लगता है) उचित नहीं है।$\theta$$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. इस तरह के एक उद्देश्य समारोह संभावना सिद्धांत का उल्लंघन करता है, क्योंकि किसी भी अनुमान के अन्य सभी अनुमानों पर निर्भर करता है (यहां तक कि काल्पनिक हैं)। फिर भी, ऐसे अवसर हैं जब पूर्वाग्रह में कमी के लिए त्रुटि विचरण में वृद्धि वांछनीय है। इस तरह के लक्ष्य को देखते हुए, क्या इस समस्या को वैचारिक रूप देने के लिए एक तरीका है कि यह संभावना सिद्धांत के अनुरूप हो?$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

मैं मान रहा हूं कि मैं निर्णय सिद्धांत / अनुमान / अनुकूलन के बारे में कुछ मूलभूत अवधारणाओं को समझने में विफल रहा हूं। किसी भी उत्तर के लिए अग्रिम धन्यवाद और कृपया मान लें कि मुझे कुछ भी नहीं पता है क्योंकि मेरे पास इस क्षेत्र या गणित में कोई प्रशिक्षण नहीं है। इसके अतिरिक्त, किसी भी सुझाए गए संदर्भ (भोले पाठक के लिए) की सराहना की जाती है।

Answer 1

यह एक काफी दिलचस्प और उपन्यास सवाल है! औपचारिक स्तर पर, लगातार जोखिम वाले कार्य का उपयोग करना

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ (उदाहरण के लिए) के रूप में परिभाषित नुकसान फ़ंक्शन का उपयोग करना $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ चूंकि उम्मीदों पर रोक लगाने का कोई कारण नहीं है $\mathbb{E}_\theta[\hat\theta(X)]$एक हानि समारोह में दिखाई देने के लिए। कि वे संपूर्ण वितरण पर निर्भर हैं$\hat{\theta}(X)$ एक विशेषता है जो अजीब लग सकती है, लेकिन पूरे वितरण के एक समारोह के रूप में सेट है $\theta$ और परिणामी नुकसान इस प्रकार का एक कार्य है $\theta$, $\hat{\theta}$ और का वितरण $\hat{\theta}(X)$।

मैं पूरी तरह से एक आक्षेप का पूर्वानुमान लगा सकता हूं कि एक हानि फ़ंक्शन $L(\theta,\delta)$ प्रकृति की एक अवस्था के सिद्धांत पर कार्य करता है, $\theta$, और एक कार्रवाई की, $\delta$उदाहरण के लिए, पैरामीटर स्पेस में जगह ले रहा है $\Theta$, इसलिए जो भी कोई वितरण धारणा शामिल है। जो गेम थ्योरी के नजरिए से सही है। लेकिन यह देखते हुए कि यह सांख्यिकीय निर्णय सिद्धांत है, जहां एक निर्णय है$\delta$ अवलोकन पर निर्भर करेगा $x$ एक यादृच्छिक चर की $X$, मुझे कोई कारण नहीं दिखाई देता है कि सामान्यीकरण जहां हानि समारोह के वितरण पर निर्भर करता है $X$द्वारा अनुक्रमित $\theta$, पर विचार नहीं किया जा सकता है। यह संभावना का उल्लंघन हो सकता है कि सिद्धांत निर्णय सिद्धांत के लिए प्रत्यक्ष चिंता का विषय नहीं है और एक बेयस अनुमानक की औपचारिक व्युत्पत्ति को नहीं रोकता है।