MLE को समझ में क्यों आता है, किसी व्यक्ति के नमूने की संभावना 0 है?

Question

यह कुछ अजीब तरह का विचार है जो मैंने कुछ पुराने आँकड़ों की समीक्षा के दौरान किया था और किसी कारण से मैं उत्तर के बारे में सोच नहीं पा रहा था।

एक सतत पीडीएफ हमें किसी भी सीमा में मानों के अवलोकन का घनत्व बताता है। उदाहरण के लिए , यदि , उदाहरण के लिए, तो संभावना है कि एक बोध और बीच में पड़ता है, बस जहां है मानक का घनत्व सामान्य है।$X \sim N(\mu,\sigma^2)$$a$$b$$\int_a^{b}\phi(x)dx$$\phi$

जब हम किसी पैरामीटर के MLE अनुमान के बारे में सोचते हैं , तो बारे में कहते हैं , हम संयुक्त घनत्व लिखते हैं, कहते हैं , यादृच्छिक चर और लॉग- wrt को बराबर, 0 के बराबर सेट करें और हल करें। के लिए । अक्सर दी गई व्याख्या "डेटा दिया जाता है, जो पैरामीटर इस घनत्व फ़ंक्शन को सबसे प्रशंसनीय बनाता है"।$\mu$$N$$X_1 .. X_N$$\mu$$\mu$

जो हिस्सा मुझे परेशान कर रहा है वह यह है: हमारे पास आरवी का घनत्व है , और संभावना है कि हमें एक विशेष अहसास मिलता है, हमारे नमूने का कहना है, ठीक 0. है। यह हमारे डेटा को दिए गए संयुक्त घनत्व को अधिकतम करने के लिए भी क्यों समझ में आता है ( फिर से हमारे वास्तविक नमूने को देखने की संभावना बिल्कुल 0 है)?$N$

एकमात्र तर्कसंगतकरण जो मैं आ सकता था, वह यह है कि हम पीडीएफ बनाना चाहते हैं ताकि हमारे अवलोकनित नमूने के आसपास संभव हो सके ताकि क्षेत्र में अभिन्न अंग (और इस क्षेत्र में सामान के अवलोकन की संभावना) उच्चतम हो।

Comments

इसी कारण से हम संभावना घनत्व का उपयोग stats.stackexchange.com/q/4220/35989

— टिम

मैं समझता हूं (मुझे लगता है) कि यह घनत्व का उपयोग करने के लिए समझ में क्यों आता है। मुझे समझ में नहीं आता है कि ऐसा क्यों होता है कि एक नमूना को देखने पर घनत्व घनत्व को अधिकतम करने के लिए 0 होने की संभावना है।

— एलेक्स

क्योंकि संभाव्यता घनत्व हमें यह बताता है कि क्या मूल्य अपेक्षाकृत अधिक हैं और फिर अन्य।

— टिम

यदि आपके पास इस सवाल का पूरी तरह से जवाब देने का समय है, तो मुझे लगता है कि यह मेरे और अगले व्यक्ति के लिए अधिक उपयोगी होगा।

— एलेक्स

क्योंकि, सौभाग्य से, संभावना एक संभावना नहीं है!

— एडमो

Answer 1

किसी भी नमूने, की संभावना, शून्य के बराबर है और अभी तक एक नमूना एक वितरण संभावना से ड्राइंग द्वारा महसूस किया जाता है। इसलिए संभावना एक नमूने के मूल्यांकन के लिए गलत उपकरण है और यह होने की संभावना है। सांख्यिकीय संभावना, के रूप में फिशर (1912) द्वारा परिभाषित किया गया है, नमूना के अवलोकन की संभावना की सीमित तर्क पर आधारित है लंबाई के अंतराल के भीतर जब शून्य (से उद्धृत करने के लिए चला जाता है एल्ड्रिच, 1997) :$\mathbb{P}_\theta(X=x)$$x$$\delta$$\delta$

$\qquad\qquad\qquad$

जब इस संभावना को दोबारा बढ़ाकर । संभावना समारोह का शब्द केवल फिशर (1921) और फिशर (1922) में अधिकतम संभावना है।$\delta$

यद्यपि वह "सबसे संभावित मूल्य" के संप्रदाय के तहत गया था, और एक फ्लैट पूर्व के साथ व्युत्क्रम प्रायिकता (बायेसियन इनवेंशन) के एक सिद्धांत का इस्तेमाल किया था, कार्ल फ्रेडरिक गौओ पहले से ही 1809 में एक सामान्य वितरण के विचरण पैरामीटर के लिए अधिकतम संभावना अनुमानक प्राप्त कर चुके थे। हाल्ड (1999) में फिशर के 1912 के पेपर से पहले अधिकतम संभावना अनुमानकों की कई अन्य घटनाओं का उल्लेख है, जो सामान्य सिद्धांत को निर्धारित करते हैं।

अधिकतम संभावना दृष्टिकोण के बाद का औचित्य यह है कि, नमूना [बड़ी संख्या के कानून] (जहां आईआईडी नमूने के वास्तविक घनत्व को दर्शाता है), संभावना को अधिकतम करता है [के रूप में [ एक कार्य ] asymptotically न्यूनतम करने के लिए बराबर है [in the ] Kullback-Lelerler विचलन $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ $f_0$$\theta$$\theta$ $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ IID नमूने के सही वितरण और प्रतिनिधित्व वाले वितरण के परिवार के बीच ।$f_\theta$

Comments

जवाब के लिए धन्यवाद। क्या आप KL तर्क पर थोड़ा विस्तार कर सकते हैं? मैं यह नहीं देख रहा हूं कि यह मामला तुरंत कैसे है।

— एलेक्स