अधिकतम संभावना अनुमान को समझने के लिए कितना कलन आवश्यक है?

Question

मैं MLE सीखने के लिए एक अध्ययन योजना बनाने की कोशिश कर रहा हूं। ऐसा करने के लिए मैं यह पता लगाने की कोशिश कर रहा हूं कि एमयूएल को समझने के लिए कैलकुलस का न्यूनतम स्तर क्या है।

क्या MLE को समझने के लिए कलन की मूल बातें (यानी न्यूनतम और अधिकतम कार्यों को खोजना) को समझना पर्याप्त है?

Comments

हमेशा की तरह, यह निर्भर करता है । यदि आप केवल आधारभूत बातों को समझने की कोशिश कर रहे हैं, तो कार्यों का विलुप्त होने का पता लगाने में सक्षम होने के नाते आपको एक उचित तरीका मिल जाता है (हालांकि MLE के कई व्यावहारिक मामलों में, L संख्यात्मक रूप से होता है, इस मामले में आपको कुछ अन्य कौशल की भी आवश्यकता है कुछ बुनियादी गणनाओं के रूप में)।

— Glen_b -Reinstate मोनिका

धन्यवाद। क्या आप इस मामले का अधिक विस्तार से उल्लेख कर सकते हैं? यह दिलचस्प लगता है।

— हिस्टेलिमे

ठीक है, लेकिन अब मुझे इसका जवाब देना है। डटे रहो।

— Glen_b -Reinstate मोनिका

Answer 1

मेरी टिप्पणी पर विस्तार करने के लिए - यह निर्भर करता है। यदि आप केवल आधारभूत बातों को समझने की कोशिश कर रहे हैं, तो फ़ंक्शंस का पता लगाने में सक्षम होने से आपको एक उचित रास्ता मिल जाता है (हालांकि MLE के कई व्यावहारिक मामलों में, संभावना को संख्यात्मक रूप से अधिकतम किया जाता है, इस मामले में आपको कुछ अन्य कौशल की भी आवश्यकता होती है। मूल पथरी)।

मैं उन अच्छे सरल मामलों को छोड़ दूँगा जहाँ आपको स्पष्ट बीजगणितीय समाधान मिलते हैं। फिर भी, पथरी अक्सर बहुत उपयोगी होती है।

मैं स्वतंत्रता भर मानूंगा। 1-पैरामीटर अनुकूलन के सबसे सरल संभव मामले को लेते हैं। पहले हम एक ऐसे मामले को देखेंगे जहां हम डेरिवेटिव ले जा सकते हैं और पैरामीटर और एक आंकड़े के एक फंक्शन को अलग कर सकते हैं।

पर विचार करें $\rm{Gamma}(\alpha,1)$ घनत्व

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

फिर आकार $n$ नमूने के लिए , संभावना है

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

और इतने लॉग-संभावना है

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ जहां$S_x=\sum_{i=1}^n\ln{x_i}$ । डेरिवेटिव लेना,

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

$\psi(\cdot)$$G(\cdot)$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

प्राथमिक कार्यों के संदर्भ में इसका कोई हल नहीं है, इसकी गणना संख्यात्मक रूप से की जानी चाहिए; कम से कम हम एक तरफ पैरामीटर का एक फ़ंक्शन और दूसरे पर डेटा का एक फ़ंक्शन प्राप्त करने में सक्षम थे। विभिन्न शून्य-खोज एल्गोरिदम हैं जिनका उपयोग किया जा सकता है यदि आपके पास समीकरण को हल करने का एक स्पष्ट तरीका नहीं है (भले ही आप डेरिवेटिव के बिना हों, उदाहरण के लिए बाइनरी सेक्शन है)।

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

सामान्य तौर पर यहां संभावना एक अद्वितीय स्थानीय अधिकतम नहीं है, लेकिन कई स्थानीय मैक्सिमा हैं। यदि आप एक स्थानीय अधिकतम पाते हैं , तो कहीं और एक बड़ा हो सकता है। (कभी-कभी लोग माध्यिका के निकटतम स्थानीय अधिकतम या कुछ-कुछ की पहचान करने पर ध्यान केंद्रित करते हैं।)

$(0,\theta)$

अन्य मामलों में, पैरामीटर स्थान असतत हो सकता है।

कभी-कभी अधिकतम ढूंढना काफी शामिल हो सकता है।

और यह सिर्फ एक पैरामीटर के साथ मुद्दों का एक नमूना है। जब आपके पास कई पैरामीटर होते हैं, तो चीजें फिर से जुड़ जाती हैं।

Answer 2

$\mathbb{R}^p \to \mathbb{R}$

लॉगरिदम के साथ कुछ सुविधा निश्चित रूप से सहायक होगी, क्योंकि संभावना के लॉगरिदम को अधिकतम करना आमतौर पर संभावना को अधिकतम करने की तुलना में बहुत आसान है।

$\mathbb{R}^p \to \mathbb{R}$