एक काटे गए वितरण के लिए अधिकतम संभावना अनुमानक

पर विचार करें स्वतंत्र नमूने एक यादृच्छिक चर से प्राप्त कि एक छोटा कर दिया वितरण का पालन करने माना जाता है (उदाहरण के लिए एक छोटा कर दिया सामान्य वितरण न्यूनतम जाना जाता है (परिमित) और अधिकतम मानों के) और लेकिन अज्ञात मापदंडों के और । यदि एक गैर-काटे गए वितरण का अनुसरण करता है, तो अधिकतम संभावना अनुमानकर्ताओं और लिए और से नमूना का अर्थ होगा $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ और नमूना विचरण । हालांकि, एक छोटा कर दिया वितरण के लिए, नमूना इस तरह से परिभाषित विचरण से घिरा है तो यह हमेशा एक लगातार आकलनकर्ता नहीं है: के लिए , यह करने के लिए संभावना में अभिसरण नहीं कर सकता रूप में अनंत तक जाती है। तो ऐसा लगता है कि और एक काटे गए वितरण के लिए और के अधिकतम-संभावित अनुमानक नहीं हैं । बेशक, यह उम्मीद की जा रही है कि और $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ एक काटे गए सामान्य वितरण के पैरामीटर इसके मतलब और विचरण नहीं हैं।

तो, ज्ञात न्यूनतम और अधिकतम मानों के बंटे हुए वितरण के $\mu$ और $\sigma$ मापदंडों के अधिकतम संभावना अनुमानक क्या हैं ?

— a3nm
स्रोत

क्या आप अपने विश्लेषण के बारे में निश्चित हैं? मुझे लगता है कि आप एक अमान्य धारणा बना रहे हैं: छंटनी की स्थिति के लिए, MLE of

σ^{2}

$\sigma^2$ अब नमूना प्रसरण नहीं है (और, सामान्य रूप से, MLE of

μ

$\mu$ अब नमूना अर्थ नहीं है)!

— whuber

व्हुबेर: मुझे पता है, यह ठीक है मेरा सवाल है: छंटनी मामले में

σ^{2}

$\sigma^2$ और

_ के MLE क्या हैं

μ

$\mu$ ? इस पर जोर देने के लिए एक वाक्य जोड़ना।

— a3nm

कोई बंद फ़ॉर्म समाधान नहीं है। तुम सब कर सकते हैं संख्यात्मक रूप से लॉग संभावना की न्यूनतम करें। लेकिन यह गुणात्मक रूप से कई अन्य मॉडलों की तुलना में अलग नहीं है, जैसे कि लॉजिस्टिक रिग्रेशन, जिसका कोई बंद फॉर्म समाधान भी नहीं है।

— whuber

whuber: यदि यह सच है, तो यह बहुत निराशाजनक है। क्या आपके पास बंद फॉर्म समाधानों की कमी के संदर्भ हैं? क्या बंद-फॉर्म अनुमानक हैं जो अधिकतम संभावना नहीं हैं लेकिन कम से कम सुसंगत हैं (और वैकल्पिक रूप से निष्पक्ष हैं)।

— a3nm

@ वाउचर: क्या आप कम से कम अपने नमूनों को पर्याप्त आँकड़ों में सरल बना सकते हैं ताकि कम से कम तेज़ी हो?

— नील जी

"मानक" वितरण द्वारा निर्धारित किसी भी स्थान-स्तरीय परिवार पर विचार करें , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

अलग-अलग मान लेने से हम आसानी से पाते हैं कि PDF । $F$ $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

ये वितरण छोटा किया जा रहा के बीच उनके समर्थन को प्रतिबंधित करने के और , , साधन पीडीएफ़ से बदल दिया जाता है कि $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(और सभी अन्य मूल्यों के लिए शून्य हैं ) जहां यह सुनिश्चित करने के लिए सामान्यीकरण कारक है कि एकता को एकीकृत करता है। (ध्यान दें कि ट्रंकेशन की अनुपस्थिति में समान रूप से है।) iid data लिए लॉग संभावना इसलिए है $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

महत्वपूर्ण बिंदु (किसी भी वैश्विक मिनीमा सहित) पाए जाते हैं जहाँ या तो (एक विशेष मामला जिसे मैं यहाँ अनदेखा करूँगा) या ग्रेडिएंट गायब हो जाता है। डेरिवेटिव को दर्शाने के लिए सदस्यता का उपयोग करते हुए, हम औपचारिक रूप से ढाल की गणना कर सकते हैं और संभावना समीकरणों को लिख सकते हैं $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

क्योंकि और निश्चित हैं, उन्हें संकेतन से और को और को । (बिना किसी काट-छाँट के, दोनों कार्य समान रूप से शून्य होंगे।) शेष डेटा से जुड़े शब्दों को अलग करना $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

इनकी तुलना नो-ट्रंकेशन स्थिति से करने से स्पष्ट होता है कि

मूल समस्या के लिए कोई भी पर्याप्त आँकड़े छंटनी की समस्या के लिए पर्याप्त हैं (क्योंकि दाहिने हाथ के पक्ष नहीं बदले हैं)।
बंद-फॉर्म समाधान खोजने की हमारी क्षमता और की ट्रैक्टबिलिटी पर निर्भर करती है । यदि ये सरल तरीकों से और को शामिल नहीं करते हैं, तो हम सामान्य रूप से बंद-फ़ॉर्म समाधान प्राप्त करने की उम्मीद नहीं कर सकते हैं। $A$ $B$ $\mu$ $\sigma$

एक सामान्य परिवार के मामले में, निश्चित रूप से संचयी सामान्य PDF द्वारा दिया जाता है, जो त्रुटि कार्यों का अंतर है: इस बात की कोई संभावना नहीं है कि एक बंद-रूप समाधान हो सकता है सामान्य रूप से प्राप्त किया। हालांकि, केवल दो पर्याप्त आँकड़े हैं (नमूना माध्य और विचरण करेंगे) और सीडीएफ जितना आसान हो सकता है, इसलिए संख्यात्मक समाधान प्राप्त करना अपेक्षाकृत आसान होगा। $C(\mu,\sigma,a,b)$

— व्हीबर
स्रोत

इस बहुत विस्तृत जवाब के लिए बहुत बहुत धन्यवाद! मुझे यकीन नहीं है कि मुझे , , , और हैं, क्या आप उन्हें परिभाषित कर सकते हैं? इसके अलावा, यह स्पष्ट है, लेकिन सटीक हो सकता है कि आप कह सकते हैं कि पीडीएफ के लिए आपकी अभिव्यक्ति (और पीडीएफ उस से बाहर शून्य है) लिए है । एक बार फिर धन्यवाद!

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

— a3nm

सामान्य रूप से लंबी संकेतन , आदि: जैसा कि घोषित किया गया है, यह एक व्युत्पन्न है। मैं आपके द्वारा सुझाया गया दूसरा परिवर्तन करूंगा क्योंकि यह एक महत्वपूर्ण स्पष्टीकरण है, धन्यवाद।

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

— whuber

इसके अलावा, चूँकि आपका उत्तर मेरी अपेक्षा से अधिक सामान्य है, इसलिए मैंने अपने प्रश्न को सामान्य वितरण के मामले में कम जोर देने के लिए संपादित किया। आपके प्रयास के लिए फिर से धन्यवाद।

— a3nm

सामान्य वितरण पर ध्यान केंद्रित करने की तुलना में सामान्यता के इस स्तर पर समझाना आसान था! डेरिवेटिव को कम्प्यूट करना और सीडीएफ के सटीक रूप को दिखाना अनावश्यक विकर्षण हैं (हालांकि उपयोगी है जब आप वास्तव में संख्यात्मक समाधान को कोड करना शुरू करते हैं)।

— whuber

ठीक करने के लिए धन्यवाद! आप उनमें से एक को याद किया; क्या आप मेरे संपादन की समीक्षा कर सकते हैं?

— a3nm