वीबुल वितरण के लिए ईएम अधिकतम संभावना अनुमान

24

नोट: मैं अपना एक पूर्व छात्र से एक प्रश्न पोस्ट कर रहा हूं जो तकनीकी कारणों से अपने आप पोस्ट करने में असमर्थ है।

एक iid नमूना को एक वितरण से pdf है, जिसमें एक उपयोगी उत्पाद चर प्रतिनिधित्व और इसलिए एक संबद्ध EM (अपेक्षा-अधिकतमकरण) एल्गोरिथ्म है जिसका उपयोग सीधा करने के बजाय, के MLE को खोजने के लिए किया जा सकता है। संख्यात्मक अनुकूलन? $x_1,\ldots,x_n$

च_{कश्मीर} (एक्स) = कश्मीर {एक्स}^{कश्मीर - 1} ई^{- {एक्स}^{कश्मीर}} एक्स > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

च_{कश्मीर} (एक्स) = \int_{जेड} {जी}_{कश्मीर} (एक्स, z) घ z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— शीआन
स्रोत

2

क्या कोई सेंसरिंग है?

— ओकराम

2

न्यूटन रैपसन के साथ क्या गलत है?

— प्रोबेबिलिसलॉजिकल

2

@probabilityislogic: कुछ भी गलत नहीं है! मेरा छात्र जानना चाहेगा कि क्या कोई EM संस्करण है, वह सब है ...

— शीआन

1

क्या आप इस बात का उदाहरण दे सकते हैं कि आप एक अलग, सरल संदर्भ में क्या देख रहे हैं, उदाहरण के लिए शायद एक गाऊसी या समान यादृच्छिक चर के अवलोकन के साथ? जब सभी डेटा मैं मनाया जाता है (और कुछ अन्य पोस्टर, उनकी टिप्पणियों के आधार पर) यह नहीं देखते कि ईएम आपके प्रश्न के लिए कितना प्रासंगिक है।

— अहफॉस

1

@probabilityislogic मुझे लगता है कि आपको कहना चाहिए, "ओह, आप का मतलब है कि आप न्यूटन रैपसन का उपयोग करना चाहते हैं?" वीबुल्स नियमित परिवार हैं ... मुझे लगता है, इसलिए एमएल समाधान अद्वितीय हैं। इसलिए, EM के पास "E" पर कुछ भी नहीं है, इसलिए आप सिर्फ "M" आईएनजी हैं ... और स्कोर समीकरणों की जड़ें ढूंढना सबसे अच्छा तरीका है!

— 23

7

मुझे लगता है कि उत्तर हां है, अगर मैंने प्रश्न को सही ढंग से समझा है।

लिखिए । फिर पुनरावृत्ति के ईएम एल्गोरिथ्म प्रकार, के साथ उदाहरण के लिए शुरू कर , है $z_i = x_i^k$ $\hat k = 1$

ई ${\hat z}_i = x_i^{\hat k}$
एम $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

यह एक विशेष मामला है (बिना सेंसर और नो कोवरिएट्स वाला मामला) जो एटिकिन और क्लेटन (1980) द्वारा वीबुल आनुपातिक खतरों के मॉडल के लिए सुझाया गया है। यह एटकिन एट अल (1989) की धारा 6.11 में भी पाया जा सकता है।

एटकिन, एम। और क्लेटन, डी।, 1980। जीएलआईएम का उपयोग करते हुए जटिल सेंसर सर्वाइवल डेटा के लिए घातीय, वीबुल और चरम मूल्य वितरण की फिटिंग। अनुप्रयुक्त सांख्यिकी , पीपी .56-163।
एटकिन, एम।, एंडरसन, डी।, फ्रांसिस, बी और हिंड, जे।, 1989। जीएलआईएम में सांख्यिकीय मॉडलिंग । ऑक्सफोर्ड यूनिवरसिटि प्रेस। न्यूयॉर्क।

— DavidF
स्रोत

बहुत बहुत धन्यवाद डेविड! इलाज

याद आ रही variate के रूप में मेरे मन ऐसा खयाल नहीं ...!

x_{i}^{k}

$x_i^k$

— शीआन

7

वेइबुल MLE केवल संख्यानुसार व्याख्या करने योग्य है:

चलो के साथ

च_{λ, β} (एक्स) = {\begin{cases} \frac{β}{λ} {(\frac{एक्स}{λ})}^{β - 1} ई^{- {(\frac{एक्स}{λ})}^{β}} & , एक्स \geq 0 \\ 0 & , एक्स < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

।

β, λ > 0

$\beta,\,\lambda>0$

1) Likelihoodfunction :

{एल}_{\hat{एक्स}} (λ, β) = Π_{मैं = 1}^{एन} च_{λ, β} ({एक्स}_{मैं}) = Π_{मैं = 1}^{एन} \frac{β}{λ} {(\frac{{एक्स}_{मैं}}{λ})}^{β - 1} ई^{- {(\frac{{एक्स}_{मैं}}{λ})}^{β}} = \frac{β^{एन}}{λ^{एन β}} ई^{- Σ_{मैं = 1}^{एन} {(\frac{{एक्स}_{मैं}}{λ})}^{β}} Π_{मैं = 1}^{एन} {एक्स}_{मैं}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

लॉग-Likelihoodfunction :

ℓ_{\hat{एक्स}} (λ, β) : = \ln {एल}_{\hat{एक्स}} (λ, β) = एन \ln β - एन β \ln λ - Σ_{मैं = 1}^{एन} {(\frac{{एक्स}_{मैं}}{λ})}^{β} + (β - 1) Σ_{मैं = 1}^{एन} \ln {एक्स}_{मैं}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) MLE- समस्या : 3) मैक्ज़िमाइज़ेशनद्वारा-gradients:

\begin{aligned} \underset{(λ, β) \in {आर}^{2}}{अधिकतम} & ℓ_{\hat{एक्स}} (λ, β) \\ सेंट λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

यह इस प्रकार है:

\begin{aligned} \frac{\partial एल}{\partial λ} & = - एन β \frac{1}{λ} + β Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial एल}{\partial β} & = \frac{एन}{β} - एन \ln λ - Σ_{मैं = 1}^{एन} \ln (\frac{{एक्स}_{मैं}}{λ}) ई^{β \ln (\frac{{एक्स}_{मैं}}{λ})} + Σ_{मैं = 1}^{एन} \ln {एक्स}_{मैं} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - एन β \frac{1}{λ} + β Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} एन + β \frac{1}{λ} Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{एन} Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{एन} Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{एन} Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

प्लग दूसरा 0-ढाल हालत में: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β^{*}} \ln {एक्स}_{मैं}}{Σ_{मैं = 1}^{एन} {एक्स}_{मैं}^{β^{*}}} - \bar{\ln एक्स}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

यह समीकरण केवल संख्यात्मक रूप से हल करने योग्य है, उदाहरण के लिए न्यूटन-रफसन एल्गोरिथ्म। तो में रखा जा सकता है वेइबुल बंटन के लिए एमएल आकलनकर्ता पूरा करने के लिए। $\hat{\beta}^*$ $\lambda^*$

— emcor
स्रोत

11

दुर्भाग्य से, यह प्रश्न का उत्तर किसी भी विवेकपूर्ण तरीके से नहीं देता है। न्यूटन-राफसन और संबंधित दृष्टिकोणों के बारे में ओपी बहुत स्पष्ट रूप से अवगत है। एनआर की व्यवहार्यता किसी भी तरह से गायब-चर प्रतिनिधित्व या संबद्ध ईएम एल्गोरिथ्म के अस्तित्व को नहीं छोड़ती है। मेरे अनुमान में, सवाल संख्यात्मक समाधानों से बिल्कुल भी चिंतित नहीं है, बल्कि अंतर्दृष्टि के लिए जांच कर रहा है जो एक दिलचस्प लापता-चर दृष्टिकोण का प्रदर्शन होने पर स्पष्ट हो सकता है।

— कार्डिनल

@कार्डिनल यह कहना एक बात है कि केवल संख्यात्मक समाधान था, और यह दिखाने के लिए एक और बात है कि केवल संख्यात्मक समाधान है।

— emcor

5

प्रिय @emcor, मुझे लगता है कि आप गलत समझ रहे होंगे कि प्रश्न क्या पूछ रहा है। शायद अन्य उत्तर और संबद्ध टिप्पणी धारा की समीक्षा करना सहायक होगा। चीयर्स।

— कार्डिनल

@ कार्डिनल मैं मानता हूं कि यह प्रत्यक्ष उत्तर नहीं है, लेकिन यह ईएमई को सत्यापित करने के लिए एमईएल के उदाहरण के लिए सटीक अभिव्यक्ति है।

— emcor

4

हालांकि यह एक पुराना सवाल है, ऐसा लगता है कि यहां प्रकाशित एक पेपर में एक उत्तर है: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

इस काम में वेइबल वितरण के साथ अंतराल-सेंसर डेटा का विश्लेषण, जैसा कि अंतर्निहित आजीवन वितरण माना गया है। यह माना जाता है कि सेंसर तंत्र स्वतंत्र और गैर-जानकारीपूर्ण है। जैसा कि अपेक्षित था, अधिकतम संभावना अनुमानकों को बंद रूप में प्राप्त नहीं किया जा सकता है। हमारे सिमुलेशन प्रयोगों में यह देखा गया है कि न्यूटन-रफसन विधि कई बार अभिसरण नहीं हो सकती है। एक उम्मीद अधिकतमकरण एल्गोरिथ्म अधिकतम संभावना अनुमानक की गणना करने के लिए सुझाव दिया गया है, और यह लगभग हर समय परिवर्तित करता है।

— user3204720
स्रोत

1

यदि आप मृत हो जाते हैं, तो क्या आप लिंक पर कागज के लिए पूर्ण उद्धरण पोस्ट कर सकते हैं?

— गुंग - को पुनः स्थापित मोनिका

1

यह एक ईएम एल्गोरिथ्म है, लेकिन ओपी जो चाहता है, वह नहीं करता है। इसके बजाय, ई-चरण सेंसर किए गए डेटा को लागू करता है, जिसके बाद एम-स्टेप पूर्ण डेटा सेट के साथ एक निश्चित बिंदु एल्गोरिथ्म का उपयोग करता है। तो एम-स्टेप बंद रूप में नहीं है (जो मुझे लगता है कि ओपी की तलाश है)।

— क्लिफ एबी

1

@CliffAB: लिंक (+1) के लिए धन्यवाद, लेकिन वास्तव में EM इस पेपर में सेंसरिंग भाग द्वारा स्वाभाविक रूप से प्रेरित है। मेरा पूर्व छात्र ईएम के माध्यम से एक सादे बिना सेंसर वाले आईड वेइबुल संभावना अनुकूलन की तलाश में था।

— शीआन

-1

$k^{(t)}$

$k_1$ $k_2$

— ahfoss
स्रोत

6

मुझे लगता है कि आपने प्रश्न के बिंदु की गलत व्याख्या की होगी, जो है: क्या कुछ अनुपलब्ध-चर व्याख्या मौजूद है जिससे कोई दिए गए वेइबुल संभावना को प्राप्त करेगा (और जो ईएम-जैसे एल्गोरिदम को लागू करने की अनुमति देगा)?

— कार्डिनल

4

@ शीआन की पोस्ट में प्रश्न कथन काफी स्पष्ट है। मुझे लगता है कि इसका कारण यह नहीं बताया गया है क्योंकि किसी भी उत्तर की संभावना निर्विवाद है। (यह दिलचस्प है, इसलिए मेरी इच्छा है कि मेरे पास इसके बारे में सोचने के लिए अधिक समय हो।) किसी भी दर पर, आपकी टिप्पणी ईएम एल्गोरिथ्म की गलतफहमी को धोखा देती प्रतीत होती है। शायद निम्नलिखित मारक के रूप में काम करेगा:

— कार्डिनल

6

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— कार्डिनल

4

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

— अहमफोस २३'१४

3

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$