दिए गए MLE (मार्कोव चेन) के लिए लॉग-लाइक की गणना

मैं वर्तमान में मार्कोव जंजीरों के साथ काम कर रहा हूं और कई स्रोतों द्वारा सुझाए गए संक्रमण संभावनाओं का उपयोग करके अधिकतम संभावना अनुमान की गणना करता हूं (जैसे, एक से दूसरे नोड्स में कुल संक्रमणों की संख्या से विभाजित बी से संक्रमण की संख्या)।

अब मैं MLE के लॉग-लाइक की गणना करना चाहता हूं।

maximum-likelihood markov-process likelihood

— fsociety
स्रोत

आपने संक्रमण संभावनाओं की अधिकतम संभावना अनुमान पहले ही गणना कर ली है और अब आप लॉग-लाइक की गणना करना चाहते हैं कि वास्तव में क्या है?

— निक

चलो $\{ X_i \}_{i=1}^{T}$ मार्कोव श्रृंखला का एक मार्ग हो और चलो $P_{\theta}(X_1, ..., X_T)$ जब पथ का अवलोकन करने की संभावना हो $\theta$ असली पैरामीटर मान है (उर्फ संभावना फ़ंक्शन के लिए $\theta$ )। सशर्त संभाव्यता की परिभाषा का उपयोग करना, हम जानते हैं

{पी}_{θ} ({एक्स}_{1}, । । ।, {एक्स}_{टी}) = {पी}_{θ} ({एक्स}_{टी} | {एक्स}_{टी - 1}, । । ।, {एक्स}_{1}) \cdot {पी}_{θ} ({एक्स}_{1}, । । ।, {एक्स}_{टी - 1})

$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}, ..., X_1) \cdot P_{\theta}(X_1, ..., X_{T-1})$

चूंकि यह एक मार्कोव श्रृंखला है, हम जानते हैं कि $P_{\theta}(X_T | X_{T-1}, ..., X_1) = P_{\theta}(X_T | X_{T-1} )$ , इसलिए यह इसे सरल करता है

{पी}_{θ} ({एक्स}_{1}, । । ।, {एक्स}_{टी}) = {पी}_{θ} ({एक्स}_{टी} | {एक्स}_{टी - 1}) \cdot {पी}_{θ} ({एक्स}_{1}, । । ।, {एक्स}_{टी - 1})

$P_{\theta}(X_1, ..., X_T) = P_{\theta}(X_T | X_{T-1}) \cdot P_{\theta}(X_1, ..., X_{T-1})$

अब अगर आप इसी तर्क को दोहराते हैं $T$ कई बार, आप

{पी}_{θ} ({एक्स}_{1}, । । ।, {एक्स}_{टी}) = Π_{मैं = 1}^{टी} {पी}_{θ} ({एक्स}_{मैं} | {एक्स}_{मैं - 1})

$P_{\theta}(X_1, ..., X_T) = \prod_{i=1}^{T} P_{\theta}(X_i | X_{i-1} )$

कहाँ पे $X_0$ प्रक्रिया की प्रारंभिक स्थिति के रूप में व्याख्या की जानी है। दाहिने हाथ की ओर स्थितियां संक्रमण मैट्रिक्स के तत्व हैं। चूंकि यह आपके द्वारा अनुरोध की गई लॉग-लाइक थी, अंतिम उत्तर है:

एल (θ) = Σ_{मैं = 1}^{टी} लॉग ({पी}_{θ} ({एक्स}_{मैं} | {एक्स}_{मैं - 1}))

${\bf L}(\theta) = \sum_{i=1}^{T} \log \Big( P_{\theta}(X_i | X_{i-1} ) \Big)$

यह एकल मार्कोव श्रृंखला की संभावना है - यदि आपके डेटा सेट में कई (स्वतंत्र) मार्कोव श्रृंखलाएं शामिल हैं, तो पूर्ण संभावना इस फॉर्म की शर्तों का योग होगी।

— मैक्रो
स्रोत

वाह, उत्तर के लिए बहुत बहुत धन्यवाद। इस मामले में

P_{θ}

$P_{\theta}$ "संक्रमण" MLE से ली गई संभावना है, है ना?

— fsociety

@ph_singer, आपका बहुत-बहुत स्वागत है।

P_{θ} (X_{i} | X_{i - 1})

$P_{\theta}(X_i|X_{i-1})$ राज्य से स्थानांतरित होने की संभावना है

X_{i - 1}

$X_{i-1}$ सेवा

X_{i}

$X_i$ , पैरामीटर मान दिया,

θ

$\theta$ । यदि आपने ट्रांज़िशन मैट्रिक्स पर कोई संरचना नहीं लगाई है (जो ऐसा लगता है) तो

θ

$\theta$ बस संक्रमण संभावनाओं के वेक्टर को दर्शाता है (और MLE केवल नमूना अनुपात हैं, जैसा कि आपने अपने प्रश्न कथन में सही ढंग से इंगित किया है), इसलिए, हाँ:

P_{{\hat{θ}}_{M L E}} (X_{i} | X_{i - 1})

$P_{\hat{\theta}_{{\rm MLE}}}(X_i|X_{i-1})$ बस राज्य से चालों का नमूना अनुपात होगा

X_{i - 1}

$X_{i-1}$ वह राज्य में समाप्त हो गया

X_{i}

$X_{i}$ ।

— मैक्रों

एक बार फिर धन्यवाद! बस एक और सवाल: अगर मैं एक और आदेश का उपयोग करता हूं (जैसे, k = 2), तो यह प्रक्रिया कैसे काम करेगी?

— १६

क्या आप कृपया "आदेश" से स्पष्ट कर सकते हैं?

— मैक्रो

(+1) ओपी का शायद मतलब है

k = 2

$k=2$ पिछले दो राज्यों के आधार पर, दूसरे क्रम के MC, यानी को निरूपित करने के लिए

X_{i - 1}, X_{i - 2}

$X_{i-1},X_{i-2}$ बल्कि सबसे हाल ही में एक

X_{i - 1}

$X_{i-1}$ ।

— कार्डिनल