मार्कोव श्रृंखला को अवशोषित करने वाले दो को देखते हुए, क्या संभावना है कि एक दूसरे से पहले समाप्त हो जाएगा?

मेरे पास दो अलग-अलग मार्कोव श्रृंखलाएं हैं, जिनमें से प्रत्येक में एक अवशोषित अवस्था और एक ज्ञात प्रारंभिक स्थिति है। मैं इस संभावना को निर्धारित करना चाहता हूं कि श्रृंखला 1 श्रृंखला 2 से कम चरणों में एक अवशोषित अवस्था तक पहुंच जाएगी।

मुझे लगता है कि मैं n चरणों के बाद किसी विशेष श्रृंखला में अवशोषित अवस्था तक पहुंचने की संभावना की गणना कर सकता हूं: एक संक्रमण मैट्रिक्स $P$ के बाद अवशोषित होने की संभावना $n$ कदम है $P^n_{ij}$ कहाँ पे $i$ प्रारंभिक अवस्था है और $j$ अवशोषित अवस्था है।

मैं निश्चित नहीं हूँ कि यहाँ से कहाँ जाऊँ। समसामयिक समस्याओं मैं पासा शामिल है (उदाहरण के लिए, 8 की राशि से पहले 7 की राशि रोलिंग), लेकिन यह हल करने के लिए आसान है क्योंकि एक विशेष राशि रोलिंग की संभावना स्थिर है और अब तक उठाए गए चरणों की संख्या से स्वतंत्र है।

probability markov-chain transition-matrix

— जेफ
स्रोत

श्रृंखलाओं को समानांतर में चलाएं। परिणामी उत्पाद श्रृंखला में तीन अवशोषित राज्यों को परिभाषित करें:

पहली श्रृंखला एक अवशोषित अवस्था तक पहुँचती है लेकिन दूसरी नहीं।
दूसरी श्रृंखला एक अवशोषित अवस्था तक पहुँचती है लेकिन पहली नहीं होती है।
दोनों श्रृंखलाएँ एक साथ अवशोषित अवस्था में पहुँचती हैं।

उत्पाद श्रृंखला में इन तीन राज्यों की सीमित संभावनाएं ब्याज की संभावना देती हैं।

इस समाधान में कुछ (सरल) निर्माण शामिल हैं। सवाल में, चलो $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ एक श्रृंखला के लिए एक संक्रमण मैट्रिक्स हो $\mathcal P$ । जब चेन राज्य में है $i$ , $P_{ij}$ राज्य के लिए एक संक्रमण की संभावना देता है $j$ । एक अवशोषित राज्य संभावना के साथ खुद को संक्रमण बनाता है $1$ ।

कोई भी राज्य $i$ पंक्ति को प्रतिस्थापित करने पर अवशोषित किया जा सकता है $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ एक संकेतक वेक्टर द्वारा $(0,0,\ldots,0,1,0,\ldots,0)$ के साथ $1$ स्थिति में $i$ ।
कोई भी सेट $A$ नई श्रृंखला बनाकर अवशोषित राज्यों का विलय किया जा सकता है $\mathcal{P}/A$ किसके राज्य हैं $\{i\,|\, i\notin A\}\cup \{A\}$ । संक्रमण मैट्रिक्स द्वारा दिया जाता है

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
इसके कॉलम को समेटना है $\mathbb{P}$ तदनुसार $A$ और पंक्तियों को बदलने के अनुरूप हैं $A$ एक एकल पंक्ति द्वारा जो खुद को एक संक्रमण बनाता है।
दो श्रृंखलाओं का उत्पाद $\mathcal{P}$ राज्यों पर $S_P$ तथा $\mathcal{Q}$ राज्यों पर $S_Q$ , संक्रमण मेट्रिसेस के साथ $\mathbb{P}$ तथा $\mathbb{Q}$ , क्रमशः, राज्यों पर एक मार्कोव श्रृंखला है $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$ संक्रमण मैट्रिक्स के साथ

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
वास्तव में, उत्पाद श्रृंखला दो श्रृंखलाओं को समानांतर में चलाता है, अलग-अलग ट्रैकिंग जहां प्रत्येक है, और स्वतंत्र रूप से संक्रमण कर रहा है।

एक साधारण उदाहरण इन निर्माणों को स्पष्ट कर सकता है। मान लीजिए कि पॉली एक मौका लेकर एक सिक्का उछाल रहा है $p$ लैंडिंग के प्रमुख। वह ऐसा करने की योजना बना रही है, जब तक कि वह एक सिर का अवलोकन न कर ले। सिक्का लंघन प्रक्रिया के लिए राज्य हैं $S_P = \{\text{T},\text{H}\}$ सबसे हाल के फ्लिप के परिणामों का प्रतिनिधित्व: $\text{T}$ पूंछ के लिए, $\text{H}$ प्रमुखों के लिए। प्रमुखों को रोकने की योजना बनाकर, पोली निर्माण करके पहला निर्माण करेगी $\text H$ एक अवशोषित अवस्था। परिणामी परिवर्तन मैट्रिक्स है

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

यह एक यादृच्छिक स्थिति में शुरू होता है $(1-p,p)$ पहले टॉस द्वारा दिया गया।

पोली के साथ समय में, क्विंसी एक उचित सिक्का टॉस करेगा। वह एक बार में दो सिर देखने के बाद रुकने की योजना बनाता है। इसलिए उनकी मार्कोव श्रृंखला को पूर्ववर्ती परिणाम के साथ-साथ वर्तमान परिणाम का भी ध्यान रखना है। दो सिर और दो पूंछ के चार ऐसे संयोजन हैं, जिन्हें मैं " $\text{TH}$ ", उदाहरण के लिए, जहां पहला अक्षर पिछले परिणाम है और दूसरा अक्षर वर्तमान परिणाम है। क्विंसी बनाने के लिए निर्माण (1) लागू होता है। $\text{HH}$ एक अवशोषित अवस्था। ऐसा करने के बाद, उसे पता चलता है कि उसे वास्तव में चार राज्यों की आवश्यकता नहीं है: वह अपनी श्रृंखला को तीन राज्यों तक सरल बना सकता है: $\text{T}$ इसका मतलब है कि वर्तमान परिणाम पूंछ रहा है, $\text{H}$ इसका मतलब है कि वर्तमान परिणाम प्रमुख हैं, और $\text{X}$ इसका मतलब है कि अंतिम दो परिणाम दोनों प्रमुख थे - यह अवशोषित अवस्था है। संक्रमण मैट्रिक्स है

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

उत्पाद श्रृंखला छह राज्यों पर चलती है: $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ । संक्रमण मैट्रिक्स का एक टेंसर उत्पाद है $\mathbb{P}$ तथा $\mathbb{Q}$ और बस आसानी से गणना की जाती है। उदाहरण के लिए, $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ मौका है कि पोली से एक संक्रमण बनाता है $\text T$ सेवा $\text T$ और, एक ही समय में (और स्वतंत्र रूप से), क्विंसी से एक संक्रमण बनाता है $\text T$ सेवा $\text H$ । पूर्व का एक मौका है $1-p$ और बाद का मौका $1/2$ । क्योंकि जंजीरें स्वतंत्र रूप से चलाई जाती हैं, वे संभावना कई गुना अधिक होती हैं $(1-p)/2$ । पूर्ण संक्रमण मैट्रिक्स है

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

यह दूसरी मैट्रिक्स के अनुरूप ब्लॉक के साथ ब्लॉक मैट्रिक्स रूप में है $\mathbb Q$ :

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

पोली और क्विंसी यह देखने के लिए प्रतिस्पर्धा करते हैं कि कौन पहले अपना लक्ष्य हासिल करेगा। जब भी कोई संक्रमण पहली बार किया जाता है तो विजेता पोली होगा $(\text{H},\text{*})$ कहाँ पे $\text{*}$ नहीं है $\text X$ ; जब भी कोई संक्रमण पहली बार किया जाता है तो विजेता क्विंसी होगा $(\text{T},\text{X})$ ; और यदि उनमें से किसी एक से पहले संक्रमण हो सकता है $(\text{H},\text{X})$ , परिणाम एक ड्रा होगा। ट्रैक रखने के लिए, हम राज्यों को बनाएंगे $(\text{H},\text{T})$ तथा $(\text{H},\text{H})$ दोनों अवशोषित (निर्माण के माध्यम से (1)) और फिर उन्हें विलय (निर्माण के माध्यम से (2))। राज्यों द्वारा आदेशित परिणामी रूपांतरण मैट्रिक्स $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ है

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

पोली और क्विंसी द्वारा एक साथ पहली बार फेंकने के परिणाम राज्य होंगे $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ संभावनाओं के साथ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$ , क्रमशः: यह प्रारंभिक अवस्था है, जिस पर श्रृंखला शुरू की जाती है।

के रूप में सीमा में है $n\to \infty$ ,

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

इस प्रकार तीन अवशोषित राज्यों की सापेक्ष संभावनाएं $(T,X), \{(H,T), (H,H)\}, (H,X)$ (क्विंसी जीत, पोली जीत का प्रतिनिधित्व करते हैं, वे आकर्षित करते हैं) $(1-p)^2:p(5-p):p(1-p)$ ।

आकृति

के कार्य के रूप में $p$ (मौका है कि पोली के थ्रो में से कोई भी प्रमुख होगा), लाल वक्र प्लॉट पॉली के जीतने की संभावना, ब्लू वक्र प्लॉट्स क्विनसी के जीतने की संभावना, और गोल्ड वक्र प्लॉट ड्रॉ का मौका देता है।

— व्हीबर
स्रोत

बहुत साफ उदाहरण, इसके लिए धन्यवाद। मैं अभी भी उन्हें अपने लिए देखने के लिए विवरणों पर काम कर रहा हूं। बस एक सवाल: यहां हमने दो घटनाओं (पोली और क्विंसी थ्रो) को एक साथ ग्रहण किया, अगर हम उन्हें अनुक्रमिक बना देते हैं, या फिर हर बार यादृच्छिक रूप से चुना जाता है जो अगली बार फेंक देंगे?

— user929304

@ user929304 आपको अलग-अलग उत्तर मिलेंगे, संभवतः काफी हद तक। उदाहरण के लिए, मान लीजिए कि P और Q एक श्रृंखला चला रहे हैं, जिसमें राज्यों को A और B में विभाजित किया जाता है, जहां A से B तक के सभी संक्रमण होते हैं और B से A तक सभी जाने जाते हैं। P और Q दोनों A में राज्यों में शुरू होते हैं। उत्पाद श्रृंखला वे दोनों एक साथ ए और बी के बीच वैकल्पिक करते हैं, लेकिन अनुक्रमिक और यादृच्छिक-विकल्प श्रृंखला उस अपरिवर्तनीय पैटर्न को तोड़ते हैं।

— whuber