केवल पिछली स्थिति के आधार पर मार्कोव प्रक्रिया

Question

मैं चाहूंगा कि कोई मेरी समझ की पुष्टि करे या अगर मुझे कुछ याद आ रहा है।

एक मार्कोव प्रक्रिया की परिभाषा कहती है कि अगला चरण केवल वर्तमान स्थिति पर निर्भर करता है और कोई पिछले राज्य नहीं। तो, मान लें कि हमारे पास a, b, c, d का एक स्टेट स्पेस है और हम a-> b-> c-> d से चलते हैं। इसका मतलब है कि डी के लिए संक्रमण केवल इस तथ्य पर निर्भर कर सकता है कि हम सी में थे।

हालांकि, क्या यह सच है कि आप मॉडल को अधिक जटिल बना सकते हैं और इस सीमा को "प्राप्त कर सकते हैं"? दूसरे शब्दों में, यदि आपका राज्य स्थान अब आ, अब, एसी, विज्ञापन, बा, बी बी, बीसी, बीडी, सीए, सीबी, सीसी, डा, डीबी, डीसी, डीसी, जिसका अर्थ है कि आपका नया राज्य स्थान बन गया है वर्तमान स्थिति के साथ संयुक्त पिछली स्थिति, तो उपरोक्त संक्रमण * a-> ab-> bc-> cd होगा और इसलिए cd (पिछले मॉडल के बराबर d) के लिए संक्रमण अब एक राज्य पर "निर्भर" है, जो यदि अलग तरीके से मॉडलिंग की जाती है, तो एक पिछली स्थिति है (मैं इसे नीचे उप-राज्य के रूप में संदर्भित करता हूं)।

क्या मैं सही हूं कि यह "पिछले राज्यों (उप-राज्य) पर निर्भर कर सकता है" (मैं तकनीकी रूप से जानता हूं कि यह नए मॉडल में नहीं है क्योंकि उप-राज्य अब वास्तविक राज्य नहीं है) विस्तार करके मार्कोव संपत्ति बनाए रखें राज्य अंतरिक्ष के रूप में मैंने किया था? इसलिए, कोई भी एक मार्कोव प्रक्रिया बना सकता है जो किसी भी पिछले उप-राज्यों की संख्या पर निर्भर कर सकता है।

Answer 1

तकनीकी रूप से, आपके द्वारा वर्णित दोनों प्रक्रियाएं मार्कोव चेन हैं। अंतर यह है कि पहला वाला पहले ऑर्डर मार्कोव चेन है जबकि दूसरा दूसरा ऑर्डर मार्कोव चेन है। और हाँ, आप एक दूसरे क्रम मार्कोव श्रृंखला को पहले स्थान के मार्कोव श्रृंखला में बदल सकते हैं, जो राज्य की अंतरिक्ष परिभाषा में एक उपयुक्त परिवर्तन है। मुझे एक उदाहरण के माध्यम से समझाता हूं।

मान लीजिए कि हम मौसम को एक स्टोकेस्टिक प्रक्रिया के रूप में मॉडल करना चाहते हैं और मान लें कि किसी भी दिन मौसम बारिश, धूप या बादल हो सकता है। चलो किसी विशेष दिन में मौसम हो सकता है और हमें प्रतीकों से संभावित स्थितियों में निरूपित आर (बरसात के लिए), एस (धूप) और के लिए सी (बादल)।$W_t$$R$$S$$C$

पहला ऑर्डर मार्कोव चेन

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

दूसरा ऑर्डर मार्कोव चेन

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

दूसरे ऑर्डर मार्कोव चेन को पहले ऑर्डर मार्कोव चेन में तब्दील किया जा सकता है जो निम्नानुसार राज्य स्पेस को फिर से परिभाषित करता है। निर्धारित करें:

लगातार दो दिन मौसम के रूप में।$Z_{t-1,t}$

: दूसरे शब्दों में, राज्य अंतरिक्ष निम्नलिखित में से एक मान ले जा सकते हैं , आर सी , आर एस , सी आर , सी सी , सी एस , एस आर , एस सी और एस एस । इस पुनः परिभाषित राज्य स्थान के साथ हमारे पास निम्नलिखित हैं:$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

उपरोक्त स्पष्ट रूप से पुनः परिभाषित राज्य स्थान पर एक पहला आदेश मार्कोव श्रृंखला है। दूसरे क्रम के मार्कोव श्रृंखला से एक अंतर यह है कि आपकी पुनर्निर्धारित मार्कोव श्रृंखला को दो प्रारंभिक प्रारंभिक अवस्थाओं के साथ निर्दिष्ट करने की आवश्यकता है, अर्थात, श्रृंखला को 1 दिन और 2 दिन के मौसम के बारे में कुछ मान्यताओं के साथ शुरू किया जाना चाहिए।

Comments

उत्कृष्ट: विवरण के लिए +1

— user603

Answer 2

एक मार्कोव प्रक्रिया की परिभाषा कहती है कि अगला चरण केवल वर्तमान स्थिति पर निर्भर करता है और कोई पिछले राज्य नहीं।

यह मार्कोव संपत्ति है और यह एक पहले आदेश एमसी को परिभाषित करता है , जो गणितीय रूप से बहुत ही ट्रैक्टेबल है और प्रस्तुत करने / समझाने में काफी आसान है। बेशक आप कर सकते थे$n^{th}$आदेश एमसी (जहां अगला राज्य वर्तमान और अतीत पर निर्भर करता है$n-1$ राज्यों) के साथ ही चर आदेश MCs (जब मेमोरी की लंबाई तय हो गई है लेकिन पिछले राज्य पर निर्भर करता है)।

$n^{th}$ आदेश MC स्थिर राज्य के वितरण के लिए स्पष्ट सूत्रीकरण को बनाए रखते हैं, लेकिन जैसा कि आपने बताया, राज्य मैट्रिक्स का आकार बढ़ता है $n$ इस तरह एक अप्रतिबंधित $n^{th}$ एमसी के साथ आदेश दें $k$ राज्यों के पास है $O(k^{2n})$ अपने राज्य मैट्रिक्स में प्रवेश।

हो सकता है कि आप हाल के कागजों जैसे हायर-ऑर्डर मल्टीवीरेट मार्कोव चेन और उनके अनुप्रयोगों पर एक नज़र डालना चाहें, क्योंकि यह क्षेत्र शांत तेजी से आगे बढ़ने की सलाह देता है।