मार्कोव चेन क्या हैं?

Question

मैं वर्तमान में मार्कोव श्रृंखला के बारे में कुछ पेपर पढ़ रहा हूँ, मैं एक मार्कोव श्रृंखला और एक सादे निर्देशित भारित ग्राफ के बीच का अंतर देखने में असफल रहा हूँ।

उदाहरण के लिए, मार्कोव श्रृंखला में इष्टतम स्टेट-स्पेस गांठ में वे CTMC (निरंतर समय मार्कोव श्रृंखला) की निम्नलिखित परिभाषा प्रदान करते हैं:

हम एक परिमित CTMC पर विचार करते हैं $(\mathcal{S}, Q)$राज्य स्थान द्वारा एक संक्रमण दर मैट्रिक्स ।$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

वे मार्कोव संपत्ति का उल्लेख बिल्कुल नहीं करते हैं, और, वास्तव में, अगर किनारों पर भार एक संभावना का प्रतिनिधित्व करता है, तो मेरा मानना ​​है कि मार्कोव संपत्ति तुच्छ रूप से रखती है क्योंकि संभावना केवल श्रृंखला की वर्तमान स्थिति पर निर्भर करती है और उस रास्ते का नेतृत्व नहीं करती है यह करने के लिए।

Lumpability के संबंधपरक गुणों पर एक अन्य लेख में मार्कोव श्रृंखलाओं को इसी तरह परिभाषित किया गया है:

मार्कोव श्रृंखला को एक ट्रिपल रूप में दर्शाया जाएगा जहां , के राज्यों का परिमित समुच्चय है , संक्रमण संभावना मैट्रिक्स है जो एक राज्य से दूसरे राज्य में जाने की संभावना को दर्शाता है, और है प्रारंभिक संभावना वितरण एक निश्चित अवस्था में सिस्टम के शुरू होने की संभावना का प्रतिनिधित्व करता है।$M$$(S, P, \pi)$$S$$M$$P$$\pi$

फिर, अतीत या भविष्य या स्वतंत्रता का कोई उल्लेख नहीं है।

एक तीसरा पेपर सिंपल ओ (एम लोगन) टाइम मार्कोव चेन लंपिंग है जहां वे न केवल यह बताते हैं कि किनारों पर भार संभावनाएं हैं, लेकिन वे यहां तक ​​कहते हैं:

कई अनुप्रयोगों में, मान गैर-नकारात्मक हैं। हम यह धारणा नहीं बनाते हैं, हालांकि, ऐसे अनुप्रयोग भी हैं जहां को जानबूझकर रूप में चुना जाता है , जिससे यह आमतौर पर नकारात्मक हो जाता है।$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

इसके अलावा, यह कहा जाता है कि मार्कोव संपत्ति ("समतुल्य" राज्य को एक बड़े राज्य में मिलाकर) को बनाए रखते हुए लुम्पिंग राज्यों की संख्या को कम करने का एक तरीका होना चाहिए। फिर भी, मुझे ऐसा लग रहा है कि यह बस संभावनाओं को समेटे हुए है और यह भी गारंटी नहीं होनी चाहिए कि एकत्रित राज्यों की / से परिवर्तन की परिणामी उपलब्धियाँ सीमा । फिर क्या गांठ वास्तव में संरक्षित करता है?$[0,1]$

इसलिए, दो संभावनाएं हैं जो मुझे दिखाई देती हैं:

• मुझे समझ नहीं आया कि एक मार्कोव श्रृंखला क्या है, या
• उन कागजों में मार्कोव श्रृंखला शब्द का उपयोग फर्जी है

क्या कोई स्थिति स्पष्ट कर सकता है?

यह वास्तव में ऐसा लगता है कि उस शब्द का उपयोग करने वाले विभिन्न समुदाय हैं और उनका मतलब व्यापक रूप से विभिन्न चीजों से है। इन 3 लेखों से, जिन पर मैं विचार कर रहा हूं, ऐसा लगता है कि मार्कोव संपत्ति या तो तुच्छ है या बेकार है, जबकि एक अलग तरह के कागजात को देखने पर यह मौलिक लगता है।

Comments

इंटरनेट पर ऐसी कई पाठ्यपुस्तकें और संसाधन मौजूद हैं, जो स्पष्ट करते हैं कि (a) मार्कोव श्रृंखला क्या है और (b) सटीक गणितीय परिभाषा क्या है। हम अपेक्षा करते हैं कि आप पूछने से पहले एक महत्वपूर्ण मात्रा में शोध और स्वाध्याय करेंगे। तो, क्या आपने उन संसाधनों में से किसी से सलाह ली है? आपको वहां क्या मिला? PS मुझे लगता है कि साहित्य में कागज आप मान लेंगे कि मार्कोव श्रृंखला की परिभाषा है, और उन वाक्यों को जरूरी रूप से मार्कोव श्रृंखला की एक सटीक औपचारिक परिभाषा के रूप में नहीं बताया जाएगा, बल्कि केवल तब बात करने के लिए उपयोग किए जाने वाले नोटेशन को स्थापित करने के लिए। एक के बारे में।

— DW

अतीत या भविष्य या स्वतंत्रता ऐसे गुण हैं जो अनुसरण करते हैं, iirc हैं। वजन पर कुछ प्रतिबंध होने चाहिए, हालांकि; हो सकता है कि कुछ चीजें निहित हो सकती हैं, जैसे कि एक आउटगोइंग वज़न को एक किनारे तक ले जाना जो कि सिंक स्टेट की ओर ले जाता है (cf. विभिन्न DFA परिभाषाएँ)।

— राफेल

@ डब्लू हां मैंने किया। मैंने जो पाया वह यह है कि पाठ्यपुस्तक में मार्कोव श्रृंखला की धारणा का इस तरह के कागज़ों में इस्तेमाल होने वाली अवधारणा से कोई लेना-देना नहीं है। यही कारण है कि मैं यह पूछ रहा हूं।

— बकरिउ

फिर, एक तीसरी संभावना है। मुझे लगता है कि आप जो गलती कर रहे हैं वह मार्कोव श्रृंखला की परिभाषा के रूप में उन पत्रों में बयान की व्याख्या करना है। मुझे लगता है कि शायद उन बयानों का इरादा नहीं है। मुझे लगता है कि लेखकों को लगता है कि आप पहले से ही मार्कोव श्रृंखला की परिभाषा से परिचित हैं, और बस कुछ संकेतन स्थापित करने की कोशिश कर रहे हैं (एक ही अवधारणा के कई प्रकार के अंकन आप उपयोग कर सकते हैं)। तो, उस दृष्टिकोण से एक और नज़र डालें और देखें कि क्या आपको ऐसा कुछ भी मिलता है जो उसे कागजात में उलट देता है (यदि आपको कोई मिलता है, तो इसे प्रश्न में जोड़ें)।

— DW

@DW ऐसा लगता है जैसे ओपी ने सभ्य शोध किया और अपने प्रश्न को स्पष्ट रूप से समझा। हाँ हम सीखने के लिए google का उपयोग कर सकते हैं। लेकिन क्या आपने देखा है कि Google में SE की साइटें कितनी उच्च रैंक पर हैं? इसका कारण यह है कि हम जानकारी को (आमतौर पर) एकल, अच्छी तरह से परिभाषित प्रश्नों में सम्मिलित करते हैं। हमारे समुदाय के सहयोगात्मक प्रयास बहुत समृद्ध और मूल्यवान सामग्री का निर्माण करते हैं, जो कि कई बार, वहाँ के पन्नों की तुलना में अधिक उपयोगी होता है और जानकारी के पन्नों से अधिक कुशल सीखने के परिणामस्वरूप होता है।

— BAR

Answer 1

एक निरंतर-समय मार्कोव चेन को निरंतर गैर-नकारात्मक बढ़त भार के साथ एक निर्देशित ग्राफ के रूप में दर्शाया जा सकता है। के साथ एक निर्देशित ग्राफ के निरंतर बढ़त-वजन का एक समान प्रतिनिधित्व$N$ नोड्स एक के रूप में है $N \times N$आव्यूह। मार्कोव संपत्ति (है कि भविष्य राज्यों केवल वर्तमान स्थिति पर निर्भर करते हैं) है अंतर्निहित निरंतर बढ़त वजन (या मैट्रिक्स में लगातार प्रविष्टियों) में। निहित का अर्थ है निहित । गणितज्ञ इसका उपयोग व्यंजना अर्थ के रूप में करते हैं, "आपको इसे स्वयं सिद्ध करना चाहिए।"

लेकिन पहला पेपर एक कंटीन्यू-टाइम मार्कोव चैन के साथ संकेतन को परिभाषित करता है , जिसे कभी-कभी मार्कोव प्रोसेस भी कहा जाता है , जबकि दूसरा पेपर डिस्क्रिप्टेट-टाइम मार्कोव चैन के अनुरूप संकेतन को परिभाषित करता है । वे कहते हैं

$P$है संक्रमण संभावना मैट्रिक्स एक राज्य से दूसरे करने के लिए प्राप्त होने की संभाव्यता का संकेत है, और$\pi$सिस्टम के लिए एक निश्चित अवस्था में शुरू होने की संभावना का प्रतिनिधित्व करने वाली प्रारंभिक संभावना वितरण है । [महत्व दिया]

वे मान रहे हैं कि मैट्रिक्स समय के साथ स्थिर है (इस प्रकार मार्कोव संपत्ति का अर्थ है)। शब्द संभावना में निहित तथ्य यह है कि प्रत्येक स्थिर सीमा में है$[0,1]$, कि हर कॉलम में प्रविष्टियाँ $P$ के लिए राशि $1$और प्रविष्टियों का योग है $\pi$ के लिए राशि $1$।

मैं तीसरा पेपर नहीं पढ़ सकता, यह भुगतान किया गया है। यदि मैट्रिक्स के प्रत्येक कॉलम में प्रविष्टियों को 1 के योग के लिए आवश्यक है, तो वे संभाव्यताएं हैं और वे डिस्क्रीट-टाइम मार्कोव विन के बारे में बात कर रहे हैं। यदि हर कॉलम में प्रविष्टियाँ एक मनमाने संख्या में सम्‍मिलित हो सकती हैं, तो प्रविष्टियाँ दरों का प्रतिनिधित्व करती हैं न कि संभाव्यता की और वे कंटिन्यूअस-टाइम मार्कोव चेन की बात कर रही हैं।

सतत समय मार्कोव चेन के रूप में ही नहीं हैं असतत समय मार्कोव चेन। एक सतत समय मार्कोव चेन में बढ़त वजन संभावनाओं का प्रतिनिधित्व नहीं करते हैं, बल्कि संक्रमण दर । किनारे का वजन गैर-नकारात्मक होना चाहिए, लेकिन मनमाने ढंग से बड़ा हो सकता है, और आउट-किनारों का वजन किसी भी गैर-नकारात्मक संख्या के बराबर हो सकता है। योग होने की आवश्यकता नहीं है$1$।

दोनों निरंतर-समय और असतत समय मार्कोव चेन के साथ मार्कोव संपत्ति निरंतर बढ़त भार (या संक्रमण मैट्रिक्स में लगातार प्रविष्टियों) के द्वारा निहित है।

Answer 2

मार्कोव चेन दो स्वादों में आते हैं: निरंतर समय और असतत समय।

दोनों निरंतर समय मार्कोव श्रृंखला (CTMC) और असतत समय मार्कोव श्रृंखला (DTMC) को निर्देशित भारित रेखांकन के रूप में दर्शाया गया है।

DTMC के संक्रमणों के लिए हमेशा "समय" की एक इकाई लेते हैं। नतीजतन, एक चाप पर आपका वजन क्या होना चाहिए, इसके लिए कोई विकल्प नहीं है - आपने "जे" पर जाने की संभावना को देखते हुए कहा कि आप "मैं" हैं।

CTMC के लिए, किसी भी दो राज्यों के बीच संक्रमण का समय आवश्यक रूप से एक घातीय यादृच्छिक चर द्वारा दिया गया है। यह CTMC और DTMC के बीच का मुख्य अंतर है: DTMC के हमेशा यूनिट संक्रमण का समय होता है। CTMC का यादृच्छिक संक्रमण समय है।

CTMC के लिए, कन्वेंशन आम तौर पर एक चाप पर वेट लगाने के लिए होता है जो कि स्रोत से गंतव्य तक जाने वाले घातीय यादृच्छिक चर की दर के अनुसार होता है। वह है- कन्वेंशन को आर्क्स पर रेट्स डालना है , प्रॉस्पेक्ट्स नहीं।

ऋणात्मक दर

हालाँकि, सभी CTMC की मुझे याद है कि किनारों पर सकारात्मक दरों का प्रतिनिधित्व किया गया था, CTMC विश्लेषण में नकारात्मक दरें सामने आई हैं।

कहें कि हम नीचे A, B, C और D से जुड़े हैं।

A -> बी (दर में एक से एक बी नकारात्मक है) -> सी (दर में एक से डी सी नकारात्मक है) -> ए (दर में एक से डी सकारात्मक है)

यह संभावना नहीं है कि आपका पेपर क्या कह रहा है; मैं यह दिखाने के लिए लाता हूं कि यदि कोई उपयुक्त सम्मेलन के साथ काम कर रहा हो तो नकारात्मक वजन जरूरी नहीं है।

मार्कोव संपत्ति

DTMC के लिए- आप सही हैं। मार्कोव संपत्ति तुच्छ रूप से संतुष्ट है। CTMC के लिए, मार्कोव संपत्ति संतुष्ट है क्योंकि संक्रमण घातीय यादृच्छिक चर (जो "मेमोरीलेस" हैं) द्वारा दिए गए हैं। यदि परिवर्तन घातीय यादृच्छिक चर द्वारा नहीं दिए गए थे (जैसे कि वे एक समान थे), तो हम "सेमी-मार्कोव चेन" या "सेमी-मार्कोव प्रोसेस" के बारे में बात करेंगे।

Comments

घातीय स्मृतिहीन होने के बारे में स्पष्टीकरण के लिए धन्यवाद। यह समझ में आता है। मैंने तीसरे लेख को डबल चेक किया और वे स्पष्ट रूप से कहते हैं कि वे भार को गैर-नकारात्मक नहीं मानते हैं, क्योंकि एक अजीब परिभाषा है$W(s, s)$ (स्वयं में एक राज्य की दर) जिसे आमतौर पर परिभाषित किया जाता है $-W(s, S \setminus \{s\})$ (यानी की दरों का योग शून्य से कम है $s$अन्य सभी राज्यों के लिए) जो इसे बनाता है, लगभग हमेशा, नकारात्मक।

— बाकुरिउ

आखिरी पेपर मेरे लिए काफी रहस्यमय है क्योंकि वे ज्यादातर पेपर के माध्यम से मार्कोव चेन शब्दावली का उपयोग नहीं करते हैं। यह संभव है कि वे एक अधिक सामान्य समस्या को हल करें भले ही प्रेरणा मार्कोव चेन हो। ने कहा कि,$W(s,s) = -W(s, S\setminus \{s\})$लैपलैस ऑपरेटर के साथ काम करने में सुसंगत है (या इसके नकारात्मक कारण के लिए..कुछ कारण से)।

— साशो निकोलेव