बायेसियन नेटवर्क और मार्कोव प्रक्रिया के बीच अंतर?

Question

बायेसियन नेटवर्क और मार्कोव प्रक्रिया में क्या अंतर है?

मुझे विश्वास था कि मैं दोनों के सिद्धांतों को समझता हूं, लेकिन अब जब मुझे उन दोनों की तुलना करने की आवश्यकता है जो मुझे खोए हुए लगते हैं। वे मेरे लिए लगभग समान हैं। निश्चित रूप से वे नहीं हैं।

अन्य संसाधनों के लिंक की भी सराहना की जाती है।

Comments

मुझे याद है कि किसी ने मुझे इस साइट पर बताया था, बायेसियन नेटवर्क को बायेसियन इंट्रेंस की आवश्यकता नहीं है। उनके नाम बेयस शासन से आते हैं।

— टिम

Answer 1

एक संभाव्य चित्रमय मॉडल (PGM) संयुक्त रूप से यादृच्छिक चर के सेट पर कॉम्पैक्ट रूप से संयुक्त संभावना वितरण और (पर निर्भरता संबंधों ) के लिए एक ग्राफ औपचारिकता है। एक पीजीएम को बायेसियन नेटवर्क कहा जाता है जब अंतर्निहित ग्राफ को निर्देशित किया जाता है, और एक मार्कोव नेटवर्क / मार्कोव यादृच्छिक क्षेत्रजब अंतर्निहित ग्राफ अप्रत्यक्ष है। आम तौर पर, आप पूर्व दिशाओं के बीच संभाव्य प्रभाव के लिए पूर्व मॉडल का उपयोग करते हैं जिसमें स्पष्ट दिशात्मकता होती है, अन्यथा आप बाद वाले का उपयोग करते हैं; पीजीएम के दोनों संस्करणों में, संबंधित ग्राफ़ में किनारों की कमी एन्कोडेड वितरण में सशर्त स्वतंत्रताओं का प्रतिनिधित्व करती है, हालांकि उनके सटीक शब्दार्थ भिन्न होते हैं। "मार्कोव नेटवर्क" में "मार्कोव" पीजीएम द्वारा एन्कोड की गई सशर्त स्वतंत्रता की एक सामान्य धारणा को संदर्भित करता है, जो कि यादृच्छिक चर के एक सेट से स्वतंत्र है दूसरों के द्वारा "महत्वपूर्ण" कुछ सेट दिए गए हैं (तकनीकी नाम एक मार्कोव है कंबल ), यानी ।$x_A$$x_C$$x_B$$p(x_A|x_B, x_C) = p(x_A|x_B)$

एक मार्कोव प्रक्रिया किसी भी स्टोकेस्टिक प्रक्रिया है कि संतुष्ट मार्कोव संपत्ति । यहाँ जोर (स्केलर) यादृच्छिक चर आमतौर पर समय के साथ अनुक्रमित होने के बारे में सोचा जाता है, जो एक विशिष्ट प्रकार की सशर्त स्वतंत्रता को संतुष्ट करता है, अर्थात, "भविष्य अतीत से स्वतंत्र है वर्तमान दिया गया ", मोटे तौर पर । यह PGMs द्वारा परिभाषित 'मार्कोव' धारणा का एक विशेष मामला है: बस सेट , और को का कोई भी उपसमूह लें। और पिछले कथन का आह्वान करें$\{X_{t}\}$$X_1, X_2, X_3, ...$$p(x_{t+1}|x_t, x_{t-1}, ..., x_1) = p(x_{t+1}|x_t)$$A=\{t+1\}, B=\{t\}$$C$$\{t-1, t-2, ..., 1\}$$p(x_A|x_B, x_C) = p(x_A|x_B)$ । इससे हम देखते हैं कि किसी भी चर का मार्कोव कंबल इसका पूर्ववर्ती ।$X_{t+1}$$X_t$

इसलिए आप बायेसियन नेटवर्क के साथ मार्कोव प्रक्रिया का प्रतिनिधित्व कर सकते हैं , समय के साथ अनुक्रमित एक रेखीय श्रृंखला के रूप में (सादगी के लिए हम केवल असतत समय / राज्य के मामले पर विचार करते हैं; बिशप की पीआरएमएल पुस्तक से तस्वीर): इस तरह के बायेसियन नेटवर्क को एक के रूप में जाना जाता है। गतिशील बायेसियन नेटवर्क । चूँकि यह बायेसियन नेटवर्क (इसलिए पीजीएम) है, कोई भी संभावित पीजीएम एल्गोरिदम को संभाव्यता के अनुमान के लिए लागू कर सकता है (जैसे योग-उत्पाद एल्गोरिदम, जिनमें से चैपमैन m कोलमोगोरोव समीकरण एक विशेष मामले का प्रतिनिधित्व करते हैं) और पैरामीटर आकलन (जैसे अधिकतम संभावना, जो उबालता है। सरल श्रृंखला के लिए नीचे)। इसके उदाहरण अनुप्रयोग HMM और n-gram भाषा मॉडल हैं।

अक्सर आप इस तरह एक मार्कोव श्रृंखला के आरेख चित्रण देखते हैं

यह PGM नहीं है, क्योंकि नोड्स यादृच्छिक चर नहीं हैं, लेकिन श्रृंखला के राज्य स्थान के तत्व; किनारों लगातार दो राज्यों के बीच (गैर-शून्य) संक्रमणकालीन संभावनाओं के अनुरूप हैं। आप इस ग्राफ़ को श्रृंखला के CPT (सशर्त संभाव्यता तालिका) का वर्णन करने के बारे में भी सोच सकते हैं । यह मार्कोव श्रृंखला केवल एक ही यादृच्छिक चर ( मूड ) के रूप में प्रत्येक बार स्टाम्प पर दुनिया की स्थिति को एनकोड करती है ; क्या होगा अगर हम दुनिया के अन्य अंतःक्रियात्मक पहलुओं (जैसे स्वास्थ्य , और किसी व्यक्ति की आय ) पर कब्जा करना चाहते हैं , और को यादृच्छिक चर वेक्टर के रूप में$p(X_t|X_{t-1})$$X_t$$(X_t^{(1)},...X_t^{(D)})$? यह वह जगह है जहां पीजीएम (विशेष रूप से, गतिशील बायेसियन नेटवर्क) मदद कर सकते हैं। हम लिए जटिल वितरण मॉडल कर सकते हैं एक सशर्त बायेसियन नेटवर्क का उपयोग करता है जिसे आम तौर पर 2TBN (2-टाइम-स्लाइस बायेसियन नेटवर्क) कहा जाता है , जिसे सरल चेन बेयेशियन नेटवर्क का एक प्रशंसक संस्करण माना जा सकता है।$p(X_t^{(1)},...X_t^{(D)}|X_{t-1}^{(1)},...X_{t-1}^{(D)})$

टीएल; डीआर : एक बायेसियन नेटवर्क एक प्रकार का पीजीएम (संभाव्य चित्रमय मॉडल) है जो एक निर्धारित संभावना वितरण और संबंधित सशर्त स्वतंत्रता का प्रतिनिधित्व करने के लिए चर के सेट पर एक निर्देशित (एसाइक्लिक) ग्राफ का उपयोग करता है। मार्कोव प्रक्रिया एक स्टोकेस्टिक प्रक्रिया है (आमतौर पर यादृच्छिक वेरिएबल्स के संग्रह के रूप में सोचा जाता है) "वर्तमान को दिए गए अतीत से स्वतंत्र होने" की संपत्ति के साथ; जोर एकल "टेम्प्लेट" यादृच्छिक चर के विकास का अध्ययन करने के लिए समय के दौरान अधिक होता है (अक्सर )। ए (स्केलर) मार्कोव प्रक्रिया विशिष्ट सशर्त स्वतंत्रता संपत्ति$X_t$$t \to \infty$$p(x_{t+1}|x_t, x_{t-1}, ..., x_1) = p(x_{t+1}|x_t)$और इसलिए एक श्रृंखला बायेसियन नेटवर्क द्वारा तुच्छ रूप से प्रतिनिधित्व किया जा सकता है, जबकि गतिशील बेइज़ियन नेटवर्क पीजीएम की पूरी प्रतिनिधित्व क्षमता को कई यादृच्छिक चर (यानी, यादृच्छिक वैक्टर) के बीच समय-समय पर मॉडल इंटरैक्शन के लिए उपयोग कर सकते हैं; इस पर एक महान संदर्भ डाफ्ने कोल्लर की पीजीएम पुस्तक अध्याय 6 है।

Answer 2

पहले मार्कोव प्रक्रियाओं के बारे में कुछ शब्द। राज्य अंतरिक्ष (असतत / निरंतर) और समय चर (असतत / निरंतर) पर निर्भर करते हुए, उस जानवर के चार अलग-अलग स्वाद हैं। किसी भी मार्कोव प्रक्रिया का सामान्य विचार यह है कि "वर्तमान को देखते हुए, भविष्य अतीत से स्वतंत्र है"।

सरलतम मार्कोव प्रक्रिया, असतत और परिमित स्थान है, और असतत समय मार्कोव चेन है। आप इसे नोड्स के एक सेट के रूप में कल्पना कर सकते हैं, उनके बीच निर्देशित किनारों के साथ। ग्राफ में चक्र हो सकते हैं, और यहां तक ​​कि लूप भी हो सकते हैं। प्रत्येक किनारे पर आप 0 और 1 के बीच एक संख्या लिख ​​सकते हैं, इस तरह से, कि नोड नोड से 1 तक जाने वाले किनारों पर प्रत्येक नोड संख्या के लिए।

अब एक निम्न प्रक्रिया की कल्पना करें: आप किसी दिए गए राज्य में शुरू करते हैं। हर सेकंड, आप उस राज्य से एक आउटगोइंग एज चुनते हैं, जो आप वर्तमान में हैं, उस किनारे पर संख्या के बराबर उस किनारे को चुनने की संभावना के साथ। ऐसे में, आप यादृच्छिक रूप से राज्यों का एक क्रम उत्पन्न करते हैं।

इस तरह की प्रक्रिया का एक बहुत अच्छा दृश्य यहां पाया जा सकता है: http://setosa.io/blog/2014/07/26/markov-chab/

टेकअवे संदेश यह है, कि एक असतत अंतरिक्ष असतत समय मार्कोव प्रक्रिया का एक ग्राफिकल प्रतिनिधित्व एक सामान्य ग्राफ है, जो ग्राफ के नोड्स के अनुक्रमों पर वितरण का प्रतिनिधित्व करता है (एक शुरुआती नोड दिया जाता है, या नोड्स पर एक प्रारंभिक वितरण)।

दूसरी ओर, एक बायेसियन नेटवर्क एक डीएजी ( डायरेक्टेड एसाइक्लिक ग्राफ ) है जो कुछ संयुक्त स्थायित्व वितरण के एक कारक का प्रतिनिधित्व करता है। आमतौर पर यह प्रतिनिधित्व कुछ चर के बीच सशर्त स्वतंत्रता को ध्यान में रखने की कोशिश करता है, ताकि ग्राफ को सरल बनाया जा सके और संयुक्त संभाव्यता वितरण का अनुमान लगाने के लिए आवश्यक मापदंडों की संख्या में कमी हो सके।

Answer 3

जब मैं उसी प्रश्न का उत्तर खोज रहा था तो मैं इन उत्तरों में आया। लेकिन उनमें से कोई भी विषय को स्पष्ट नहीं करता है। जब मुझे कुछ अच्छी व्याख्याएँ मिलीं, जिन्हें मैं उन लोगों के साथ साझा करना चाहता था, जो मेरे जैसा सोचते थे।

जुडी पर्ल, अध्याय 3: मार्कोव और बायेसियन नेटवर्क्स द्वारा लिखित पुस्तक "इंटेलिजेंट सिस्टम में प्रोबेशनलिस्टिक रीज़निंग: नेटवर्क्स ऑफ प्लाज़िबल इन्वेंशन"

मार्कोव नेटवर्क की मुख्य कमजोरी प्रेरित और गैर-परिवर्तनशील निर्भरता का प्रतिनिधित्व करने में असमर्थता है; दो स्वतंत्र चर एक किनारे से सीधे जुड़े होंगे, केवल इसलिए कि कुछ अन्य चर दोनों पर निर्भर करते हैं। परिणामस्वरूप, कई उपयोगी स्वतंत्र नेटवर्क में अप्रतिबंधित हो जाते हैं। इस कमी को दूर करने के लिए, बायेसियन नेटवर्क निर्देशित ग्राफ़ की समृद्ध भाषा का उपयोग करते हैं, जहां तीर के निर्देश हमें काल्पनिक प्रेक्षणों से प्रेरित सहज निर्भरता से वास्तविक निर्भरता को अलग करने की अनुमति देते हैं।

Answer 4

मार्कोव प्रक्रिया मार्कोवियन संपत्ति के साथ एक स्टोकेस्टिक प्रक्रिया है (जब सूचकांक समय होता है, मार्कोवियन संपत्ति एक विशेष सशर्त स्वतंत्रता है, जो कहती है कि वर्तमान, अतीत और भविष्य स्वतंत्र हैं।)

बायेसियन नेटवर्क एक निर्देशित ग्राफिकल मॉडल है। (एक मार्कोव यादृच्छिक क्षेत्र एक अप्रत्यक्ष चित्रमय मॉडल है।) एक चित्रमय मॉडल सशर्त स्वतंत्रता को दर्शाता है, जो मार्कोवियन संपत्ति से अलग हो सकता है।

मैं ग्राफिकल मॉडल से परिचित नहीं हूं, लेकिन मुझे लगता है कि ग्राफिकल मॉडल को स्टोकेस्टिक प्रक्रिया के रूप में देखा जा सकता है।

Answer 5

-किसी भी मार्कोव प्रक्रिया का सामान्य विचार यह है कि "वर्तमान को देखते हुए, भविष्य अतीत से स्वतंत्र है"।

-किसी भी बायेसियन पद्धति का सामान्य विचार यह है कि "पूर्व को देखते हुए, भविष्य अतीत से स्वतंत्र है", इसके पैरामीटर, यदि टिप्पणियों द्वारा अनुक्रमित किए जाते हैं, तो एक मार्कोव प्रक्रिया का पालन करेंगे

प्लस

"मैं अपनी मान्यताओं को कैसे अद्यतन करूँ, यह सब निम्नलिखित होगा

• आप मुझे नई जानकारी देते हैं, तो आप मुझे नई जानकारी देते हैं,
• आप मुझे नई जानकारी B दें, फिर नई जानकारी A
• तुम मुझे ए और बी दो

तो इसके पैरामीटर वास्तव में समय के साथ अनुक्रमित एक मार्कोव प्रक्रिया होगी, न कि टिप्पणियों द्वारा