मार्कोव यादृच्छिक क्षेत्र

Question

उनकी पाठ्यपुस्तक में, ग्राफिकल मॉडल, एक्सपोनेंशियल फ़ैमिलीज़ और वैरिएशन इंट्रेंस , एम। जॉर्डन और एम। वेनराइट एक्सपोनेंशियल परिवारों और मार्कोव रैंडम फील्ड्स (अप्रत्यक्ष ग्राफ़िकल मॉडल) के बीच संबंध पर चर्चा करते हैं ।

मैं निम्नलिखित प्रश्नों के साथ उनके बीच के संबंधों को बेहतर समझने की कोशिश कर रहा हूं:

• क्या सभी MRFs घातीय परिवारों के सदस्य हैं?
• क्या Exponential परिवारों के सभी सदस्यों को MRF के रूप में दर्शाया जा सकता है?
• यदि MRFs घातीय परिवार, एक प्रकार के वितरण के कुछ अच्छे उदाहरण हैं जो दूसरे में ncluded नहीं हैं ?$\neq$

मैं उनकी पाठ्यपुस्तक (अध्याय 3) में जो कुछ समझता हूं, उससे जॉर्डन और वेनराइट अगला तर्क प्रस्तुत करते हैं:

---

1. मान लें कि हमारे पास एक स्केलर रैंडम वैरिएबल X है जो कुछ वितरण अनुसरण करता है , और iid टिप्पणियों को , और हम को पहचानना चाहते हैं ।$p$$n$$X^1, \ldots X^n$$p$

2. हम कुछ कार्यों के अनुभवजन्य अपेक्षाओं की गणना करते हैं $\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ सभी के लिए$\alpha \in \mathcal{I}$

   जहां प्रत्येक कुछ सेट में अनुक्रमित एक समारोह$\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. तब यदि हम निम्नलिखित दो मात्राओं को बलपूर्वक मिलाते हैं, अर्थात मिलान करने के लिए ( पहचान करने के लिए ):$p$

   • अपेक्षाएँ पर्याप्त आँकड़ों की वितरण$E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • अनुभवजन्य वितरण के तहत उम्मीदें

हमें एक समस्या का सामना करना पड़ता है , इस अर्थ में कि कई वितरण हैं जो टिप्पणियों के अनुरूप हैं। इसलिए हमें उनके बीच चयन करने के लिए एक सिद्धांत की आवश्यकता है ( पहचान करने के लिए )।$p$$p$

यदि हम इस अनिश्चितता को दूर करने के लिए अधिकतम एन्ट्रापी के सिद्धांत का उपयोग करते हैं , तो हम एक प्राप्त कर सकते हैं :$p$

के अधीन ई पी [ ( φ अल्फा ( एक्स ) ] = μ अल्फा सभी के लिए अल्फा ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

जहां इस रूप लेता पी θ ( एक्स ) अल्फा exp Σ अल्फा ∈ मैं θ अल्फा φ अल्फा ( एक्स ) , जहां θ ∈ आर डी घातीय परिवार के रूप में वितरण की एक parameterization प्रतिनिधित्व करता है।$p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

दूसरे शब्दों में, अगर हम

1. अनुभवजन्य वितरण के तहत अपेक्षाओं के अनुरूप वितरण की अपेक्षाएं करें
2. अनिश्चितता से छुटकारा पाने के लिए अधिकतम एन्ट्रापी के सिद्धांत का उपयोग करें

हम घातीय परिवार के एक वितरण के साथ अंत करते हैं।$\rightarrow$

---

हालांकि, यह घातीय परिवारों को पेश करने के लिए एक तर्क की तरह दिखता है, और (जहां तक ​​मैं समझ सकता हूं) यह एमआरएफ और एक्सप के बीच संबंधों का वर्णन नहीं करता है। परिवारों। क्या मुझे कुछ याद आ रहा है?

Comments

मुझे लगता है कि वहाँ कुछ भ्रम है: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) अधिकतम एन्ट्रापी सिद्धांत के अनुसार परिभाषित नहीं किए गए हैं, लेकिन अपने आप ही, इस तथ्य के अनुसार घनत्व फैक्टर के गुच्छों के अनुसार होता है। ग्राफ। एमआरएफ उनके लॉग-लीनियर प्रतिनिधित्व के कारण घातीय परिवार हैं।

— शीआन

धन्यवाद @ शीआन। यह हिस्सा " एमआरएफ को इस तथ्य से परिभाषित किया जाता है कि ग्राफ के गुच्छों के अनुसार घनत्व कारक " जो मैंने हमेशा सोचा था कि वह एमआरएफ को परिभाषित करता है। लेकिन यह संपत्ति सभी एमआरएफ को घातीय परिवारों का हिस्सा क्यों बनाती है? और उदाहरण क्या हैं (यदि कोई हैं) या तो प्रकार (MRF या ऍक्स्प परिवारों) हैं जो अन्य प्रकार के सदस्य नहीं हैं?

— एमिलियो वाज़क्वेज़-रीना

मुझे यकीन नहीं है कि यह आपके लिए कितना जोड़ देगा, लेकिन एक बात जो इसे स्पष्ट कर सकती है वह है जीबन और जेमन द्वारा इस पत्र में गिब्स वितरण और एमआरएफ के मूल सूत्रीकरण को पढ़ना। मूल रूप से, पूरे विचार के लिए एक बोल्ट्जमैन वितरण (शून्य से कुछ तक) के साथ कुछ मॉडल करना है और फिर पूछना है कि कुछ कैसे कारक है। इसका वर्णन करने के इस तरीके के कारण, यह घातीय परिवारों के लिए उनका संबंध अधिक स्पष्ट हो सकता है।

— ईली

घातीय परिवारों को इस तथ्य से परिभाषित किया जाता है कि लॉग घनत्व अनिवार्य रूप से अवलोकनों के एक वेक्टर फ़ंक्शन का और मापदंडों के एक वेक्टर फ़ंक्शन का स्केलर उत्पाद है। इस परिभाषा में कोई चित्रमय संरचना शामिल नहीं है। MRF में एक ग्राफ शामिल होता है जो कि क्लिक्स, पड़ोस और टीसी को परिभाषित करता है। इसलिए, एमआरएफ एक जोड़ा संरचना, ग्राफ के साथ घातीय परिवार हैं।

— शीआन

मुझे लगता है कि टिप्पणियों / उत्तर का विरोध करने में भ्रम की स्थिति नीचे आती है कि क्या आपको उन कारकों को पेश करने की अनुमति है जो उनके मापदंडों के संबंध में लॉगलाइनर नहीं हैं।

— यारोस्लाव बुलटोव

Answer 1

आप पूरी तरह से सही हैं - आपने जो तर्क प्रस्तुत किया है, वह घातीय परिवार को अधिकतम एन्ट्रापी के सिद्धांत से संबंधित करता है, लेकिन एमआरएफ के साथ इसका कोई लेना-देना नहीं है।

अपने तीन प्रारंभिक प्रश्नों को संबोधित करने के लिए:

क्या Exponential परिवारों के सभी सदस्यों को MRF के रूप में दर्शाया जा सकता है?

हाँ। वास्तव में, किसी भी घनत्व या द्रव्यमान फ़ंक्शन को MRF के रूप में दर्शाया जा सकता है! विकिपीडिया [1] के अनुसार, एक MRF को यादृच्छिक चर के एक सेट के रूप में परिभाषित किया गया है जो कि अप्रत्यक्ष ग्राफ के संबंध में मार्कोव हैं। तुल्य, चर के संयुक्त वितरण निम्नलिखित गुणन के साथ लिखा जा सकता है: जहां सी एल ( जी ) का सेट है जी में अधिकतम क्लोन

$$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$$ $cl(G)$$G$। इस परिभाषा से आप देख सकते हैं कि पूरी तरह से जुड़ा हुआ ग्राफ, जबकि पूरी तरह से एकरूपता, किसी भी वितरण के अनुरूप है।

क्या सभी MRFs घातीय परिवारों के सदस्य हैं?

नहीं। चूंकि सभी वितरण MRF के रूप में दर्शाए जा सकते हैं (और सभी वितरण घातीय परिवार से संबंधित नहीं हैं) कुछ "MRF सदस्य" होने चाहिए जो कि घातीय परिवार के सदस्य नहीं हैं। फिर भी, यह एक बिल्कुल स्वाभाविक सवाल है - ऐसा लगता है कि एमआरएफ के अधिकांश लोग व्यवहार घातीय पारिवारिक वितरण का उपयोग करते हैं। सभी परिमित-डोमेन असतत MRF और गाऊसी MRFs घातीय परिवार के सदस्य हैं। वास्तव में, चूंकि घातीय परिवार के वितरण के उत्पाद घातीय परिवार में भी होते हैं, किसी भी MRF के संयुक्त वितरण में जिसमें हर संभावित कार्य का एक (अप्राकृतिक) घातीय परिवार का सदस्य होता है वह घातीय परिवार में ही होगा।$are$

यदि MRFs घातीय परिवार, एक प्रकार के वितरण के कुछ अच्छे उदाहरण दूसरे में शामिल नहीं हैं?$\neq$

मिश्रण वितरण गैर-घातीय परिवार वितरण के सामान्य उदाहरण हैं। रैखिक गाऊसी राज्य अंतरिक्ष मॉडल (एक छिपे हुए मार्कोव मॉडल की तरह, लेकिन निरंतर छिपे हुए राज्यों और गौसियन संक्रमण और उत्सर्जन वितरण के साथ) पर विचार करें। यदि आप गौसियंस के मिश्रण के साथ संक्रमण कर्नेल को प्रतिस्थापित करते हैं, तो परिणामी वितरण अब घातीय परिवार में नहीं है (लेकिन यह अभी भी व्यावहारिक ग्राफिकल मॉडल की समृद्ध सशर्त स्वतंत्रता संरचना की विशेषता रखता है)।

[१] http://en.wikipedia.org/wiki/Markov_random_field