मोंटे कार्लो नमूनाकरण के माध्यम से प्रवेश जानकारी का अनुमान है

10

मैं ऐसे तरीकों की तलाश कर रहा हूं, जो किसी वितरण की जानकारी को तब दर्ज करने की अनुमति दें जब उस वितरण से नमूने के एकमात्र व्यावहारिक तरीके मोंटे कार्स के तरीके हों।

मेरी समस्या मानक ईज़िंग मॉडल के विपरीत नहीं है जो आमतौर पर मेट्रोपोलिस-हेस्टिंग्स नमूने के लिए परिचयात्मक उदाहरण के रूप में उपयोग किया जाता है। मेरे पास एक सेट पर एक प्रायिकता वितरण है , यानी मेरे पास प्रत्येक लिए । तत्व दहनशील प्रकृति के होते हैं, जैसे आइसिंग राज्य, और उनमें से एक बहुत अधिक संख्या है। इसका मतलब यह है कि व्यवहार में मुझे एक ही नमूना दो बार नहीं मिलता है जब कंप्यूटर पर इस वितरण से नमूना लिया जाता है। को सीधे गणना नहीं की जा सकती (सामान्यीकरण कारक को नहीं जानने के कारण), लेकिन अनुपात की गणना करना आसान है। $A$ $p(a)$ $a \in A$ $a \in A$ $p(a)$ $p(a_1)/p(a_2)$

मैं इस वितरण की सूचना एन्ट्रापी, लगाना चाहता हूं

S = - \sum_{a \in A} p (a) \ln p (a) .

$S = -\sum_{a \in A} p(a) \ln p(a).$

वैकल्पिक रूप से, मैं इस डिस्ट्रीब्यूशन के बीच के अंतर का अनुमान लगाना चाहता हूं और इसे प्राप्त करने के लिए इसे (और निश्चित रूप से फिर से सामान्य करने वाला) उप में सीमित करके । $a\in A_1 \subset A$

monte-carlo random-sampling

— चार्ल्स वेल्स
स्रोत

3

यदि मैं समझता हूं कि आपके पास क्या जानकारी उपलब्ध है, तो आप जो चाहते हैं वह संभव नहीं है: आपके लिए उपलब्ध जानकारी एन्ट्रापी निर्धारित करने के लिए पर्याप्त नहीं है। एन्ट्रापी का अनुमान लगाने के लिए यह पर्याप्त नहीं है।

ऐसा लगता है कि आपके पास वितरण से नमूना करने का एक तरीका है , और आपके पास तत्वों के किसी भी जोड़े लिए अनुपात गणना करने का एक तरीका है जो आपने नमूने के माध्यम से प्राप्त किया है। लेकिन आपके पास कोई अन्य जानकारी नहीं है। यदि हां, तो आपकी समस्या हल नहीं है। $p(\cdot)$ $p(a_1)/p(a_2)$ $a_1,a_2$

विशेष रूप से, हम उन वितरणों की एक जोड़ी पा सकते हैं जिनमें विभिन्न एन्ट्रापी हैं, लेकिन जो आपको उपलब्ध जानकारी का उपयोग करके अलग नहीं किया जा सकता है। आकार एक (यादृच्छिक) सेट पर पहले समान वितरण पर विचार करें । आकार एक (यादृच्छिक) सेट पर समान वितरण के बगल में विचार करें । इनकी अलग-अलग एंट्रोपी (200 बिट बनाम 300 बिट) हैं। हालाँकि, आपके लिए उपलब्ध जानकारी को देखते हुए, आपके पास यह जानने का कोई तरीका नहीं है कि आप उन दो वितरणों में से किसके साथ काम कर रहे हैं। विशेष रूप से, दोनों मामलों में, अनुपात $2^{200}$ $2^{300}$ $p(a_1)/p(a_2)$ हमेशा ठीक 1 होगा, इसलिए अनुपात आपको दो वितरणों के बीच अंतर करने में मदद नहीं करेगा। और जन्मदिन के विरोधाभास के कारण, आप जितना चाहें उतना नमूना ले सकते हैं, लेकिन आपको कभी भी दो बार समान मूल्य नहीं मिलेगा (आपके जीवनकाल के भीतर नहीं, केवल घातांक छोटी संभावना के अलावा), इसलिए आपको नमूने से मिलने वाले मूल्य बिल्कुल दिखेंगे यादृच्छिक अंक और कोई उपयोगी जानकारी नहीं है।

इसलिए, अपनी समस्या को हल करने के लिए, आपको कुछ और जानना होगा। उदाहरण के लिए, यदि आप वितरण की संरचना के बारे में कुछ जानते हैं, तो इससे आपकी समस्या का समाधान संभव हो सकता है। $p(\cdot)$

— DW
स्रोत

p (a)

$p(a)$ में वास्तव में एक विशेष गुण होता है: यह गिब्स होता है, जैसे कि जहां एक की "ऊर्जा" । सिवाय इसके कि कई "ऊर्जा" मात्राएं हैं, प्रत्येक इसके संबंधित पैरामीटर के साथ।

p (a) \propto \exp (θ E (a))

$p(a) \propto \exp(\theta E(a))$

E

$E$

a

$a$

θ

$\theta$

— चार्ल्स वेल्स

1

@CharlesWells, मैं "एकाधिक मात्रा" से आपका मतलब नहीं मान रहा हूं। ऐसा लगता है कि एक अलग प्रश्न के रूप में अलग-अलग पोस्ट करने के लायक है, जहां आप हमें की संरचना के बारे में जानकारी देते हैं । हो सकता है कि उस विशेष मामले का कोई हल हो।

p (a)

$p(a)$

— DW

2

आपके प्रश्न के दूसरे भाग के लिए ( वितरण के बीच के अंतर का अंतर ) आप पहचान का उपयोग करने में सक्षम हो सकते हैं जहां औसत ऊर्जा है, तापमान है (यह है आनुपातिक करने के लिए में ), और एन्ट्रापी है। विवरण के लिए, देखें: जेनेस, ई। (1957)। सूचना सिद्धांत और सांख्यिकीय यांत्रिकी। शारीरिक समीक्षा, 106 (4), 620–630। http://doi.org/10.1103/PhysRev.106.620 ।

F = ⟨ E ⟩ - T S,

$F = \langle E \rangle - T S,$

⟨ E ⟩

$\langle E \rangle$

T

$T$

θ

$\theta$

p \propto e^{θ E}

$p \propto \mathrm{e}^{\theta E}$

S

$S$

$\Delta F$ $\Delta S$ $\Delta F$ $\Delta \langle E \rangle$ $A_1$ $A$ $E$ $A_1$

मुक्त ऊर्जा की गणना के लिए एल्गोरिदम पर दो अतिरिक्त संदर्भ दिए गए हैं:

लेलीव्रे, टी।, राउसेट, एम।, और स्टोल्ट्ज़, जी। (2010)। नि: शुल्क ऊर्जा संगणना इंपीरियल कॉलेज प्रेस। http://doi.org/10.1142/9781848162488

चिपोट, सी।, और पोहोरिल, ए। (2007)। नि: शुल्क ऊर्जा गणना। (सी। चीपोट और ए। पोहोरिल, ईडीएस।) (खंड 86)। बर्लिन, हीडलबर्ग: स्प्रिंगर बर्लिन हीडलबर्ग। http://doi.org/10.1007/978-3-540-38448-9

— जुआन एम। बेलो-रिवास
स्रोत

क्या आप मुफ्त ऊर्जा अंतर की गणना के लिए अधिक व्यावहारिक संदर्भ दे सकते हैं? वह विकी बहुत दूर तक नहीं जाता है

— चार्ल्स वेल्स

किया हुआ। मैंने दो और संदर्भ जोड़े और विकी के साइडबार में लिंक की ओर इशारा किया।

— जुआन एम। बेलो-रिवास