क्या चित्रमय मॉडल और बोल्ट्ज़मन मशीनें गणितीय रूप से संबंधित हैं?


10

जबकि मैंने वास्तव में एक भौतिकी वर्ग में बोल्ट्जमैन मशीनों के साथ कुछ प्रोग्रामिंग की है, मैं उनके सैद्धांतिक लक्षण वर्णन से परिचित नहीं हूं। इसके विपरीत, मैं चित्रमय मॉडल के सिद्धांत के बारे में एक मामूली राशि जानता हूं (लॉरिटज़ेन की पुस्तक ग्राफिकल मॉडल के पहले कुछ अध्यायों के बारे में )।

प्रश्न: क्या ग्राफिकल मॉडल और बोल्ट्जमैन मशीन के बीच कोई सार्थक संबंध है? क्या बोल्ट्जमैन मशीन एक प्रकार का चित्रमय मॉडल है?

स्पष्ट रूप से बोल्ट्जमैन मशीन एक प्रकार का तंत्रिका नेटवर्क है। मैंने सुना है कि कुछ तंत्रिका नेटवर्क गणितीय रूप से ग्राफिकल मॉडल से संबंधित हैं और कुछ नहीं हैं।

CrossValidated पर संबंधित प्रश्न जो मेरे प्रश्न का उत्तर नहीं देते हैं:
यह एक पिछले प्रश्न के समान है जो पहले पूछा गया है: पदानुक्रमित मॉडल, तंत्रिका नेटवर्क, ग्राफिकल मॉडल, बायेसियन नेटवर्क के बीच क्या संबंध है? लेकिन अधिक विशिष्ट है।

इसके अलावा, उस सवाल का स्वीकृत जवाब मेरी उलझन को स्पष्ट नहीं करता है - भले ही तंत्रिका नेटवर्क के मानक चित्रमय प्रतिनिधित्व में नोड यादृच्छिक चर का प्रतिनिधित्व नहीं करते हैं, लेकिन जरूरी नहीं कि इसका मतलब है कि ऐसा कोई प्रतिनिधित्व मौजूद नहीं है। विशेष रूप से, मैं इस बारे में सोच रहा हूं कि मार्कोव श्रृंखला के विशिष्ट ग्राफिकल प्रतिनिधित्व में नोड्स यादृच्छिक चर बजाय संभावित राज्यों के सेट का प्रतिनिधित्व कैसे करते हैं , लेकिन एक बीच सशर्त निर्भरता संबंधों को दर्शाने वाला एक ग्राफ भी बना सकता है।X iXiXi, जो दर्शाता है कि प्रत्येक मार्कोव श्रृंखला वास्तव में मार्कोव यादृच्छिक क्षेत्र है। उत्तर यह भी कहता है कि तंत्रिका नेटवर्क (संभवतः बोल्ट्ज़मैन मशीनों सहित) "भेदभावपूर्ण" हैं, लेकिन यह समझाने के लिए अधिक विवरण में नहीं जाता है कि दावे का क्या मतलब है, और न ही स्पष्ट अनुवर्ती प्रश्न "ग्राफ़िकल मॉडल भेदभावपूर्ण नहीं हैं?" को संबोधित किया। इसी तरह, केविन मर्फी की वेबसाइट के लिए स्वीकृत उत्तर लिंक (मैं वास्तव में बायसन नेटवर्क के बारे में जानने के दौरान उनकी कुछ पीएचडी थीसिस पढ़ता हूं), लेकिन यह वेबसाइट केवल बायेसियन नेटवर्क पर चर्चा करती है और तंत्रिका नेटवर्क का उल्लेख नहीं करती है - इस प्रकार वे कैसे रोशन करने में विफल रहते हैं अलग है।

यह अन्य प्रश्न शायद मेरे लिए सबसे अधिक समान है: गणितीय रूप से तंत्रिका नेटवर्क को चित्रमय मॉडल के रूप में मॉडलिंग करना हालांकि, किसी भी उत्तर को स्वीकार नहीं किया गया था, और इसी तरह केवल संदर्भ देते हैं लेकिन संदर्भों को नहीं समझाते हैं (उदाहरण के लिए यह उत्तर )। जबकि एक दिन मैं उम्मीद करता हूं कि मैं संदर्भों को समझ पाऊंगा, अभी मैं ज्ञान के बुनियादी स्तर पर हूं और सबसे अधिक उत्तर की सराहना करूंगा जो जितना संभव हो उतना सरल है। इसके अलावा, शीर्ष उत्तर ( http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml ) से जुड़ा टोरंटो कोर्स इसे संबोधित करता है, लेकिन बहुत विस्तार से नहीं। इसके अलावा, एक व्याख्यान के नोट जो मेरे प्रश्न का उत्तर दे सकते हैं, जनता के लिए उपलब्ध नहीं हैं।

25 मार्च व्याख्यान 13 बी: विश्वास 7:43। इस स्लाइड के लिए, बोल्टज़मैन मशीनों को ध्यान में रखें। वहाँ भी, हमारी छिपी हुई इकाइयाँ और दृश्य इकाइयाँ हैं, और यह सभी संभाव्य है। बीएम और एसबीएन में मतभेद होने की तुलना में सामान्य से अधिक है। 09:16। आजकल, "ग्राफिकल मॉडल" को कभी-कभी तंत्रिका नेटवर्क की एक विशेष श्रेणी के रूप में माना जाता है, लेकिन यहां वर्णित इतिहास में, उन्हें बहुत भिन्न प्रकार के सिस्टम माना जाता था।

जवाबों:


7

बोल्ट्ज़मन मशीनें बनाम प्रतिबंधित बोल्ट्ज़मन मशीनें

AFAIK बोल्ट्जमैन मशीनें एक प्रकार का चित्रमय मॉडल है, और तंत्रिका नेटवर्क से संबंधित मॉडल प्रतिबंधित बोल्ट्ज़मन मशीन (आरबीएम) है।

बोल्त्ज़मैन मशीनों और प्रतिबंधित बोल्ट्ज़मैन मशीनों के बीच अंतर, मशीन लर्निंग ए प्रोबेबिलिस्टिक परिप्रेक्ष्य से पुस्तक यहां छवि विवरण दर्ज करें

आरबीएम बनाम न्यूरल नेट्रॉक्स

RBMs के लिए (रेफरी: जिओफ्री हिंटन द्वारा प्रतिबंधित प्रतिबंधित बोल्ट्जमन मशीनों के प्रशिक्षण के लिए एक व्यावहारिक मार्गदर्शिका ) जहां और उपरोक्त आकृति में दृश्य और छिपी हुई इकाइयों के अनुरूप हैं, और सिग्मॉइड फ़ंक्शन है।पी(एचजे=1|v)=

p(v,h)=1Zexp(aivi+bjhj+vihjwij)
p(hj=1|v)=σ(bj+viwij)
वी एच( )
p(vi=1|h)=σ(ai+hjwij)
vhσ()

सशर्त संभावनाओं की गणना नेटवर्क परतों के एक ही रूप में की जाती है, इसलिए आरबीएम के प्रशिक्षित भार का उपयोग सीधे तंत्रिका नेटवर्क के भार या प्रशिक्षण के प्रारंभिक बिंदु के रूप में किया जा सकता है।

मुझे लगता है कि आरबीएम स्वयं एक प्रकार का तंत्रिका नेटवर्क की तुलना में अधिक ग्राफिकल मॉडल है, क्योंकि यह अप्रत्यक्ष है, इसमें अच्छी तरह से सशर्त स्वतंत्रताओं को परिभाषित किया गया है, और यह अपने स्वयं के प्रशिक्षण एल्गोरिदम (जैसे विपरीत विचलन) का उपयोग करता है।


2
अच्छा यह एक महान संदर्भ के साथ एक बहुत अच्छा जवाब है। साथ ही मुझे प्रोफ़ेसर मर्फी की किताब को जल्द से जल्द पढ़ने के लिए इधर-उधर करना चाहता है। मैं समय की सराहना करता हूं कि आपने इसे पूरी तरह से उत्तर देने के लिए लिया।
Chill2Macht

2
@William मदद के लिए खुश होना :)
मतलू

2
अच्छा उत्तर। क्या आप नोटेशन को थोड़ा और दस्तावेज़ कर सकते हैं? (मैं हाल ही में संबंधित कुछ अनुमान लगाता हूं, मुझे लगता है कि संबंधित है, इसलिए मैं दृश्यमान नोड्स, हिडन नोड्स, लॉजिस्टिक फ़ंक्शन को पहचानता हूं , लेकिन अन्य नहीं कर सकते।) लिंक के खिलाफ गार्ड करने के लिए पूर्ण उद्धरण शामिल करना भी अच्छा हो सकता है। -rot। = σ ( ) =v=h=σ()=
मई को जियोमैट 22

2
@ GeoMatt22 आपको धन्यवाद, मैंने जवाब अपडेट कर दिया है।
डब्लूओ

3

यह केवल स्वीकृत उत्तर की पुष्टि / पुष्टि करता है, कि बोल्ट्जमैन मशीनें वास्तव में चित्रमय मॉडल का एक विशेष मामला हैं। विशेष रूप से, इस सवाल को कोल्र, फ्रीडमैन, प्रोबेबिलिस्टिक ग्राफिकल मॉडल: प्रिंसिपल्स एंड टेक्निक्स , बॉक्स 4. सी में पीपी 127-127 पर संबोधित किया गया है।

मार्कोव नेटवर्क मॉडल के शुरुआती प्रकारों में से एक ईज़िंग मॉडल है, जो पहली बार सांख्यिकीय भौतिकी में एक भौतिक प्रणाली की ऊर्जा के लिए एक मॉडल के रूप में उत्पन्न हुआ था जिसमें परमाणुओं के परस्पर संपर्क की एक प्रणाली शामिल है ... ईज़िंग मॉडल से संबंधित बोल्ट्जमैन मशीन इंक है। परिणामी ऊर्जा को एक इज़िंग मॉडल (व्यायाम 4.12) के संदर्भ में सुधार किया जा सकता है।

इज़िंग मॉडल, मूल रूप से सांख्यिकीय यांत्रिकी साहित्य से एक अवधारणा, एक चित्रमय मॉडल के रूप में तैयार किया जा सकता है उदाहरण के 3.1, धारा 3.3 में बहुत विस्तार से दिया गया है। Wainwright, जॉर्डन, ग्राफिकल मॉडल, घातीय के 41-43 पीपी पर। परिवारों, और भिन्नता का आविष्कार

जाहिरा तौर पर ईज़िंग मॉडल 1970 के दशक के अंत और 1980 की शुरुआत में ग्राफिकल मॉडल के क्षेत्र की नींव में सहायक था, कम से कम स्टीफन लॉरिटजन ने अपनी पुस्तक ग्राफिकल मॉडल की प्रस्तावना और परिचय दोनों में क्या कहा है । यह व्याख्या कोल्लर और फ्रीडमैन के ऊपर उद्धृत पुस्तक में धारा 4.8 द्वारा समर्थित लगती है।

आइसिंग मॉडल से बोल्ट्जमैन मशीनों का विकास एक स्वतंत्र घटना हो सकती है, जो कि कोलर और फ्रीडमैन के समान खंड पर आधारित है, जो दावा करता है कि "बोल्ट्जमैन मशीनें पहली बार हिंटन और सेजेंस्की (1983) द्वारा प्रस्तावित की गई थीं, जो लगता है" मार्सोव यादृच्छिक क्षेत्रों को ईज़िंग मॉडल के सामान्यीकरण के रूप में विकसित करने में प्रारंभिक कार्य के बाद हुआ, हालांकि उस कागज के पीछे का काम 1983 से बहुत पहले शुरू हो सकता था।


इस संबंध के बारे में मेरी उलझन, जब मैंने एक साल से अधिक समय पहले यह प्रश्न लिखा था, इस तथ्य से उपजी थी कि मुझे भौतिकी साहित्य में न्यूरॉन्स के लिए पहली बार ईज़िंग मॉडल और बोल्ट्जमैन मशीन मॉडल दोनों का सामना करना पड़ा था। जैसा कि कोल्लर और फ्रीडमैन ने उल्लेख किया है, ईज़िंग मॉडल और संबंधित धारणाओं के बारे में सांख्यिकीय भौतिकी समुदाय के भीतर का साहित्य वास्तव में विशाल है।

मेरे अनुभव में यह काफी समझदार भी है, जबकि चित्रकारों और कंप्यूटर वैज्ञानिकों ने चित्रमय मॉडल का अध्ययन करते हुए उल्लेख किया है कि यह क्षेत्र सांख्यिकीय यांत्रिकी से कैसे संबंधित है, कोई भी संदर्भ जो मैंने कभी सांख्यिकीय भौतिकी साहित्य से नहीं पाया है, वह अन्य लोगों से संबंध का उल्लेख करता है या इसका फायदा उठाने की कोशिश करता है। (इसलिए मुझे संदेह करने और इस धारणा से भ्रमित होना चाहिए कि अन्य क्षेत्रों में इस तरह के संबंध हो सकते हैं।)

इज़िंग मॉडल और बोल्ट्ज़मैन मशीन दोनों पर भौतिकविदों के दृष्टिकोण के उदाहरण के लिए, पाठ्यपुस्तक को उस पाठ्यक्रम से देखें, जहां मैंने पहली बार सीखा था। इसमें फील्ड के तरीकों का भी उल्लेख किया गया है, अगर मुझे सही याद है, तो जॉर्डन और वेनराईट लेख में चर्चा की गई है।


2
कनेक्शन बहुत पतला हो सकता है, और अधिकतर विभाजन फ़ंक्शन के उपयोग पर आधारित होता है जो सांख्यिकीय यांत्रिकी के आधार पर होता है और यह कि आंतरिक उत्पादों के योग का घातांक लिया जाता है। सॉफ्टमैक्स फ़ंक्शन भी इस फॉर्म का उपयोग करता है इसलिए नोमेनक्लेचर शर्तों की विरासत को बनाए रखता है और कई भौतिक विज्ञानी एमएल (जैसे। क्रिस्टोफर बिशप) में काम करते हैं।
वास
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.