EM एल्गोरिथ्म के लिए तेजी से विकल्प

Question

अव्यक्त चर (विशेष रूप से pLSA) के साथ मॉडल सीखने के लिए EM एल्गोरिथ्म के लिए कोई त्वरित विकल्प हैं? मैं गति के पक्ष में सटीक बलिदान के साथ ठीक हूं।

Comments

क्या आपने एक साहित्य सर्वेक्षण किया है? यह पेपर विशेष रूप से प्रासंगिक दिखता है: लेटेस्ट वैरिएबल ट्रेनिंग का उत्तल विश्राम

— एमआर

एलएसए के बारे में कैसे? :-)

— संयुक्ताक्षर

EM को तेज करने का एक सामान्य तरीका "Aitken त्वरक" कहा जाता है। यदि परिशुद्धता कोई समस्या नहीं है, तो शायद इसके बजाय क्षण अनुमान या सामान्यीकृत क्षण आकलन का प्रयास करें।

— JohnRos

Answer 1

न्यूटन-रफसन एल्गोरिदम को अक्सर नियोजित किया जा सकता है। मैं pSLA से परिचित नहीं हूं, लेकिन अव्यक्त वर्ग मॉडल के लिए न्यूटन-राफसन एल्गोरिदम का उपयोग करना बहुत आम है। न्यूटन-राफसन एल्गोरिदम ईएम की तुलना में खराब प्रारंभिक मूल्यों से थोड़ा अधिक परेशान हैं, इसलिए एक रणनीति पहले ईएम के कुछ पुनरावृत्तियों (20 का कहना है) का उपयोग करना है और फिर एक न्यूटन-राफसन एल्गोरिदम पर स्विच करना है। एक एल्गोरिथ्म जिसके साथ मुझे बहुत अधिक सफलता मिली है: झू, सियौ, रिचर्ड एच। बर्ड, पाइहुआंग लू, और जॉर्ज नोकेडल (1997), "एलगोरिदम 778: एल-बीएफजीएस-बी - फ़ोर्ट्रान सबरूटीन फॉर लार्ज-स्केल बाउंड- विवश अनुकूलन, "गणितीय सॉफ्टवेयर (TOMS) संग्रह, 23 (4), 550-60 पर ACM लेनदेन।

Answer 2

EM एल्गोरिथ्म के समान ही MM एल्गोरिथ्म है जो आमतौर पर उद्देश्य फ़ंक्शन को प्रमुख या छोटा करने में लापता डेटा के बजाय उत्तलता का शोषण करता है। आपको यह देखना होगा कि एमएम एल्गोरिदम आपकी विशेष समस्या के लिए लागू है या नहीं।

Answer 3

LDA के लिए, "ऑनलाइन LDA" मानक EM (http://www.cs.princeton.edu/~blei/papers/HoffmanBleiBach2010b.pdf) जैसे बैच तरीकों की तुलना में तेज़ विकल्प है।

डेविड बेली अपने पेज पर सॉफ्टवेयर प्रदान करता है: http://www.cs.princeton.edu/~blei/topicmodeling.html

Answer 4

उत्तर में अब तक उल्लेखित एक अन्य विकल्प परिवर्तनशील सन्निकटन नहीं हैं। हालांकि ये एल्गोरिदम सभी मामलों में बिल्कुल ईएम एल्गोरिदम नहीं हैं, लेकिन कुछ मामलों में ईएम एल्गोरिदम बेएज़ियन माध्य-क्षेत्र परिवर्तनशील एल्गोरिदम के मामलों को सीमित कर रहे हैं। सीमा हाइपर-मापदंडों के सीमित मामले से संबंधित है, सीमित मूल्यों को चुनते हुए-कुछ मामलों में-आपको ईएम एल्गोरिथ्म देगा।

या तो मामले में (ईएम, वीबी, या एमएम एल्गोरिदम) चीजों को गति देने के 2 सामान्य तरीके हैं:

(1) समस्या की आयामीता को कम करके -dim समस्या से univariate समस्याओं तक। ये आमतौर पर वंश एल्गोरिदम को समन्वित करते हैं लेकिन मैंने एमएम एल्गोरिदम को देखा है जो इस प्रकार के स्पीडअप भी करते हैं।$p$$p$

(2) अपने EM (या अन्य प्रकार) एल्गोरिथ्म के अभिसरण दर में सुधार। एक टिप्पणी में जॉनरोस ने ऐटनके त्वरण का उल्लेख किया। यह संख्यात्मक विश्लेषण की दुनिया से है लेकिन मैकलाचलन और कृष्णन द्वारा ईएम पुस्तक में चर्चा की गई है।

वहाँ दूसरों को याद किया जा सकता है, लेकिन ये दो बड़े लोग हैं।