EM और ग्रेडिएंट एसेंट के बीच अंतर क्या है?

Question

एल्गोरिदम ईएम (एक्सपेक्टेशन मैक्सिमाइजेशन) और ग्रैडिएंट एसेंट (या डीसेंट) में क्या अंतर है? क्या कोई शर्त है जिसके तहत वे समकक्ष हैं?

Answer 1

से:

जू एल और जॉर्डन एमआई (1996)। गाऊसी मिश्रण के लिए EM एल्गोरिथ्म के अभिसरण गुण । तंत्रिका संगणना 2: 129-151।

सार:

हम दिखाते हैं कि पैरामीटर स्पेस में EM चरण एक प्रोजेक्शन मैट्रिक्स P के माध्यम से ग्रेडिएंट से प्राप्त होता है, और हम मैट्रिक्स के लिए एक स्पष्ट अभिव्यक्ति प्रदान करते हैं।

पृष्ठ 2

विशेष रूप से हम दिखाते हैं कि EM स्टेप को धनात्मक प्रीफाइट मैट्रिक्स द्वारा ग्रेडिएंट को प्री-गुणा करके प्राप्त किया जा सकता है। हम मैट्रिक्स के लिए एक स्पष्ट अभिव्यक्ति प्रदान करते हैं ...

पेज 3

अर्थात्, EM एल्गोरिथ्म को एक वैरिएबल मीट्रिक ग्रेडिएंट एसेंट अल्गोरिथम के रूप में देखा जा सकता है ...

यह है, कागज ईएम एल्गोरिथ्म के क्रमिक-चढ़ाई, न्यूटन, अर्ध-न्यूटन में स्पष्ट रूप से परिवर्तन प्रदान करता है।

से विकिपीडिया

अधिकतम संभावना अनुमान लगाने के लिए अन्य तरीके हैं, जैसे कि ढाल वंश, संयुग्म ढाल या गौस-न्यूटन विधि के रूपांतर। ईएम के विपरीत, ऐसे तरीकों में आमतौर पर संभावना फ़ंक्शन के पहले और / या दूसरे डेरिवेटिव के मूल्यांकन की आवश्यकता होती है।

Comments

यह उत्तर संकेत देता है कि ईएम और ग्रेडिएंट वंश मूल रूप से एक ही एल्गोरिथ्म हैं, एक एल्गोरिदम से दूसरे एल्गोरिदम में स्विच करने के लिए उपलब्ध परिवर्तनों के साथ। यह निश्चित रूप से सामान्य रूप से सच नहीं है, और दृढ़ता से विचार में लिए गए जेनेरेटिव मॉडल पर निर्भर करता है। कागज का हवाला देते हुए केवल गाऊसी मिश्रण मॉडल (जो अपेक्षाकृत सरल पीढ़ी के मॉडल हैं) के लिए निष्कर्ष निकालते हैं, और ठीक ही ऐसा है। मेरे (संयुक्त रूप से सीमित) अनुभव में, जब मॉडल अत्यधिक गैर-रैखिक होता है और अव्यक्त चर की भूमिका महत्वपूर्ण होती है, तो ईएम ही समझदार अद्यतन नियमों को प्राप्त करने का एकमात्र तरीका है।

— नीला

Answer 2

नहीं, वे समकक्ष नहीं हैं। विशेष रूप से, EM अभिसरण बहुत धीमा है।

यदि आप EM पर ऑप्टिमाइज़ेशन पॉइंट-ऑफ-व्यू में रुचि रखते हैं, तो इस पेपर में आप देखेंगे कि EM एल्गोरिथ्म एल्गोरिदम (प्रॉक्सिमल पॉइंट एल्गोरिदम) के व्यापक वर्ग का एक विशेष मामला है।

Comments

या इसी तरह के विचार के लिए, Hinton and Neal (1998)

— conjugateprior

"EM अभिसरण बहुत धीमा है"; यह अच्छी तरह से परिभाषित नहीं है, और निश्चित रूप से आम तौर पर सच नहीं है। EM एल्गोरिदम एल्गोरिदम का एक पूरा वर्ग है। कई समस्याओं के लिए, एक निश्चित ईएम एल्गोरिदम कला की स्थिति है।

— क्लिफ एबी

@ क्लिफब कृपया इस पर विस्तार से संकोच न करें, मुझे आपके तर्क पढ़ने में अच्छा लगेगा - जैसा कि मैंने 4 साल से इस उत्तर को पढ़ा है, मुझे एहसास है कि मैं आज इसका जवाब नहीं दूंगा। तब से मुझे पता चला कि कई मामलों में, EM वर्तमान बिंदु के आधार पर एक 'सीखने की दर' पैरामीटर के साथ एक ढाल है (... मैं इस उत्तर को थोड़े समय के लिए परिणाम के रूप में संपादित कर सकता हूं)

— एल्विस

"धीमी अभिसरण" को अभिसरण दर की परिभाषा में परिभाषित किया जा सकता है। एक ढाल की चढ़ाई का अभिसरण दर 'सीखने की दर' पर निर्भर करेगा, जिसे चुना जाना आसान नहीं है, जिससे कई मामलों में ढाल की चढ़ाई कठिन हो जाती है। हालाँकि, मुझे अभी भी यह महसूस हो रहा है कि जबकि EM कुछ मामलों में केवल व्यवहार्य एल्गोरिथ्म (संभावना की व्युत्पत्ति या खुद की गणना करने के लिए कठिन होने की संभावना) हो सकता है, न्यूटन विधि की तुलना में इसकी अभिसरण दर खराब है।

— एल्विस

"ईएम एल्गोरिथ्म वास्तव में एल्गोरिदम का एक पूरा वर्ग है; एक जिसमें मूल लक्ष्य फ़ंक्शन को ऑप्टिमाइज़ करना मुश्किल है, लेकिन अगर कुछ अन्य चर को जाना जाता है, तो समाधान बहुत आसान होगा (आमतौर पर बंद रूप में)। मूल रूपरेखा अन्य मापदंडों के वर्तमान मूल्यों पर अपेक्षित चर सशर्त में भरने के लिए है, फिर चर के अपेक्षित मूल्य के आधार पर मापदंडों को अपडेट करें। यह दिखाया गया है कि एल्गोरिथ्म कितनी जल्दी रूपांतरित होता है यह इस बात पर निर्भर करता है कि प्रतिरूपित डेटा कितना जानकारीपूर्ण है; अधिक "जानकारीपूर्ण" लापता डेटा है, अभिसरण धीमा।

— क्लिफ एबी