क्या EM एल्गोरिथ्म गाऊसी मिश्रण मॉडल में लगातार मापदंडों का अनुमान लगाता है?

Question

मैं गाऊसी मिक्सचर मॉडल का अध्ययन कर रहा हूं और खुद इस सवाल के साथ आता हूं।

मान लीजिए कि अंतर्निहित डेटा के मिश्रण से उत्पन्न होता है $K$ गाऊसी वितरण और उनमें से प्रत्येक का एक मतलब वेक्टर है $\mu_k\in\mathbb{R}^p$, कहाँ पे $1\leq k\leq K$ और उनमें से प्रत्येक में समान सह-विचरण मैट्रिक्स है $\Sigma$ और यह मान लो $\Sigma$एक विकर्ण मैट्रिक्स है। और मान लीजिए कि मिश्रण अनुपात है$1/K$, यानी, प्रत्येक क्लस्टर में एक ही वजन है।

तो इस आदर्श उदाहरण में, एकमात्र काम अनुमान लगाना है $K$ मतलब वैक्टर $\mu_k\in\mathbb{R}^p$, कहाँ पे $1\leq k\leq K$ और सह-विचरण मैट्रिक्स $\Sigma$।

मेरा प्रश्न है: यदि हम EM एल्गोरिथ्म का उपयोग करते हैं, तो क्या हम लगातार अनुमान लगा पाएंगे $\mu_k$ तथा $\Sigma$, यानी, जब नमूना आकार $n\rightarrow\infty$, ईएम एल्गोरिथ्म द्वारा उत्पादित अनुमानक का सही मूल्य प्राप्त करेगा $\mu_k$ तथा $\Sigma$?

Answer 1

यदि एल्गोरिथ्म को हर बार यादृच्छिक मूल्यों के साथ आरंभीकृत किया जाता है, तो नहीं, अभिसरण अनिवार्य रूप से संगत नहीं होगा। गैर-यादृच्छिक आरंभीकरण हर बार समान रूप से परिणाम देगा, लेकिन मुझे विश्वास नहीं है कि यह आवश्यक "सही" मूल्यों का उत्पादन करेगा$\mu_k$।

एक तरफ के रूप में, मिश्रण अनुपात को ठीक करके $1/K$ और फिक्सिंग $\Sigma$ विकर्ण होने के लिए, एल्गोरिथ्म बहुत समान है $k$-means एल्गोरिथ्म। यह भी यादृच्छिक अभिसरण के आधार पर असंगत अभिसरण है।

Comments

मैंने संख्यात्मक रूप से प्रयोग किया, कम से कम सामान्य वितरण के 2 स्वतंत्र वर्गों के लिए, ईएम वर्ग माध्य के निरंतर अनुमानक का उत्पादन करता है। हालांकि, K का मतलब यह नहीं है कि, मैंने इसे गणितीय रूप से साबित कर दिया

— केविनकिम

क्या आप अधिक जानकारी दे सकते हैं? उदाहरण के लिए आप किस डेटा का उपयोग कर रहे थे, आपने मापदंडों को कैसे आरंभ किया आदि

— dcorney

@Dcorney से सहमत हैं। यह वास्तव में आपके द्वारा चुने गए प्रारंभिक मूल्यों पर निर्भर करता है। कम से कम प्रारंभिक मूल्यों के गलत विकल्प का अभ्यास करने से अचेतन आकलन होता है (मैं मिक्सटूल आर पैकेज का उपयोग करता हूं)

— जर्मन