संदर्भ जो गाऊसी मिश्रण के उपयोग को सही ठहराते हैं

गाऊसी मिश्रण मॉडल (जीएमएम) अपील कर रहे हैं क्योंकि वे विश्लेषणात्मक और व्यवहार में दोनों के साथ काम करने के लिए सरल हैं, और बहुत अधिक जटिलता के बिना कुछ विदेशी वितरणों को मॉडलिंग करने में सक्षम हैं। कुछ विश्लेषणात्मक गुण हैं जो हमें धारण करने की उम्मीद करनी चाहिए जो सामान्य रूप से स्पष्ट नहीं हैं। विशेष रूप से:

कहें घटकों के $S_n$ साथ सभी गाऊसी मिश्रण का वर्ग है । Reals पर किसी भी निरंतर वितरण लिए, क्या हम गारंटी देते हैं कि बढ़ता है, हम एक GMM के साथ को अनुमानित एंट्रोपी के अर्थ में नगण्य नुकसान के साथ अनुमानित कर सकते हैं ? है यही कारण है, करता है $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
हम एक सतत रूप से वितरित होती कहो और हमने पाया है एक घटक गाऊसी मिश्रण जो के करीब है : कुल बदलाव में । हम बाध्य कर सकते हैं के मामले में ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
हम निरीक्षण करने के लिए चाहते हैं, तो स्वतंत्र additive शोर के माध्यम से (दोनों असली, निरंतर), और हम GMMs है जहां , तो क्या यह मूल्य छोटा है: $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ यानी यह सच है कि का आकलन हैके माध्यम सेशोर का आकलन के रूप में मुश्किल के रूप में के बारे में है के माध्यम से शोर? $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$
क्या आप इसे गैर-additive शोर मॉडल जैसे कि Poisson शोर के लिए कर सकते हैं?

अब तक की मेरी (संक्षिप्त) साहित्य समीक्षा बहुत ही लागू ट्यूटोरियल है। क्या किसी के पास कोई संदर्भ है जो कठोरता से प्रदर्शित करता है कि हम किन परिस्थितियों में मिश्रण मॉडल का उपयोग करने के लिए उचित हैं?

— enthdegree
स्रोत

जीएमएम का सेट कमजोर टोपोलॉजी (वितरण में अभिसरण के अनुरूप) में वितरण के सेट में घना है; जैसे देखने के लिए यहाँ । मुझे यकीन नहीं है कि आपका पहला बयान है, हालांकि

में किसी भी बिंदु द्रव्यमान से निपटने के लिए निश्चित रूप से मिश्रण में शून्य-विचरण घटकों की अनुमति की आवश्यकता होगी । मैं दूसरी बुलेट बिंदु के बारे में भी संदेह कर रहा हूं, फिर से बिंदु जन के मुद्दे के कारण।

P

$P$

— डगल २

अच्छा बिंदु, मैंने निर्दिष्ट किया है कि सब कुछ निरंतर होना चाहिए

— उत्साह 3:27 बजे

गॉसियन गुठली के साथ कर्नेल घनत्व अनुमान पर साहित्य को देखने के लिए आपके पास बेहतर भाग्य हो सकता है। चूँकि आपके पास प्रति नमूने के साथ गाऊसी का एक मिश्रण है, जैसा कि नमूनों की संख्या बढ़ जाती है, क्या आपको वितरण का एक विषम और सुसंगत अनुमानक मिलता है? मुझे लगता है कि उत्तर हां है, लेकिन तुरंत एक संदर्भ नहीं मिल सका।

— ग्रेग वी स्टिग

@ सेंधदेरी: बहुत अच्छा सवाल। क्योंकि आप मजबूत टोपोलॉजी (केएल विचलन और कुल-भिन्नता) का उपयोग करना चाहते हैं, आपके पहले दो बिंदुओं का सामान्य उत्तर नहीं है: उदाहरण के लिए, वसा-पूंछ वाले वितरण पर विचार करें; किसी भी परिमित गाऊसी मिश्रण के लिए केएल अनंत है (मुझे यकीन है कि यह काम करता है, हालांकि 100% नहीं)। लेकिन इससे बहुत अधिक दिलचस्प सवाल पैदा होता है, जिसके लिए संभावना वितरण के उपवर्ग आपके सभी बुलेट पॉइंट लागू होंगे? मुझे इसका उत्तर नहीं पता है लेकिन यह बेहद दिलचस्प लगता है। मेरा अनुमान है कि यह संभवतः लगभग सभी संभावना वितरण है।

— गिलौम देहेने

मैंने इस पुस्तक के साथ एक कक्षा ली। लिंक यह बुनियादी बातों पर कुछ अच्छी पृष्ठभूमि करता है।

— EngrStudent -

जवाबों:

अर्थमिति में, जहाँ संदर्भ लॉजिट मॉडल में गुणांकों के मिश्रण वितरण का है, मानक संदर्भ है: MIXED MNL MODEL FOR DISCRETE RESPONSE DANIEL MCFADDEN और केनेटनेट ट्रेिन, APPLIED ECONOMETRICS के JOURNAL। अर्थव्यवस्था। 15: 447-470 (2000)।

— टिम
स्रोत

अपने प्रश्नों के संबंध में:

गाऊसी लोगों के डिरिक्लेट प्रोसेस मिश्रण की बहुत ही समान बायेसियन समस्या के लिए, मैं समझता हूं कि इसका उत्तर हां है। घोषाल (2013) ।
जब मैंने इस विषय पर कुछ वार्ता में भाग लिया, तो ऐसा लगा कि मुख्य रूप से केएल विचलन का उपयोग करके प्रगति की गई है। देखें हैरी वैन ज़ांटन की स्लाइड्स ।
मैं स्पष्ट नहीं हूँ। हालाँकि, यह एक स्रोत पृथक्करण समस्या ( unkown) की तरह दिखता है । ये आम तौर पर अकेले मिश्रण मॉडलिंग की तुलना में अधिक कठिन हैं। विशेष रूप से के साधारण मामले के लिए आप सही / पहचान नहीं कर पाएंगे $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$ शून्य के वितरण के समरूपता के कारण ।
ऊपर दी गई स्लाइड्स का चौथा देखें, बायेसियन मॉडल की एक सूची है जिसके लिए अभिसरण गारंटी प्रदान करता है।

— अनुमान
स्रोत

यहाँ आंशिक उत्तर है।

कहें घटकों के साथ सभी गाऊसी मिश्रण का वर्ग है । Reals पर किसी भी निरंतर वितरण लिए, क्या हम गारंटी देते हैं कि बढ़ता है, हम एक GMM के साथ को अनुमानित एंट्रोपी के अर्थ में नगण्य नुकसान के साथ अनुमानित कर सकते हैं ? है यही कारण है, करता है $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

नहीं, आप केवल आशा कर सकते हैं कि एक केएल विचलन छोटे यदि आप जानते हैं वह यह है कि की पूंछ के रूप में एक ही क्रम के अंत में कर रहे हैं एस '। यह सामान्य रूप से सही नहीं है। यह देखने के लिए कि के लिए कठिन नहीं है तो कॉची किसी के लिए , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

कहने के लिए पर अधिक शर्तों की आवश्यकता है। $P$

हम एक सतत रूप से वितरित होती कहो और हमने पाया है एक घटक गाऊसी मिश्रण जो के करीब है : कुल बदलाव में । हम बाध्य कर सकते हैं के मामले में ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

नहीं। ऊपर एक ही उदाहरण लागू होता है।

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

मैं यह साबित नहीं कर पाया हूं, या तो सामान्य रूप से या अतिरिक्त additive संरचना का उपयोग करके हमने पी, क्यू पर ग्रहण किया है, या किसी भी समकक्ष के साथ आते हैं।

क्या आप इसे गैर-additive शोर मॉडल जैसे कि Poisson शोर के लिए कर सकते हैं?

यह अस्पष्ट है। पिछले प्रश्न के संदर्भ में, यदि उस उत्तर के कथन को सामान्य रूप से सिद्ध किया जा सकता है तो उत्तर हां है।

— enthdegree
स्रोत