संयुक्त वितरण के अधिकतम संभावना आकलनकर्ता ने केवल मामूली गणना दी

चलो दो स्पष्ट चर का एक संयुक्त वितरण हो , के साथ । कहते हैं कि वितरण इस वितरण से लिया गया था, लेकिन हमें केवल सी : के लिए मामूली गणना दी गई है। $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

, लिए अधिकतम संभावना अनुमानक क्या है ? क्या यह ज्ञात है? कम्प्यूटेशनल रूप से संभव? क्या एमएल के अलावा इस समस्या के लिए कोई अन्य उचित दृष्टिकोण हैं? $p_{x,y}$ $S_j,T_j$

— रुपये
स्रोत

मार्जिन में वास्तव में संयुक्त वितरण के बारे में जानकारी * नहीं है (वास्तव में यह कोप्लस का बिंदु है)। * या कम से कम शायद ही कोई भी - जाहिर है कि मार्जिन में कम से कम कुछ जानकारी होती है, क्योंकि आंतरिक गणना उन मार्जिन से अधिक नहीं हो सकती है, क्या आपके पास एक विशिष्ट संयुक्त वितरण है? आपने टैग का उपयोग क्यों किया ? क्या आप एक अधिकतम-एन्ट्रापी समाधान के बाद हैं?

$\:$ maximum-entropy

— Glen_b -Reinstate मोनिका

मैं कोपलों से बहुत परिचित नहीं हूं। क्या वे श्रेणीबद्ध मामले के लिए भी पकड़ रखते हैं? इसका क्या अर्थ होगा - कि समान मार्जिन वाले प्रत्येक संयुक्त वितरण में समान संभावना होगी? (मैंने अधिकतम-एन्ट्रॉपी को टैग किया क्योंकि मुझे लगा कि यह प्रासंगिक हो सकता है।)

— आरएस

हमारे पास अभी तक एक निर्दिष्ट वितरण मॉडल नहीं है, इसलिए हम वास्तव में गणना करने की स्थिति में नहीं हैं । यहां कई संभावनाएं हैं। कॉप्लस ऑर्डर किए गए श्रेणीबद्ध मामले (यदि अद्वितीय नहीं है) के लिए मौजूद हैं, लेकिन इसे बढ़ाने के लिए मेरा उद्देश्य एक प्रेरणा देना था कि मार्जिन सामान्य रूप से बहुत जानकारीपूर्ण क्यों नहीं थे। श्रेणी-गणना के मामले के संबंध में, फिशर ने संयुक्त के बारे में एकरूपता के रूप में मार्जिन का इलाज किया, फिशर-इरविन सटीक परीक्षण। यदि आप अधिकतम एन्ट्रापी चाहते हैं, तो आप संभवतः अधिकतम एन्ट्रापी समाधान प्राप्त कर सकते हैं, लेकिन मुझे नहीं पता कि यह बहुत जानकारीपूर्ण होगा ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reinstate Monica

(ctd) ... संरचना। एमई या एमएल मामलों में, मुझे लगता है कि आपको पहले किसी तरह के मॉडल की आवश्यकता होगी, चाहे वह बाइवेरिएट मल्टीनोमियल, बाइवेरिएट हाइपरजोमेट्रिक हो, या अधिक संरचना के साथ कुछ हो। इस सवाल को देखें , जहां लेखक एक जवाब में एक संदर्भ डालता है। वह मदद का हो सकता है।

— Glen_b -Reinstate मोनिका

मेरा मतलब था एक सामान्य बिवरिएट मल्टीनोमियल वितरण। सवाल उस मामले के बारे में बोलता है जहां वितरण की रकम दी जाती है और हम संयुक्त वितरण से नमूने देखते हैं। यहां हमारे पास नमूने का योग है। मुझे लगता है कि समस्या एमएल मामले में अच्छी तरह से परिभाषित है (समाधान अद्वितीय नहीं हो सकता है लेकिन मुझे नहीं पता)।

— RS

जवाबों:

इस तरह की समस्या का अध्ययन डोबरा एट अल (2006) द्वारा पेपर "डेटा ऑग्मेंटेशन इन मल्टी-वेन कंजेंसी टेबल्स विद फिक्स्ड मार्जिनल टोटल्स" में किया गया था। Let मॉडल के मापदंडों को निरूपित करते हैं, let प्रत्येक जोड़ी के लिए काउंट्स की अनबॉस्फर्ड पूर्णांक तालिका को निरूपित करते हैं , और को पूर्णांक सारणी के सीमांत संख्याओं के सेट के समान बनाते हैं। । फिर सीमांत संख्याओं के अवलोकन की संभावना है: जहाँ $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ बहुराष्ट्रीय नमूना वितरण है। यह एमएल के लिए संभावना समारोह को परिभाषित करता है, लेकिन छोटी समस्याओं को छोड़कर प्रत्यक्ष मूल्यांकन संभव नहीं है। वे जिस दृष्टिकोण की अनुशंसा करते हैं, वह MCMC है, जहाँ आप वैकल्पिक रूप से एक प्रस्ताव वितरण से नमूना लेकर और को अपडेट करते हैं और मेट्रोपोलिस-हेस्टिंग्स स्वीकृति अनुपात के अनुसार परिवर्तन को स्वीकार करते हैं। यह मोंटे कार्लो ईएम का उपयोग करते हुए लगभग एक अधिकतम अधिकतम खोजने के लिए अनुकूलित किया जा सकता है ।

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

एक भिन्न दृष्टिकोण, पर योग को अनुमानित करने के लिए भिन्न तरीकों का उपयोग करेगा । सीमांत बाधाओं को एक कारक ग्राफ के रूप में एन्कोड किया जा सकता है और एक्सपेक्टेशन प्रॉपेलेशन का उपयोग करके पर अनुमान लगाया जा सकता है। $\mathbf{n}$ $\theta$

यह देखने के लिए कि यह समस्या कठिन क्यों है और एक तुच्छ समाधान को स्वीकार नहीं करता है, मामले पर विचार करें । ले रहा है पंक्ति रकम और के रूप में स्तंभ रकम के रूप में, वहाँ की गिनती के दो संभव तालिकाओं कर रहे हैं: इसलिए संभावना समारोह है इस समस्या के लिए MLE है जो बाईं ओर की तालिका को संभालने से मेल खाती है। इसके विपरीत, स्वतंत्रता के अनुमान से आपको जो अनुमान मिलेगा वह है $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ जिसका एक छोटा सा संभावना मूल्य है।

— टॉम मिंका
स्रोत

क्या एक विश्लेषणात्मक समाधान प्राप्त करना संभव नहीं है?

— बेन कुह्न

धन्यवाद! कागज प्रासंगिक लगता है, हालांकि यह बायेसियन दृष्टिकोण से लगता है। उस विशिष्ट मामले के बारे में जहां वास्तव में वितरण ही है, अर्थात् , सभी जोड़े के लिए? क्या इस मामले में कोई विश्लेषणात्मक समाधान होगा?

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

— RS

मुझे इस बात पर संदेह नहीं होगा कि एक विश्लेषणात्मक समाधान होगा। मैंने इसका उदाहरण देने के लिए एक उदाहरण जोड़ा।

— टॉम मिंका

धन्यवाद। शायद यह सच है asymptotically? फिर, मार्जिन योगों पर कंडीशनिंग मार्जिन वितरण (सामान्य होने के बाद) पर कंडीशनिंग के समान है, और प्रत्येक अप्रतिष्ठित पूर्णांक तालिका के लिए लॉग-संभावना इसकी एन्ट्रापी के लिए आनुपातिक है। शायद AEP के साथ कुछ?

— RS

जैसा कि @Glen_b द्वारा बताया गया है, यह अपर्याप्त रूप से निर्दिष्ट है। मुझे नहीं लगता कि आप अधिकतम संभावना का उपयोग कर सकते हैं जब तक कि आप पूरी तरह से संभावना को निर्दिष्ट नहीं कर सकते।

यदि आप स्वतंत्रता ग्रहण करने के लिए तैयार थे, तो समस्या काफी सरल है (संयोग से, मुझे लगता है कि समाधान अधिकतम एन्ट्रापी समाधान होगा जो सुझाया गया है)। यदि आप अपनी समस्या में अतिरिक्त संरचना को लागू करने के लिए तैयार नहीं हैं और न ही सक्षम हैं, और आप अभी भी कोशिकाओं के मूल्यों के लिए किसी प्रकार का सन्निकटन चाहते हैं, तो हो सकता है कि आप फ्रेचे-होफडिंग कोप्युला सीमा का उपयोग कर सकें । अतिरिक्त मान्यताओं के बिना, मुझे नहीं लगता कि आप आगे जा सकते हैं।

— एफ। टसेल
स्रोत

इसमें संभावना बहुराष्ट्रीय होगी। वह अपर्याप्त क्यों है?

— RS

जैसा कि मैं इसे समझता हूं, संभावना डेटा दिए गए मापदंडों का एक फ़ंक्शन है। यहां, आपके पास प्रत्येक सेल के लिए मान नहीं हैं, केवल मार्जिन हैं, इसलिए आपके पास मापदंडों का एक भी फ़ंक्शन नहीं है जिसे आप गणना कर सकते हैं, अकेले अधिकतम करें। मार्जिन के साथ संगत सामान्य रूप से कई सेल कॉन्फ़िगरेशन हैं, और प्रत्येक एक अलग संभावना देगा।

— एफ। तुसाल

हाँ, लेकिन यह ठीक है। पैरामीटर , डेटा मार्जिन हैं। मैं अभी भी दिया marginals की संभावना की गणना कर सकता - यह सब सेल विन्यास कि marginals देने की संभावनाओं से अधिक राशि है। यह एक एकल कार्य है जिसे मैं अधिकतम कर सकता हूं।

p

$p$

p

$p$

— RS

संपादित करें: यह उत्तर एक गलत धारणा पर आधारित है, जो कि दिए गए सीमान्त गणनाओं की संभावना है जो केवल सीमांत संभावनाओं और । मैं अभी भी इसके बारे में सोच रहा हूं। $p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

गलत सामान इस प्रकार है:

जैसा कि एक टिप्पणी में उल्लेख किया गया है, लिए "अधिकतम संभावना अनुमानक" खोजने के साथ समस्या यह है कि यह अद्वितीय है। उदाहरण के लिए, बाइनरी और साथ मामले पर विचार करें । दो अनुमानक $p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

सभी मामलों में समान सीमांत और , और इसलिए समान संभावनाएं हैं (दोनों जिनमें से अधिकतम संभावना है, जैसा कि आप सत्यापित कर सकते हैं)। $p_x$ $p_y$

वास्तव में, कोई फर्क नहीं पड़ता कि मार्जिन क्या हैं (जब तक कि उनमें से दो प्रत्येक आयाम में नॉनज़रो हैं), अधिकतम संभावना समाधान अद्वितीय नहीं है। मैं इसे बाइनरी केस के लिए साबित करूँगा। बता दें कि एक अधिकतम संभावना समाधान है। सामान्यता के नुकसान के बिना मान लें । फिर का समान मार्जिन होता है और इस तरह यह एक अधिकतम-संभावना समाधान भी है। $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

यदि आप इसके अलावा एक अधिकतम-एन्ट्रापी बाधा को लागू करना चाहते हैं , तो आप एक अनूठा समाधान प्राप्त करते हैं, जैसा कि एफ। टसेल ने कहा है कि वह समाधान है जिसमें स्वतंत्र हैं। आप इसे इस प्रकार देख सकते हैं: $X, Y$

वितरण की एन्ट्रापी ; अधिकतम करने के लिए विषय और (समकक्ष, जहां और ) का उपयोग करके Lagrange गुणक समीकरण देता है: $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

प्रत्येक सभी ग्रेडिएंट्स 1 हैं, इसलिए समन्वय-वार यह काम करता है $g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

साथ ही मूल बाधाओं और । आप सत्यापित कर सकते हैं कि यह तब संतुष्ट है जब और , $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— बेन कुह्न
स्रोत

पहले उदाहरण के लिए: जो दिया गया है वह सीमांत संख्या है , सीमांत संभावनाएं नहीं। मामले में आप का वर्णन किया है, की संभावना बाईं के लिए की संभावना है जो है । दाएं , यह , जो । यहां तक कि अगर कोई अनूठा समाधान नहीं है, तो इसका मतलब यह नहीं है कि हम कुछ समाधान की ओर इशारा नहीं कर सकते। अधिकतम एन्ट्रापी एक अनूठा समाधान देती है, लेकिन यह अधिकतम संभावना नहीं हो सकती है।

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

— RS

आपने गलत तरीके से संभावनाओं की गणना की है; उदाहरण के लिए, आप द्विपद गुणांक को शामिल करना भूल गए। लेकिन आप सही कह रहे हैं कि दोनों मैट्रिनस मार्जिनल काउंट्स के अलग-अलग संयुक्त डिस्ट्रीब्यूशन देते हैं, जबकि वे मार्जिनल काउंट्स का समान मार्जिन डिस्ट्रीब्यूशन देते हैं। (Yikes!) मैं इस बारे में और अधिक सोचूंगा।

— बेन कुह्न