बड़े नमूना आकार के लिए अव्यवस्था की समस्या क्यों होती है?

मान लीजिए कि हमारे पास के अंक का एक सेट है । वितरण बिंदु का उपयोग करके प्रत्येक बिंदु उत्पन्न होता है लिए पोस्टीरियर प्राप्त करने के लिए हम पर Minka पेपर के अनुसार उम्मीद प्रचार हम की जरूरत है गणना पीछे प्राप्त करने के लिए और, इसलिए, समस्या बड़ी नमूने के लिए असभ्य हो जाता है आकार । हालाँकि, मुझे यह पता नहीं चल सकता है कि हमें इस मामले में इस तरह की गणना की आवश्यकता क्यों है, क्योंकि एकल $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ संभावना के रूप में

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

इस सूत्र का उपयोग करके हम सरल गुणन द्वारा पीछे , इसलिए हमें केवल संचालन की आवश्यकता है , और, इसलिए हम बड़े नमूना आकारों के लिए इस समस्या को ठीक से हल कर सकते हैं। $p(y_i| x)$ $N$

मैं तुलना करने के लिए संख्यात्मक प्रयोग करता हूं मैं वास्तव में एक ही स्थिति प्राप्त करता हूं यदि मैं प्रत्येक शब्द की अलग-अलग गणना करता हूं और मामले में मैं प्रत्येक लिए घनत्व के उत्पाद का उपयोग करता । डाकिया वही हैं। देखें मैं कहां गलत हूं? क्या कोई मेरे लिए यह स्पष्ट कर सकता है कि हमें दिए गए और नमूना लिए पीछे की गणना करने के लिए संचालन की आवश्यकता क्यों है ? $y_i$ यहाँ छवि विवरण दर्ज करें $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— एलेक्सी ज़ेत्सेव
स्रोत

एक ऑपरेशन प्रति शब्द और शब्द, इसलिए हमें संचालन की आवश्यकता है। इसके अलावा, मैं मिंका के पेपर और बिशप के अध्याय के बारे में फिर से अनुमान लगाता हूं। दोनों का सुझाव है कि हम अनुमान चाहते हैं और लिए पीछे हटना चाहते हैं ।

N

$N$

O (N)

$O(N)$

x

$x$

— एलेक्सी ज़ेत्सेव

क्या मैं सही ढंग से समझ रहा हूं कि आपके हैं? यदि ऐसा है, तो आप इसे में हल कर सकते हैं, जो कि भले ही

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@Alexey इस अनुच्छेद को फिर से पढ़ने के बाद, मुझे लगता है कि लेखक ने संचालन का उल्लेख नहीं किया है। वह सिर्फ यह बताता है कि " लिए विश्वास की स्थिति गॉसियंस का मिश्रण है " ।

2^{N}

$2^N$ $x$ $2^N$

@ कागज के अनुसार हम विश्वास प्रसार का उपयोग करना चाहते हैं, लेकिन उपयोग नहीं कर सकते क्योंकि हमें गाऊसी के मिश्रण को आगे बढ़ाने की आवश्यकता है । फिर सवाल यह है कि हम बीपी का उपयोग क्यों करना चाहते हैं? यदि हम बिशप के PRML में अध्याय 10.7.1 पढ़ते हैं या मिंका द्वारा वीडियोलेक्चर देखते हैं, तो एक और सवाल उठता है । उसके बाद उत्तर स्पष्ट नहीं है।

2^{N}

$2^N$

— एलेक्सी ज़ेत्सेव

@Alexey मुझे लगता है कि इसके पीछे का तर्क अलग है। लेखक वर्णन करता है कि क्या होता है यदि आप विश्वास प्रसार का उपयोग करते हैं, ताकि के बड़े होने पर उसके साथ कुछ कठिनाइयों पर जोर दिया जा सके , और फिर उसके "अपेक्षा प्रचार" को बढ़ावा दिया जा सके। उन्होंने उल्लेख किया है कि विश्वास प्रसार के लिए लिए विश्वास की स्थिति के लिए गाऊसी के मिश्रण के उपयोग की आवश्यकता होती है जो बड़े होने पर जटिल हो जाता है । लिए विश्वास राज्य की जटिलता के लिए आवश्यक संचालन की संख्या का कोई उल्लेख नहीं है ।

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

जवाबों:

आप सही कह रहे हैं कि पेपर गलत बात कह रहा है। आप निश्चित रूप से संचालन का उपयोग करके किसी ज्ञात स्थान पर के पीछे वितरण का मूल्यांकन कर सकते हैं । समस्या तब है जब आप पश्च के क्षणों की गणना करना चाहते हैं। के पीछे के माध्य की गणना करने के लिए , आपको संचालन की आवश्यकता होगी । यह वह समस्या है जिसे पेपर हल करने की कोशिश कर रहा है। $x$ $O(n)$ $x$ $2^N$

— टॉम मिंका
स्रोत

आपने यह याद किया कि वितरण का मिश्रण है: प्रत्येक नमूना या तो अनुसार वितरित किया जाता है, प्रायिकता और ( लिए अव्यवस्था वितरण , स्वतंत्र ) की संभावना के साथ। । $y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

मान लीजिए कि सूचक चर है जो यह दर्शाता है कि अव्यवस्था वितरण से आकर्षित हुआ था; इस प्रकार, यदि यह यह इंगित करता है कि नमूना । जाहिर है, अगर नमूना अव्यवस्था वितरण से निकाला गया था, तो यह मान के अनुमान के लिए अप्रासंगिक है । $c_i$ $i$ $0$ $p(y|x)$ $x$

यह इन संकेतक चर के लिए संभव संयुक्त राज्यों की उपस्थिति है जो समस्या का कारण बनता है। $2^N$

— डेव
स्रोत

हालाँकि, हम अतिरिक्त वैरिएबल को छोड़ सकते हैं , क्योंकि हमें समस्या का अधिकतम समाधान प्राप्त करने की आवश्यकता है। लिए पीछे एक स्पष्ट रूप है, इसलिए हम सभी वर्तमान राज्यों को ध्यान में रखने के लिए मजबूर नहीं हैं । तो, सवाल यह है कि "हम एक अधिकतम पश्च समाधान का पता लगाने के मामले में गणना की इस राशि की आवश्यकता क्यों है?"

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

— एलेक्सी ज़ेटसेव

चर के लिए राज्यों को अधिकतम करने की आवश्यकता है ।

c

$c$

— डेव

हम नहीं जानते , तो हम बाहर एकीकृत (से अधिक योग) । यह एक प्रत्यक्ष तरीके से किया जा सकता है, है ना?

c_{i}

$c_i$

c_{i}

$c_i$

— एलेक्सी ज़ेत्सेव

प्रत्यक्ष हां, लेकिन राज्यों की संख्या (शब्द) तरह बढ़ती है , जो कम्प्यूटेशनल रूप से समस्याग्रस्त हो सकती है।

2^{N}

$2^N$

— डेव

हम प्रत्येक अवलोकन के लिए स्वतंत्र रूप से कर सकते हैं, इसलिए हमारे पास , जटिलता नहीं है।

O (n)

$O(n)$

O (2^{n})

$O(2^n)$

— एलेक्सी ज़ेत्सेव