क्या घनत्व अनुमान के लिए एक बायेसियन दृष्टिकोण है

Question

मुझे एक सतत यादृच्छिक चर के घनत्व का अनुमान लगाने में दिलचस्पी है । ऐसा करने का एक तरीका जो मैंने सीखा है वह है कर्नेल डेंसिटी एस्टीमेशन का उपयोग।$X$

लेकिन अब मुझे एक बायेसियन दृष्टिकोण में दिलचस्पी है जो निम्नलिखित पंक्तियों के साथ है। मैं शुरू में मानता हूं कि वितरण अनुसरण करता है । मैं की रीडिंग लेता हूं । क्या मेरे नए रीडिंग के आधार पर को अपडेट करने के लिए कुछ दृष्टिकोण है ?एफ एन एक्स $X$$F$$n$$X$$F$

मुझे पता है कि मुझे लगता है जैसे मैं खुद का विरोध कर रहा हूं: यदि मैं को केवल मेरे पूर्व वितरण के रूप में मानता हूं, तो कोई भी डेटा मुझे अन्यथा नहीं मानना ​​चाहिए। हालांकि, लगता थे और मेरे डेटा बिंदुओं की तरह थे । देखकर , मैं स्पष्ट रूप से अपने पूर्व से नहीं रह सकता, लेकिन मुझे इसे कैसे अपडेट करना चाहिए?एफ यू एन आई एफ [ 0 , 1 ] ( 0.3 , 0.5 , 0.9 , 1.7 ) $F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

अपडेट: टिप्पणियों में सुझावों के आधार पर, मैंने डिरिचलेट प्रक्रिया को देखना शुरू कर दिया है। मुझे निम्नलिखित सूचनाओं का उपयोग करने दें:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

इस भाषा में अपनी मूल समस्या को तैयार करने के बाद, मुझे लगता है कि मैं निम्नलिखित में रुचि रखता हूं: । कोई इसे कैसे करता है?$\theta_{n+1} | x_1,...,x_n$

में नोटों के इस सेट (पेज 2), लेखक का एक उदाहरण किया ( योजना)। मुझे यकीन नहीं है कि यह प्रासंगिक है।$\theta_{n+1} | \theta_1,...,\theta_n$

अद्यतन 2: मैं यह भी पूछना चाहता हूं (नोट देखने के बाद): लोग डीपी के लिए कैसे चुनते हैं ? यह एक यादृच्छिक पसंद की तरह लगता है। इसके अलावा, लोग डीपी के लिए पूर्व चयन कैसे करते हैं ? क्या मुझे लिए अपने पूर्व के रूप में सिर्फ एक उपयोग करना चाहिए ?एच θ $\alpha$$H$$\theta$$H$

Comments

"अगर मैं पूरी तरह से मेरे पूर्व वितरण के रूप में एफ में विश्वास करता हूं, तो किसी भी डेटा को मुझे अन्यथा नहीं मानना ​​चाहिए।" यह बायेसियन इनविटेशन का विरोधाभास है, जो एक हाथ और दुनिया को दूसरे हाथ में मानने की लाइनों के साथ अधिक है , और उन्हें एक साथ गूंथते हैं और देखते हैं कि क्या निकलता है। धोएं, कुल्ला, दोहराएं।

— एलेक्सिस

क्या आप डिरिचलेट प्रक्रिया के बारे में कुछ जानते हैं?

— niandra82

अपने अंतिम पैराग्राफ को अनदेखा करना: इस समस्या के दो सामान्य विकल्प हैं। मानदंडों का एक सीमित मिश्रण है (आप क्रॉस सत्यापन में संभावना के आधार पर कितने मानदंड चुन सकते हैं) या @ niandra82 के रूप में मानदंडों का एक अनंत मिश्रण का सुझाव दे रहा है। ये गिब्स सैंपलिंग या वैरिएबल इनविज़न जैसी किसी चीज़ के साथ किया जा सकता है .. क्या आप इनमें से किसी भी तरीके से परिचित हैं?

मुझे यह भी पूछना चाहिए कि आप इस केडीई का उपयोग कैसे करना चाहते हैं? चुनी गई विधि और आकार (अनंत, परिमित) आपके उद्देश्य पर निर्भर हो सकता है।

यह एक मॉडल पसंद समस्या या एक दार्शनिक की तरह लगता है। हकीकत में, हमारी पसंद जिसमें बायेसियन इंट्रेंस का उपयोग करने की संभावना पूर्व मान्यताएं भी हैं ...

— जो क्लार्क

Answer 1

चूँकि आप एक बायसियन दृष्टिकोण चाहते हैं, इसलिए आपको उस चीज़ के बारे में कुछ पूर्व ज्ञान प्राप्त करने की आवश्यकता है जिसका आप अनुमान लगाना चाहते हैं। यह एक वितरण के रूप में होगा।

अब, यह मुद्दा है कि यह अब वितरण पर एक वितरण है। हालाँकि, यह कोई समस्या नहीं है यदि आप मानते हैं कि उम्मीदवार वितरण वितरण के कुछ मापदंडों वाले वर्ग से आते हैं।

उदाहरण के लिए, यदि आप यह मान लेना चाहते हैं कि डेटा अज्ञात माध्यम से ज्ञात प्रसूति के साथ वितरित किया गया है, तो आप सभी की जरूरत से अधिक पूर्व मतलब है।

अज्ञात पैरामीटर के एमएपी अनुमान (इसे ) यह मानकर आगे बढ़ सकते हैं कि सभी अवलोकन / डेटा बिंदु सशर्त रूप से अज्ञात पैरामीटर को देखते हुए स्वतंत्र हैं। फिर, एमएपी का अनुमान है$\theta$

$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$ ,

कहा पे

$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$ ।

यह ध्यान दिया जाना चाहिए कि पूर्व संभाव्यता विशेष संयोजन हैं और उम्मीदवार वितरणअधिक डेटा बिंदुओं के रूप में आसान (बंद किए गए) अद्यतनों को जन्म देने वाले ।पीआर [ x | θ $\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

Answer 2

घनत्व आकलन उद्देश्यों के लिए आपको जो चाहिए वह नहीं है

$\theta_{n+1}|x_{1},\ldots,x_{n}$ ।

नोटों में सूत्र डिरिचलेट प्रक्रिया के पूर्वानुमान वितरण के लिए पुष्टि करता है।$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

घनत्व के आकलन के लिए आपको वास्तव में भविष्य कहनेवाला वितरण से नमूना

$$\pi(dx_{n+1}|x_{1},\ldots,x_{n})$$

उपरोक्त वितरण से नमूना या तो सशर्त तरीकों से या तो सीमांत तरीकों से किया जा सकता है। सशर्त तरीकों के लिए, स्टीफन वॉकर के कागज [1] पर एक नज़र डालें। सीमांत तरीकों के लिए आपको रेडफोर्ड नील पेपर [2] पर जांच करनी चाहिए।

कंसंट्रेशन पैरामीटर के लिए माइक वेस्ट [3] एमसीएमसी प्रक्रिया में इंजेक्शन के लिए एक विधि प्रस्तावित करता है जिसमें लिए पूर्ण सशर्त वितरण शामिल है । यदि आप एमसीएमसी प्रक्रिया में एकाग्रता को अपडेट नहीं करने का निर्णय लेते हैं , तो आपको यह ध्यान रखना चाहिए कि यदि आप इसके लिए एक बड़ा मूल्य चुनते हैं, तो डिरिलेट प्रक्रिया से तैयार किए गए अलग-अलग मूल्यों की संख्या अलग-अलग मूल्यों की संख्या से बड़ी होगी जब लिए एक छोटी संख्या का उपयोग किया जाएगा।α α $\alpha$$\alpha$$\alpha$$\alpha$

[१] एसजी, वॉकर (२००६)। स्लाइस के साथ डरिकलेट मिक्सचर मॉडल का नमूना लेना। सांख्यिकीय में संचार (सिमुलेशन और गणना)।

[२] आरएम, नील (२०००) मार्कोव चैन मोंटे कार्लो, डिरिचलेट प्रोसेस मिक्सचर मॉडल के लिए। कम्प्यूटेशनल और ग्राफिकल सांख्यिकी का जर्नल। वॉल्यूम 9, नंबर 2, पीपी 249-265

[३] एम।, वेस्ट (१ ९९ २)। डिरिचलेट प्रक्रिया मिश्रण मॉडल में हाइपरपरमीटर का अनुमान। तकनीकी प्रतिवेदन

Answer 3

क्या मेरे नए रीडिंग के आधार पर एफ को अपडेट करने के लिए कुछ दृष्टिकोण है?

उसके लिए कुछ ठीक है। यह बहुत बायेसियन अनुमान का मुख्य विचार है।

$p(\theta | y) \propto p(y|\theta)p(\theta)$

अपने पूर्व, आप क्या कहते हैं । क्या Bayesians "संभावना" कहते हैं और यह थीटा के कुछ मान दिया अपने डेटा को देख की संभावना है। आप बस उन्हें एक साथ गुणा करते हैं और जो मिलता है उसे " का वितरण" कहा जाता है । यह आपका "अपडेटेड एफ" है। Bayesian आँकड़े पुस्तक के लिए किसी भी पहचान के अध्याय 1 की जाँच करें।एफ पी ( y | θ ) $p(\theta)$$F$$p(y|\theta)$$\theta$

आपको से छुटकारा पाने की ज़रूरत नहीं है (आपके पूर्व), आपको बस यह महसूस करना होगा कि यह अब आपका सबसे अच्छा अनुमान नहीं है, अब आपके पास इसे परिष्कृत करने के लिए डेटा है।$p(\theta)$

Comments

यह जवाब नहीं दे रहा है कि सवाल क्या पूछ रहा है। ओपी कैसे एक एक पर पहले डाल सकते हैं पूछ रहा है जब । पर हमारे पूर्व को मान लेने से एक घनत्व के साथ वितरण पर संभाव्यता आ जाती है, संभावना है । इसलिए हमें वितरण कार्यों के स्थान पर एक पूर्व निर्माण करने की आवश्यकता है जो कि अलग-अलग हैं (जो कि अनंत आयामी है), और ओपी पूछ रहा है कि यह कैसे करना है। एक्स 1 , ... , एक्स n मैं मैं d ~ एफ एफ एल ( एफ ) = Π एन मैं = 1 घ $F$$X_1, \ldots, X_n \stackrel{iid}{\sim} F$$F$$L(F) = \prod_{i=1}^N \left.\frac{dF}{dx}\right|_{x = x_i}$$F$

— पुरुष