किसी दिए गए MLE के साथ यादृच्छिक नमूनों का अनुकरण करना

यह क्रॉस वैलिडेटेड प्रश्न जो एक निश्चित राशि पर एक नमूना सशर्त का अनुकरण करने के बारे में पूछ रहा है, ने मुझे जॉर्ज कैसला द्वारा मेरे लिए निर्धारित एक समस्या की याद दिला दी ।

एक पैरामीट्रिक मॉडल $f(x|\theta)$ , और इस मॉडल से एक iid नमूना, , MLE of the द्वारा की दी गई मूल्य के लिए , वहाँ एक सामान्य तरीके एक आईआईडी नमूना अनुकरण करने के लिए है सशर्त MLE ? $(X_1,\ldots,X_n)$ $\theta$
$\hat{θ} (x_{1}, \dots, x_{n}) = \arg min \sum_{i = 1}^{n} \log f (x_{i} | θ)$ $\hat{\theta}(x_1,\ldots,x_n)=\arg\min \sum_{i=1}^n \log f(x_i|\theta)$ $\theta$ $(X_1,\ldots,X_n)$ $\hat{\theta}(X_1,\ldots,X_n)$

उदाहरण के लिए, स्थान पैरामीटर साथ एक $\mathfrak{T}_5$ वितरण, जो घनत्व यदि हम कैसे अनुकरण कर सकते हैं सशर्त पर ? इस उदाहरण में, में एक बंद फ़ॉर्म अभिव्यक्ति नहीं है। $\mu$

f (x | μ) = \frac{Γ (3)}{Γ (1 / 2) Γ (5 / 2)} {[1 + (x - μ)^{2} / 5]}^{- 3}

$f(x|\mu)=\dfrac{\Gamma(3)}{\Gamma(1/2)\Gamma(5/2)}\,\left[1+(x-\mu)^2/5\right]^{-3}$

(X_{1}, \dots, X_{n}) \overset{iid}{\sim} f (x | μ)

$(X_1,\ldots,X_n)\stackrel{\text{iid}}{\sim} f(x|\mu)$

(X_{1}, \dots, X_{n})

$(X_1,\ldots,X_n)$

\hat{μ} (X_{1}, \dots, X_{n}) = μ_{0}

$\hat{\mu}(X_1,\ldots,X_n)=\mu_0$

T_{5}

$\mathfrak{T}_5$

\hat{μ} (X_{1}, \dots, X_{n})

$\hat{\mu}(X_1,\ldots,X_n)$

— शीआन
स्रोत

एक विकल्प ब्रम्केर एट अल (1) द्वारा Implicitly परिभाषित Manifolds पर MCMC तरीकों के एक परिवार में वर्णित के रूप में एक विवश एचएमसी संस्करण का उपयोग करना होगा । इसके लिए आवश्यक है कि हम इस स्थिति को व्यक्त कर सकते हैं कि स्थान पैरामीटर का अधिकतम-अनुमानित अनुमान कुछ निश्चित बराबर है, कि कुछ स्पष्ट रूप से परिभाषित (और अलग-अलग) । हम फिर इस बाधा के लिए विवश हैमिल्टन के गतिशील विषय का अनुकरण कर सकते हैं, और मानक HMC के रूप में एक मेट्रोपोलिस-हेस्टिंग्स कदम के भीतर स्वीकार / अस्वीकार कर सकते हैं। $\mu_0$ $c\left(\lbrace x_i \rbrace_{i=1}^N\right) = 0$

नकारात्मक लॉग-सम्भाव्यता जिसमें पहले और दूसरे क्रम में आंशिक व्युत्पत्ति है। स्थान पैरामीटर एक अधिकतम संभावना का अनुमान तब निहित रूप से एक समाधान के रूप में परिभाषित किया गया है

L = - \sum_{i = 1}^{N} [\log f (x_{i} | μ)] = 3 \sum_{i = 1}^{N} [\log (1 + \frac{(x_{i} - μ)^{2}}{5})] + constant

$\mathcal{L} = -\sum_{i=1}^N \left[ \log f(x_i \,|\, \mu) \right] = 3 \sum_{i=1}^N \left[ \log\left(1 + \frac{(x_i - \mu)^2}{5}\right)\right] + \text{constant}$

μ

$\mu$

\frac{\partial L}{\partial μ} = 3 \sum_{i = 1}^{N} [\frac{2 (μ - x_{i})}{5 + (μ - x_{i})^{2}}] and \frac{\partial^{2} L}{\partial μ^{2}} = 6 \sum_{i = 1}^{N} [\frac{5 - (μ - x_{i})^{2}}{{(5 + (μ - x_{i})^{2})}^{2}}] .

$\frac{\partial \mathcal{L}}{\partial \mu} = 3 \sum_{i=1}^N \left[ \frac{2(\mu - x_i)}{5 + (\mu - x_i)^2}\right] \quad\text{and}\quad \frac{\partial^2 \mathcal{L}}{\partial \mu^2} = 6 \sum_{i=1}^N \left[\frac{5 - (\mu - x_i)^2}{\left(5 + (\mu - x_i)^2\right)^2}\right].$

μ_{0}

$\mu_0$

c = \sum_{i = 1}^{N} [\frac{2 (μ_{0} - x_{i})}{5 + (μ_{0} - x_{i})^{2}}] = 0 subject to \sum_{i = 1}^{N} [\frac{5 - (μ_{0} - x_{i})^{2}}{{(5 + (μ_{0} - x_{i})^{2})}^{2}}] > 0.

$c = \sum_{i=1}^N \left[ \frac{2(\mu_0 - x_i)}{5 + (\mu_0 - x_i)^2}\right] = 0 \quad\text{subject to}\quad \sum_{i=1}^N \left[\frac{5 - (\mu_0 - x_i)^2}{\left(5 + (\mu_0 - x_i)^2\right)^2}\right] > 0.$

मुझे यकीन है कि अगर वहाँ सुझाव के लिए एक अनूठा MLE के लिए नहीं होगा कोई परिणाम है नहीं कर रहा हूँ के लिए दिया - घनत्व लॉग-अवतल नहीं है तो यह प्रतीत नहीं होता यह गारंटी देने के लिए तुच्छ। अगर वहाँ केवल एक अद्वितीय समाधान है परोक्ष ऊपर एक जुड़ा को परिभाषित करता है आयामी कई गुना में एम्बेडेड के सेट करने के लिए इसी के लिए MLE साथ बराबर to $\mu$ $\lbrace x_i \rbrace_{i=1}^N$ $\mu$ $N - 1$ $\mathbb{R}^N$ $\lbrace x_i \rbrace_{i=1}^N$ $\mu$ $\mu_0$ । यदि कई समाधान हैं तो कई गुना गैर-जुड़े घटकों में से कुछ शामिल हो सकते हैं जिनमें से कुछ संभावना फ़ंक्शन में मिनिमा के अनुरूप हो सकते हैं। इस मामले में हमें गैर-कनेक्टेड घटकों के बीच स्थानांतरित करने के लिए कुछ अतिरिक्त तंत्र की आवश्यकता होगी (जैसा कि सिम्युलेटेड डायनामिक आमतौर पर किसी एक घटक तक सीमित रहेगा) और दूसरे-क्रम की स्थिति की जांच करें और एक चाल को अस्वीकार करें यदि वह चलती से मेल खाती है संभावना में एक मिनीमा।

यदि हम वेक्टर को देने के लिए का उपयोग करते हैं और द्रव्यमान मैट्रिक्स और एक Lagrange के साथ एक संयुग्म गति राज्य परिचय। स्केलर बाधा लिए गुणक फिर ODEs प्रणाली का समाधान $\boldsymbol{x}$ $\left[ x_1 \dots x_N\right]^{\rm T}$ $\boldsymbol{p}$ $\mathbf{M}$ $\lambda$ $c(\boldsymbol{x})$

\frac{d x}{d t} = M^{- 1} p, \frac{d p}{d t} = - \frac{\partial L}{\partial x} - λ \frac{\partial c}{\partial x} subject to c (x) = 0 and \frac{\partial c}{\partial x} M^{- 1} p = 0

$\frac{{\rm d}\boldsymbol{x}}{{\rm d}t} = \mathbf{M}^{-1}\boldsymbol{p}, \quad \frac{{\rm d}\boldsymbol{p}}{{\rm d}t} = -\frac{\partial \mathcal{L}}{\partial \mathbf{x}} - \lambda \frac{\partial c}{\partial \boldsymbol{x}} \quad\text{subject to}\quad c(\boldsymbol{x}) = 0 \quad\text{and}\quad \frac{\partial c}{\partial \boldsymbol{x}}\mathbf{M}^{-1}\boldsymbol{p} = 0$ दिए गए प्रारंभिक शर्त साथ और , एक विवश हैमिल्टनियन डायनामिक को परिभाषित करता है जो बाधा के कई गुना तक ही सीमित है, समय प्रतिवर्ती है और वास्तव में हैमिल्टन और कई गुना आयतन को संरक्षित करता है। अगर हम विवश हैमिल्टनियन सिस्टम जैसे SHAKE (2) या RATTLE (3) के लिए एक सहानुभूतिपूर्ण इंटीग्रेटर का उपयोग करते हैं, जो कि लैग्रेंज गुणक के लिए हल करके प्रत्येक टाइमस्टेप पर कसना बनाए रखते हैं, तो हम सटीक डायनेमिक फ़ॉरवर्ड Lretrete timesteps अनुकरण कर सकते हैं

x (0) = x_{0}, p (0) = p_{0}

$\boldsymbol{x}(0) = \boldsymbol{x}_0,~\boldsymbol{p}(0) = \boldsymbol{p}_0$

c (x_{0}) = 0

$c(\boldsymbol{x}_0) = 0$

{\frac{\partial c}{\partial x} |}_{x_{0}} M^{- 1} p_{0} = 0

$\left.\frac{\partial c}{\partial \boldsymbol{x}}\right|_{\boldsymbol{x}_0}\,\mathbf{M}^{-1}\boldsymbol{p}_0 = 0$

L

$L$

δ t

$\delta t$ कुछ प्रारंभिक बाधा संतोषजनक और प्रस्तावित नई राज्य जोड़ी को प्रायिकता यदि हम इन गतिकी को गैसियन सीमांत से क्षण के आंशिक / पूर्ण पुनरुत्पादन के साथ अद्यतन करते हैं (केवल द्वारा परिभाषित रैखिक उप-सीमा तक सीमित

x, p

$\boldsymbol{x},\,\boldsymbol{p}$

x^{'}, p^{'}

$\boldsymbol{x}',\,\boldsymbol{p}'$

min {1, \exp [L (x) - L (x^{'}) + \frac{1}{2} p^{T} M^{- 1} p - \frac{1}{2} p^{' T} M^{- 1} p^{'}]} .

$\min\left\lbrace 1, \,\exp\left[ \mathcal{L}(\boldsymbol{x}) - \mathcal{L}(\boldsymbol{x}') + \frac{1}{2}\boldsymbol{p}^{\rm T}\mathbf{M}^{-1}\boldsymbol{p} - \frac{1}{2}\boldsymbol{p}'^{\rm T}\mathbf{M}^{-1}\boldsymbol{p}'\right] \right\rbrace.$

\frac{\partial c}{\partial x} M^{- 1} p = 0

$\frac{\partial c}{\partial \boldsymbol{x}}\mathbf{M}^{-1}\boldsymbol{p} = 0$ ) तब कई गैर-जुड़े बाधाएं कई गुना घटकों के होने की संभावना को , समग्र MCMC गतिशील ergodic होना चाहिए और कॉन्फ़िगरेशन राज्य के नमूने को लक्ष्य घनत्व में वितरण में बाधा को कई गुना तक सीमित कर देगा।

x

$\boldsymbol{x}$

यह देखने के लिए कि इस मामले के लिए विवश एचएमसी ने यहां किस तरह का प्रदर्शन किया, मैंने जियोडेसिक इंटीग्रेटर आधारित विवश एचएमसी कार्यान्वयन को (4) में वर्णित किया और जीथब पर यहां उपलब्ध है (पूर्ण प्रकटीकरण: मैं एक लेखक हूं (4) और गीथूब भंडार का मालिक हूं), स्टोकेस्टिक ऑर्स्टीन-उहलेनबेक कदम के बिना (5) में प्रस्तावित 'जियोडेसिक-बाओएबी' इंटीग्रेटर योजना की विविधता का उपयोग करता है। मेरे अनुभव में यह जियोडेसिक इंटीग्रेशन स्कीम आम तौर पर बाधा (कई) में इस्तेमाल किए गए RATTLE स्कीम की तुलना में थोड़ा आसान है, क्योंकि कॉन्ट्रास्ट मैनिफोल्ड पर जियोडेसिक मोशन के लिए कई छोटे इनर स्टेप्स का उपयोग करने की अतिरिक्त लचीलापन है। परिणाम उत्पन्न करने वाला एक IPython नोटबुक यहां उपलब्ध है ।

मैंने , और । न्यूटन के तरीके से एक MLE of लिए एक प्रारंभिक पाया गया (दूसरे क्रम व्युत्पन्न की संभावना की अधिकतम सुनिश्चित करने के लिए जाँच की गई)। मैंने 1000 अपडेट्स के लिए पूर्ण गति के रेफरल में , साथ एक विवश गतिशील को चलाया । नीचे दिए गए कथानक तीन घटकों पर परिणामी निशान हैं $N=3$ $\mu=1$ $\mu_0=2$ $\boldsymbol{x}$ $\mu_0$ $\delta t = 0.5$ $L=5$ $\boldsymbol{x}$

3 डी उदाहरण के लिए ट्रेस भूखंड

और नकारात्मक लॉग-लिबेलिटी के पहले और दूसरे क्रम के डेरिवेटिव के संबंधित मूल्य नीचे दिखाए गए हैं

लॉग-सम्भावित व्युत्पन्न ट्रेस भूखंड

जिसमें से यह देखा जा सकता है कि हम सभी नमूना के लिए लॉग- अधिकतम सीमा पर हैं । हालाँकि यह अलग-अलग ट्रेस प्लॉट्स से आसानी से स्पष्ट नहीं होता है, नमूना एक 2 डी गैर-रेखीय मैनिफोल्ड पर निहित है जो में एम्बेडेड है - नीचे दिया गया एनीमेशन 3D में नमूने दिखाता है $\boldsymbol{x}$ $\boldsymbol{x}$ $\mathbb{R}^3$

2 डी के लिए नमूनों की 3 डी कल्पना कई गुना तक सीमित है

बाधा की व्याख्या के आधार पर यह कुछ (4) में वर्णित के रूप में कुछ याकूबियन कारक द्वारा लक्ष्य घनत्व को समायोजित करने के लिए आवश्यक हो सकता है। विशेष रूप से अगर हम चाहते हैं कि एक एबीसी का उपयोग करने के लिए एबीसी का उपयोग सीमा साथ सुसंगत परिणाम बनाए रखने के लिए लगभग बाधा के रूप में कदमों का प्रस्ताव करके और स्वीकार करें यदि , फिर हमें लक्ष्य घनत्व को से गुणा करने की आवश्यकता है । उपरोक्त उदाहरण में मैंने इस समायोजन को शामिल नहीं किया है, इसलिए नमूने मूल लक्ष्य घनत्व से हैं जो बाधा को कई गुना तक सीमित करते हैं। $\epsilon \to 0$ $\mathbb{R}^N$ $|c(\boldsymbol{x})| < \epsilon$ $\sqrt{\frac{\partial c}{\partial \boldsymbol{x}}^{\rm \scriptscriptstyle T}\frac{\partial c}{\partial \boldsymbol{x}}}$

संदर्भ

एमए ब्रूबेकर, एम। साल्ज़मैन, और आर। उराटसुन। अनुमानित रूप से परिभाषित कई गुना पर MCMC तरीकों का एक परिवार। में आर्टिफिशियल इंटेलिजेंस और सांख्यिकी पर 15 वीं अंतर्राष्ट्रीय सम्मेलन की कार्यवाही , 2012
http://www.cs.toronto.edu/~mbrubake/projects/AISTATS12.pdf
जे.-पी. रेकैर्ट, जी। सिसकोटी, और एचजे बेरेन्डसेन। गति के साथ एक प्रणाली की गति के कार्टेशियन समीकरणों का संख्यात्मक एकीकरण: एन-अल्केन्स की आणविक गतिशीलता। कम्प्यूटेशनल भौतिकी के जर्नल , 1977.
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.399.6868
एचसी एंडरसन RATTLE: आणविक गतिकी गणना के लिए SHAKE एल्गोरिदम का एक "वेग" संस्करण। कम्प्यूटेशनल भौतिकी के जर्नल , 1983।
http://www.sciencedirect.com/science/article/pii/002199918394141
एमएम ग्राहम और एजे स्टॉर्क। संभावना-मुक्त मॉडल में एसिम्पोटिक रूप से सटीक अनुमान। arXiv प्री-प्रिंट arXiv: 1605.07826v3 , 2016.
https://arxiv.org/abs/1.0.02626
बी। लीमुखेलर और सी। मैथ्यूज। जियोडेसिक एकीकरण और विलायक-विलेय विभाजन का उपयोग करते हुए कुशल आणविक गतिशीलता। प्रोक। आर। सोक। उ। वॉल्यूम। 472. नंबर 2189. द रॉयल सोसाइटी , 2016.
http://rspa.royalsocietypublishing.org/content/472/2189/20160138.abstract

— मैट ग्राहम
स्रोत

शानदार और नए और उज्ज्वल दृष्टिकोण! धन्यवाद।

— शीआन