REML के लिए बायेसियन व्याख्या मौजूद है?

REML की एक बायसियन व्याख्या उपलब्ध है? मेरे अंतर्ज्ञान के लिए, REML तथाकथित अनुभवजन्य बेस अनुमान प्रक्रियाओं के लिए एक मजबूत समानता रखता है , और मुझे आश्चर्य है कि यदि किसी प्रकार की स्पर्शोन्मुख तुल्यता (कुछ उपयुक्त वर्ग के पुजारियों के अनुसार,) का प्रदर्शन किया गया है। उदाहरण के लिए, उपद्रव मापदंडों के सामने किए गए अनुभवजन्य दृष्टिकोण और आरईएमएल दोनों 'समझौता' अनुमानों की तरह लगते हैं ।

मुख्य रूप से, मैं इस सवाल से जो चाहता हूं वह उच्च-स्तरीय अंतर्दृष्टि है कि इस प्रकार के तर्क उपजते हैं। बेशक, यदि किसी कारण से इस प्रकृति का तर्क REML के लिए उपयोगी नहीं हो सकता है, तो ऐसा क्यों है इसके लिए एक स्पष्टीकरण भी स्वागत अंतर्दृष्टि प्रदान करेगा!

bayesian asymptotics reml

— डेविड सी। नॉरिस
स्रोत

यह पत्र प्रासंगिक प्रतीत होता है: फाउले जे (1993)। एक साधारण तर्क दिखा रहा है कि कैसे अधिकतम संभावना को प्रतिबंधित किया जाए। जे डेयरी विज्ञान। 76, 2320-2324। 10.3168 / jds.S0022-0302 (93) 77,569-4 sciencedirect.com/science/article/pii/...

— DJW

बायेसियन व्याख्याएं केवल बायेसियन विश्लेषण के ढांचे के भीतर मौजूद हैं, अनुमानकर्ताओं के लिए जो एक पश्च वितरण से संबंधित हैं। इसलिए, REML आकलनकर्ता को एक बायसियन व्याख्या दी जा सकती है (यानी, पीछे से अनुमानक के रूप में एक व्याख्या) दी जा सकती है, यदि हम REML विश्लेषण में प्रतिबंधित लॉग-लाइबेरिटी को लॉग-पोस्टियर के संगत में लेते हैं। बेयस विश्लेषण; इस मामले में REML आकलनकर्ता बायेसियन सिद्धांत से एमएपी अनुमानक होगा , इसकी संबंधित बायेसियन व्याख्या।

REML आकलनकर्ता को MAP अनुमानक के रूप में सेट करना: यह देखने के लिए अपेक्षाकृत सरल है कि किसी Bayes विश्लेषण में लॉग-पोस्टियर होने के लिए REML विश्लेषण में प्रतिबंधित लॉग-लाइबिलिटी को कैसे सेट किया जाए। ऐसा करने के लिए, हमें REML प्रक्रिया द्वारा निकाले गए लॉग-लाइक के भाग के ऋणात्मक होने के लिए लॉग-पूर्व की आवश्यकता होती है। मान लें कि हमारे पास लॉग- जहां अवशिष्ट लॉग-लाइक है और ब्याज का पैरामीटर है ( हमारा उपद्रव पैरामीटर होने के साथ )। पूर्व को से संगत पोस्टीरियर मिलता है: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

यह हमें देता है:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

यह परिणाम हमें REML आकलनकर्ता को MAP आकलनकर्ता के रूप में व्याख्या करने की अनुमति देता है, इसलिए REML अनुमानक की उचित बायेसियन व्याख्या यह है कि यह अनुमानक है जो उपरोक्त पूर्व के तहत पीछे के घनत्व को अधिकतम करता है ।

REML आकलनकर्ता को बायेसियन व्याख्या देने की विधि का उदाहरण देते हुए, अब हम ध्यान दें कि इस दृष्टिकोण के साथ कुछ बड़ी समस्याएं हैं। एक समस्या यह है कि लॉग-लाइबिलिटी घटक का उपयोग करके पूर्व का गठन किया जाता है , जो डेटा पर निर्भर करता है। इसलिए, इस व्याख्या को प्राप्त करने के लिए आवश्यक "पूर्व" एक वास्तविक पूर्व नहीं है, एक फ़ंक्शन होने के अर्थ में जो डेटा को देखने से पहले बन सकता है। एक और समस्या यह है कि पूर्व अक्सर अनुचित होगा (यानी, यह एक को एकीकृत नहीं करता है) और यह वास्तव में वजन में वृद्धि हो सकती है क्योंकि पैरामीटर मान चरम हो जाते हैं। (हम नीचे इसका एक उदाहरण दिखाएंगे।) $\ell_*(\theta, \nu)$

इन समस्याओं के आधार पर, कोई तर्क दे सकता है कि REML आकलनकर्ता के लिए कोई उचित बायेसियन व्याख्या नहीं है । वैकल्पिक रूप से, कोई यह तर्क दे सकता है कि REML आकलनकर्ता अभी भी उपरोक्त बायेसियन व्याख्या को बनाए रखता है, एक "पूर्व" के तहत अधिकतम पोस्टीरियर अनुमानक है जो संयोग से निर्दिष्ट रूप में देखे गए डेटा के साथ संरेखित होना चाहिए, और बेहद अनुचित हो सकता है।

सामान्य डेटा के साथ चित्रण: REML अनुमान का क्लासिक उदाहरण सामान्य डेटा जहाँ आप सटीक में रुचि रखते हैं और माध्य एक उपद्रव पैरामीटर है। इस मामले में आपके पास लॉग-लाइबिलिटी फ़ंक्शन है: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

REML में हम इस लॉग-लिबिलिटी को दो घटकों में विभाजित करते हैं:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

हम अवशिष्ट संभावना को अधिकतम करके सटीक पैरामीटर के लिए REML अनुमानक प्राप्त करते हैं, जो विचरण के लिए एक निष्पक्ष अनुमानक देता है:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

इस स्थिति में, REML आकलनकर्ता "पूर्व" घनत्व के लिए MAP आकलनकर्ता के अनुरूप होगा:

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

जैसा कि आप देख सकते हैं, यह "पूर्व" वास्तव में मनाया डेटा मूल्यों पर निर्भर करता है, इसलिए यह वास्तव में डेटा को देखने से पहले नहीं बनाया जा सकता है। इसके अलावा, हम देख सकते हैं कि यह स्पष्ट रूप से एक "अनुचित" है, जो कि और चरम मूल्यों पर अधिक से अधिक भार डालता है । (वास्तव में, यह पहले से बहुत अच्छा है।) यदि "संयोग" से पहले आप इस परिणाम के अनुरूप होने के लिए पहले बने थे, तो REML अनुमानक उस पूर्व के तहत एक एमएपी अनुमानक होगा, और इसलिए एक बायेसियन के रूप में माना जाएगा। अनुमानक जो कि पूर्व के तहत पश्च को अधिकतम करता है। $\theta$ $\nu$

— बेन - बहाल मोनिका
स्रोत

कितना स्पष्ट जवाब है! मुझे लगता है कि मैं REML को बहुत बेहतर समझता हूं, जिसके परिणामस्वरूप काफी हद तक मेरा प्रमुख उद्देश्य था। अपने तर्क को खोलने में आपका दृष्टिकोण अनिवार्य रूप से पहचान बनाने के लिए किया गया है, तो पहले के लिए 'हल'। फिर आप उस पूर्व को ध्वस्त करने के लिए आगे बढ़ते हैं, जो मुझे REML के खिलाफ निर्देशित एक आलोचना (बायेसियन परिप्रेक्ष्य से) की तरह दिखता है। खूबसूरती से किया!

— डेविड सी। नॉरिस

हां, यही वह तरीका है जिसका मैंने इस्तेमाल किया। सादृश्य से, हम आमतौर पर MLE को एक ही विधि द्वारा बायेसियन व्याख्या देते हैं --- अर्थात, यह पता लगाकर कि MLE एक समान पूर्व के तहत MAP है। इसलिए सामान्य तौर पर, जब हम बेसिकियन एनालॉग को एक शास्त्रीय अनुमानक को ढूंढना चाहते हैं जो किसी फ़ंक्शन के अधिकतमकरण द्वारा बनता है, तो हम उस फ़ंक्शन को पोस्टीरियर पर सेट करते हैं और फिर पूर्व के लिए हल करते हैं। यदि यह एक समझदार पूर्व देता है तो हमारे पास एक अच्छी बेयसियन व्याख्या है; यदि पूर्व पागल है (जैसे कि REML के साथ) तो हमारे पास एक अच्छा तर्क है कि कोई अच्छा बायेसियन व्याख्या नहीं है।

— बेन - मोनिका