"अधिकतम संभावना सीमित है" और इसका उपयोग कब किया जाना चाहिए?

73

मैंने इस पत्र के सार में पढ़ा है कि:

"हार्टले ऑड राव की अधिकतम संभावना (एमएल) प्रक्रिया को पैटरसन और थॉम्पसन से रूपांतरण को संशोधित करके संशोधित किया जाता है, जो कि संभावना को दो भागों में सामान्यता प्रदान करता है, एक निश्चित प्रभाव से मुक्त होता है। इस भाग को अधिकतम करने से सीमित अधिकतम संभावना कहा जाता है। (REML) के आकलनकर्ता। "

मैं इस पत्र के सार में भी पढ़ता हूं कि REML:

"निश्चित प्रभावों का अनुमान लगाने के परिणामस्वरूप स्वतंत्रता की डिग्री में नुकसान को ध्यान में रखता है।"

अफसोस की बात यह है कि मेरे पास उन कागजों के पूरे पाठ तक पहुंच नहीं है (और शायद समझ में नहीं आता कि अगर मैंने किया)।

इसके अलावा, REML बनाम ML के क्या फायदे हैं? मिश्रित प्रभाव वाले मॉडल को फिट करते समय REML को ML (या इसके विपरीत) से अधिक किन परिस्थितियों में पसंद किया जा सकता है? कृपया उच्च-विद्यालय (या सिर्फ परे) गणित की पृष्ठभूमि वाले किसी व्यक्ति के लिए उपयुक्त स्पष्टीकरण दें!

mixed-model maximum-likelihood reml

— जो राजा
स्रोत

आँकड़े

62

ओश्राम के उत्तर के अनुसार, एमएल विचरण घटकों के अनुमान के लिए पक्षपाती है। लेकिन निरीक्षण करें कि पूर्वाग्रह बड़े नमूना आकारों के लिए छोटा हो जाता है। इसलिए आपके सवालों के जवाब में " ... मिश्रित वर्जन मॉडल को फिट करते समय REML बनाम ML के फायदे क्या हैं? किन परिस्थितियों में REML को ML (या इसके विपरीत) से अधिक पसंद किया जा सकता है? ", छोटे नमूने के आकार के लिए REML को प्राथमिकता दी जाती है। हालांकि, REML के लिए संभावना अनुपात परीक्षण दोनों मॉडलों में बिल्कुल समान प्रभाव विनिर्देशन की आवश्यकता होती है। इसलिए, एलआर परीक्षण के साथ विभिन्न निश्चित प्रभावों (एक सामान्य परिदृश्य) वाले मॉडल की तुलना करने के लिए, एमएल का उपयोग किया जाना चाहिए।

REML अनुमानित (निर्धारित प्रभाव) मापदंडों की संख्या को ध्यान में रखता है, प्रत्येक के लिए 1 डिग्री की स्वतंत्रता खो देता है। यह कम से कम वर्गों के अवशेषों में एमएल लगाने से प्राप्त होता है, जो निश्चित प्रभावों से स्वतंत्र होते हैं।

— रॉबर्ट लांग
स्रोत

8

वास्तव में, एक विचरण घटक के REML अनुमानक आमतौर पर (लगभग) निष्पक्ष होता है, जबकि एमएल अनुमानक नकारात्मक पक्षपाती होता है। हालाँकि, ML अनुमानक के पास आम तौर पर REML अनुमानक की तुलना में कम-चुकता त्रुटि (MSE) होती है। इसलिए, यदि आप औसतन सही होना चाहते हैं, तो REML के साथ जाएं, लेकिन आप इसके लिए अनुमानों में बड़ी परिवर्तनशीलता के साथ भुगतान करते हैं। यदि आप औसत पर सही मूल्य के करीब होना चाहते हैं, तो एमएल के साथ जाएं, लेकिन आप इसके लिए नकारात्मक पूर्वाग्रह के साथ भुगतान करते हैं।

— वोल्फगैंग

3

एक निरंतर मतलब की साधारण मामला है, और लगातार विचरण में, एमएल के साथ एसएसआर विभाजित है जबकि REML साथ एसएसआर विभाजित है । तो REML इस प्रक्रिया का एक सामान्यीकरण है!

n

$n$

(n - 1)

$(n-1)$

— kjetil b halvorsen

"एमएल विचरण घटकों के अनुमान के लिए पक्षपाती है"। क्या इसका मतलब यादृच्छिक प्रभावों के विचरण या तय-प्रभाव गुणांक की मानक त्रुटियों से भी है?

— स्कैन

54

यहाँ एक त्वरित जवाब है ...

मानक उदाहरण उदाहरण

आज्ञा दें एक सामान्य वितरण ) से एक नमूना हो । दोनों और अज्ञात हैं। की अधिकतम संभावना आकलनकर्ता , सम्मान के साथ लॉग-संभावना के व्युत्पन्न लेने के लिए द्वारा प्राप्त और शून्य के बराबर है, जहां का अधिकतम संभावना अनुमानक है । हम उस को दिखा सकते हैं [ फिर से लिखना शुरू करें $y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ रूप में ]। इस प्रकार, पक्षपाती है। ध्यान दें कि यदि हम को जानते थे , तो MLE for निष्पक्ष नहीं होता। इसलिए, इस तथ्य से जुड़ी हुई प्रतीत होती है कि हमने अनुमान में अज्ञात अर्थ के लिए प्रतिस्थापित किया है । REML आकलन का सहज विचार एक संभावना के साथ समाप्त होता है जिसमें पर सभी जानकारी होती है, लेकिन अब पर जानकारी शामिल नहीं होती है ।

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

अधिक तकनीकी रूप से, REML संभावना मूल डेटा के रैखिक संयोजनों की संभावना है: की संभावना के बजाय , हम की संभावना पर विचार करते हैं , जहां मैट्रिक्स ऐसा है कि । $y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

REML आकलन अक्सर मिश्रित मॉडल के अधिक जटिल संदर्भ में उपयोग किया जाता है। मिश्रित मॉडल की प्रत्येक पुस्तक में अधिक विवरणों में REML आकलन की व्याख्या करने वाला एक खंड होता है।

संपादित करें

@ जोए किंग: यहां मिश्रित मॉडल पर मेरी पसंदीदा पुस्तकों में से एक है जो पूरी तरह से ऑनलाइन उपलब्ध है। खंड 2.4.2 विचरण घटकों का आकलन करने से संबंधित है। अपने पढ़ने का आनंद लें :-)

— ocram
स्रोत

धन्यवाद - यह मददगार है - हालांकि मेरे पास मिश्रित मॉडल पर पुस्तकों तक आसान पहुंच नहीं है। क्या आप अपने उत्तर को मेरे पोस्ट में 2 उद्धरण से संबंधित कर सकते हैं?

— जो राजा

मुझे आश्चर्य है कि कैसे एक बहुभिन्नरूपी गाऊसी कहानी को बदलती है? आंकड़े.stackexchange.com/questions/167494/…

— Sibbs जुआ

9

एमएल विधि विचरण मापदंडों को कम करके आंका जाता है क्योंकि यह मानता है कि विचरण मापदंडों का आकलन करते समय निश्चित मापदंडों को अनिश्चितता के बिना जाना जाता है।

REML विधि निश्चित प्रभावों के लिए अनुमानों से स्वतंत्र विचरण मापदंडों के लिए अनुमान लगाने के लिए एक गणितीय चाल का उपयोग करती है। REML मॉडल के निश्चित प्रभाव वाले भाग द्वारा बनाए गए अवलोकनों के लिए पहले प्रतिगमन अवशेष प्राप्त करके काम करता है, इस बिंदु किसी भी विचरण घटकों को अनदेखा करता है।

एमएल अनुमान निश्चित प्रभावों के लिए निष्पक्ष हैं लेकिन यादृच्छिक प्रभावों के लिए पक्षपाती हैं, जबकि REML अनुमान तय प्रभावों के लिए पक्षपाती हैं और यादृच्छिक प्रभावों के लिए निष्पक्ष हैं।

— Skan
स्रोत