कौन सी बेहतर अधिकतम संभावना और सीमांत संभावना है और क्यों?

प्रतिगमन करते समय यदि हम परिभाषा से जाते हैं: आंशिक संभावना, प्रोफाइल संभावना और सीमांत संभावना के बीच क्या अंतर है?

वह, अधिकतम संभावना का
पता लगाएं β और β जो अधिकतम L (θ, Lik | डेटा) को बढ़ाता है।

जबकि, सीमांत संभावना
हम इस तथ्य का दोहन करके संभावना समीकरण से eli एकीकृत करते हैं कि हम distribution पर सशर्त वितरण की संभावना की पहचान कर सकते हैं।

अधिकतम करने के लिए कौन सी बेहतर कार्यप्रणाली है और क्यों?

regression maximum-likelihood

— अंकित चिपलूनकर
स्रोत

जवाबों:

इनमें से प्रत्येक एक अलग व्याख्या के साथ अलग-अलग परिणाम देगा। पहले पाता जोड़ी , जो सबसे संभावित है, जबकि दूसरे पाता जो (मामूली) है सबसे संभावित। कल्पना करें कि आपका वितरण इस तरह दिखता है: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

$\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

$\theta$ $\beta$ $\theta$

— क्रिस
स्रोत

मैंने अधिकतम / सीमांत संभावना विधियों और इसलिए प्रश्न के लिए अलग-अलग परिणाम पाए। मैं कहूंगा कि मेरे मामले में दो परिणाम अलग-अलग व्याख्या करते हैं लेकिन संभव परिणाम हैं।

— अंकित चिपलूनकर

मैं अभी इस सवाल से जूझ रहा हूं। यहाँ एक परिणाम है जो सहायक हो सकता है। रैखिक मॉडल पर विचार करें

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

$y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

संयुक्त संभावना पैदावार का अनुकूलन

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

$X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

$\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

प्राथमिक रैखिक बीजगणित और गाऊसी अभिन्न सूत्र का उपयोग करके, आप यह दिखा सकते हैं

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

इसमें डिग्री-ऑफ-फ्रीडम सुधार है जो इसे निष्पक्ष बनाता है और आम तौर पर संयुक्त एमएल अनुमान से अधिक इष्ट है।

इस परिणाम से कोई यह पूछ सकता है कि क्या एकीकृत संभावना के बारे में कुछ लाभकारी है, लेकिन मुझे उस प्रश्न का उत्तर देने वाले किसी भी सामान्य परिणाम के बारे में नहीं पता है। सर्वसम्मति से लगता है कि अधिकांश अनुमान समस्याओं में अनिश्चितता के लिए लेखांकन में एकीकृत एमएल बेहतर है। विशेष रूप से, यदि आप एक ऐसी मात्रा का अनुमान लगा रहे हैं जो अन्य पैरामीटर अनुमानों पर निर्भर करती है (यहां तक कि अंतर्निहित रूप से), तो अन्य मापदंडों पर एकीकरण करना उनकी अनिश्चितताओं के लिए बेहतर खाता होगा।

— पॉल
स्रोत

β

$\beta$

β

$\beta$

β

$\beta$

दरअसल, इस पोस्ट और उसमें दी गई टिप्पणियों के आधार पर , मुझे लगता है कि एकीकृत एमएल, सीमांत एमएल नहीं है, जो हम यहां कर रहे हैं उसके लिए सही शब्द है। तदनुसार संपादित किया गया।

— पॉल

+1 मुझे पता है कि मैं इस पार्टी के लिए बहुत देर से आया हूं, लेकिन निश्चित रूप से उन पर एक समान वर्दी डालकर निश्चित प्रभावों को एकीकृत नहीं कर रहा है, जो कि REML करता है, इसलिए आपने वास्तव में केवल REML अनुमान प्राप्त किया है और यह df सुधार वास्तव में है यहाँ कारण है कि छोटे नमूनों के लिए REML बेहतर है?

— जेल्ड

@Chaconne हाँ, इस पोस्ट को REML समझने की कोशिश से प्रेरित किया गया था! मेरे पास (लगभग) कोई औपचारिक सांख्यिकी शिक्षा नहीं है, इसलिए यह सब मेरे लिए नया था।

— पॉल

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$

— Seeda
स्रोत