क्यों विल्कस 1938 प्रक्षेपीकृत मॉडल के लिए प्रूफ का काम नहीं करता है?

प्रसिद्ध 1938 के पेपर में (" समग्र परिकल्पनाओं के परीक्षण के लिए संभावना अनुपात का बड़ा-नमूना वितरण ", गणितीय सांख्यिकी के विवरण, 9: 60-62), सैमुअल विल्क्स ने (लॉग संभावना अनुपात) के विषम वितरण का व्युत्पन्न किया। नेस्टेड परिकल्पनाओं के लिए, इस धारणा के तहत कि बड़ी परिकल्पना सही ढंग से निर्दिष्ट है। सीमित वितरण है (ची-वर्ग) स्वतंत्रता की डिग्री के साथ , जहां बड़ी परिकल्पना और में मापदंडों की संख्या है $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ नेस्टेड परिकल्पना में मुक्त मापदंडों की संख्या है। हालांकि, यह माना जाता है कि यह परिणाम तब नहीं होता है जब परिकल्पना को गलत तरीके से परिभाषित किया जाता है (यानी, जब बड़ी परिकल्पना नमूना आंकड़ों के लिए सही वितरण नहीं होती है)।

क्या कोई समझा सकता है क्यों? यह मुझे लगता है कि विल्क्स का प्रमाण अभी भी मामूली संशोधनों के साथ काम करना चाहिए। यह अधिकतम संभावना अनुमान (MLE) की स्पर्शोन्मुख सामान्यता पर निर्भर करता है, जो अभी भी गलत मॉडल के साथ है। एकमात्र अंतर सीमित बहुभिन्नरूपी के सहसंयोजक मैट्रिक्स है: सही ढंग से निर्दिष्ट मॉडल के लिए, हम उलटा फिशर सूचना मैट्रिक्स के साथ सहसंयोजक मैट्रिक्स को अनुमानित कर सकते हैं, प्रक्षेपीकरण के साथ, हम सहसंयोजक मैट्रिक्स के सैंडविच अनुमान का उपयोग कर सकते हैं। ( )। बाद में फिशर सूचना मैट्रिक्स के व्युत्क्रम को कम कर देता है जब मॉडल सही ढंग से निर्दिष्ट होता है ( बाद से $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ )। AFAICT, विल्क्स प्रूफ परवाह नहीं करता है कि सहसंयोजक मैट्रिक्स का अनुमान कहाँ से आता है, जब तक कि हमारे पास बहुराष्ट्रीय के एक उलटा स्पर्शोन्मुख सहसंयोजक मैट्रिक्स MLEs के लिए सामान्य है ( विल्क्स पेपर में)। $c^{-1}$

— ratsalad
स्रोत

जब बड़ा मॉडल सही होता है, लेकिन सबमॉडल गलत होता है, तो एसिम्प्टोटिक वितरण नहीं होता है (गॉसियन त्रुटियों वाले रैखिक मॉडल में, उदाहरण के लिए, हमें सटीक noncentral-F वितरण जैसी चीजें मिलती हैं, इसलिए asymptotic वितरण nc जैसा कुछ होना चाहिए। - [ मैं अनुमान लगा रहा हूं)। तो क्यों न हम इसे होने की उम्मीद होती है जब दोनों बड़े और छोटे मॉडल दोनों गलत कर रहे हैं? वास्तव में अशक्त परिकल्पना किसके साथ शुरू होती है?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— आदमी

सही ढंग से निर्दिष्ट अशक्त-परिकल्पना में, दोनों मॉडल "सही" है, लेकिन नेस्टेड एक है पैरामीटर सही मूल्य पर तय की। Misspecified अशक्त-परिकल्पना में, दोनों मॉडल "गलत" हैं, लेकिन नेस्टेड एक है pseudotrue मूल्यों पर तय मानकों। ("स्यूडोट्र्यू वैल्यू" पैरामीटर का असममित मूल्य है जो कि मिसकैप्ड मॉडल और ट्रू मॉडल के बीच कुल्बैक-लाइब्लर दूरी को कम करता है)। तो गैर-एफआरएल का आपका उदाहरण प्रासंगिक नहीं है, क्योंकि यह वितरण है जब यहां अशक्त-परिकल्पना झूठी है।

m

$m$

m

$m$

— रतसाल

क्षमा करें, मुझे कहना चाहिए कि नेस्टेड परिकल्पना में सही मानों पर निर्धारित पैरामीटर हैं।

h - m

$h-m$

— रटसालड

यह मेरी समझ है कि एक गलत तरीके से किया गया अशक्त मॉडल कई मायनों में गलत हो सकता है। उदाहरण के लिए: अवशिष्टों का गलत वितरण, डेटा में विषमलैंगिकता होती है, प्रभाव एडिटिव नहीं होते हैं, आदि, हालांकि, मैं मानता हूं कि यदि "परीक्षण किए गए" मापदंडों में से कम से कम एक गलत मान पर निर्धारित किया गया है (उदाहरण के लिए स्यूडोट्रॉस्ट वैल्यू) , यह गलत तरीके से निर्दिष्ट अशक्त मॉडल का एक उदाहरण है।

h - m

$h - m$

— rcorty

जवाबों:

आरवी फाउटज़ और आरसी श्रीवास्तव ने इस मुद्दे की विस्तार से जाँच की है। उनके 1977 के पेपर "मॉडल के गलत होने पर संभावना अनुपात परीक्षण का प्रदर्शन" में प्रूफ के बहुत संक्षिप्त स्केच के साथ-साथ प्रच्छादन के मामले में वितरण परिणाम का विवरण शामिल है, जबकि उनके 1978 के पेपर "संभावना अनुपात के विषम वितरण जब" मॉडल गलत है " सबूत में शामिल है -लेकिन बाद वाले को पुराने जमाने के टाइप-राइटर में टाइप किया गया है (दोनों पेपर समान नोटेशन का उपयोग करते हैं, हालांकि आप उन्हें पढ़ने में जोड़ सकते हैं)। इसके अलावा, सबूत के कुछ चरणों के लिए वे केपी रॉय द्वारा 1957 से "संभावना अनुपात के विषम वितरण पर एक नोट" के एक पेपर का उल्लेख करते हैं, जो ऑन-लाइन उपलब्ध नहीं है, यहां तक कि गेटेड भी नहीं दिखता है।

वितरणात्मक प्रक्षेपीकरण के मामले में, यदि MLE अभी भी सुसंगत है और अस्वाभाविक रूप से सामान्य है (जो कि हमेशा मामला नहीं होता है), LR स्टेटिस्टिक स्पर्शोन्मुख रूप से स्वतंत्र ची-वर्गों (स्वतंत्रता की एक डिग्री में से प्रत्येक) का एक रैखिक संयोजन का अनुसरण करता है

- 2 \ln λ \overset{d}{\to} \sum_{i = 1}^{r} c_{i} χ_{i}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

जहाँ । एक "समानता" देख सकते हैं: के साथ एक ची-वर्ग के बजाय स्वतंत्रता की डिग्री, हम स्वतंत्रता से एक डिग्री के साथ प्रत्येक ची वर्गों। लेकिन "सादृश्य" वहाँ बंद हो जाता है, क्योंकि ची-वर्गों के एक रैखिक संयोजन में एक बंद-रूप घनत्व नहीं होता है। प्रत्येक स्केल किए गए ची-वर्ग एक गामा है, लेकिन एक अलग पैरामीटर के साथ जो गामा-और के लिए एक अलग पैमाने के पैरामीटर की ओर जाता है और ऐसे गामा का योग बंद-रूप नहीं है, हालांकि इसके मूल्यों की गणना की जा सकती है। $r=h-m$ $h-m$ $h-m$ $c_i$

के लिए स्थिरांक, हमारे पास , और वे एक मैट्रिक्स ... जो मैट्रिक्स eigenvalues के कर रहे हैं? खैर, लेखकों अंकन का उपयोग, सेट लॉग-संभावना के हेस्सियन और होने के लिए लॉग-संभावना की ढाल के बाहरी उत्पाद (expectational संदर्भ में) किया जाना है। तो एमएलई का असममित विचरण-सहसंयोजक मैट्रिक्स है। $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

फिर को के ऊपरी विकर्ण खंड के रूप में सेट करें । $M$ $r \times r$ $V$

ब्लॉक फॉर्म में भी लिखें $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

और ( नकारात्मक है Schur Complement of ) सेट करें। $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

फिर के मापदंडों के सही मूल्यों पर मैट्रिक्स मूल्यांकन किया जाता है। $c_i$ $MW$

परिशिष्ट
टिप्पणी में ओपी की वैध टिप्पणी का जवाब देते हुए (कभी कभी, वास्तव में, सवाल एक अधिक सामान्य परिणाम को साझा करने के लिए एक मंच बन जाते हैं, और खुद को इस प्रक्रिया में उपेक्षित किया जा सकता है), यहाँ है कैसे विल्क्स के सबूत आय: विल्क्स संयुक्त साथ शुरू होता है MLE का सामान्य वितरण, और इसकी संभावना के अनुपात की कार्यात्मक अभिव्यक्ति प्राप्त करने के लिए आगे बढ़ता है। तक और उसके eq भी शामिल है। , प्रमाण आगे बढ़ सकते हैं, भले ही हम यह मान लें कि हमारे पास वितरणात्मक प्रक्षेपीकरण है: ओपी नोटों के रूप में, प्रसरण सहसंयोजक मैट्रिक्स की शर्तें प्रच्छन्न परिदृश्य में अलग होंगी, लेकिन सभी विल्क्स डेरिवेटिव ले सकते हैं, और पहचान करेंगे asymptotically नगण्य शब्द। और इसलिए वह ईक पर आता है। जहाँ हम देखते हैं कि संभावना अनुपात सांख्यिकीय है, $[9]$ $[9]$ यदि विनिर्देश सही है, तो बस का योग है मानक सामान्य यादृच्छिक चर चुकता, और इसलिए वे के साथ एक ची-वर्ग के रूप में वितरित कर रहे हैं स्वतंत्रता की डिग्री: (सामान्य अंकन) $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

लेकिन अगर हमारे पास मिसकैरेज है, तो केन्द्रित और आवर्धित MLE को स्केल करने के लिए उपयोग की जाने वाली शर्तें अब वे शब्द नहीं हैं जो प्रत्येक की भिन्नताओं को एकता के बराबर बना देंगे, और इसलिए प्रत्येक पद को एक मानक सामान्य आरवी और योग को ची-स्क्वायर में बदल दें। और वे नहीं हैं, क्योंकि इन शर्तों में लॉग-लाइबिलिटी के दूसरे डेरिवेटिव के अपेक्षित मान शामिल हैं ... लेकिन अपेक्षित मूल्य केवल सच्चे वितरण के संबंध में लिया जा सकता है, क्योंकि MLE डेटा और फ़ंक्शन का एक फ़ंक्शन है डेटा सही वितरण का अनुसरण करता है, जबकि लॉग-संभावना के दूसरे डेरिवेटिव की गणना गलत घनत्व धारणा के आधार पर की जाती है। $\sqrt n(\hat \theta -\theta)$

इसलिए मिसकैपिफिकेशन के तहत हमारे पास कुछ है जैसे और सबसे अच्छा हम यह कर सकते हैं कि इसमें हेरफेर किया जाए

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$

- 2 \ln λ = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

जो की राशि है बढ़ाया ची-वर्ग आर.वी. की, अब के साथ एक ची वर्ग आर.वी. के रूप में वितरित स्वतंत्रता की डिग्री। ओपी द्वारा प्रदान किया गया संदर्भ वास्तव में इस अधिक सामान्य मामले का एक बहुत स्पष्ट स्पष्टीकरण है जिसमें एक विशेष मामले के रूप में विल्क्स का परिणाम शामिल है। $h-m$

— एलेकोस पापाडोपोलोस
स्रोत

तो, यह मानक परिणाम का केवल एक प्रतिबंध है जब मॉडल गलत किया जाता है। यह परिणाम कई बार व्युत्पन्न और पुनः प्राप्त हुआ है। मैंने जो स्पष्ट और सबसे रोशन व्युत्पत्ति देखी है, वह केंट 1982 " लाइबली प्रॉपर्टीज ऑफ़ लाइकैलिटी रेशियो टेस्ट " (बायोमेट्रिक 69:19) से है। हालाँकि, आपने मेरे प्रश्न का उत्तर नहीं दिया। मेरा प्रश्न विशेष रूप से विल्क्स 1938 प्रमाण के बारे में था, और यह विफल क्यों हुआ।

— रात्सलद

विल्क्स का 1938 प्रमाण काम नहीं करता है क्योंकि विल्क्स ने जैसा कि उनके प्रमाण में एसिम्प्टोटिक कोवरियनस मैट्रिक्स है। सैंडविच अनुमानक बजाय नकारात्मक लॉग संभावना के हेस्सियन का विलोम है । संदर्भ विल्क्स की वें तत्व के रूप में उनका एक प्रमाण में। यह धारणा बनाकर कि Wilks (1938) मान रहा है कि धारण करता है जो फिशर सूचना मैट्रिक्स समानता है। यदि संभाव्यता मॉडल सही ढंग से निर्दिष्ट है तो $J^{-1}$ $J^{-1}$ $J^{-1} K J^{-1}$ $ij$ $J$ $c_{ij}$ $J^{-1}KJ^{-1} = J^{-1}$ $K=J$ $K=J$ । तो विल्क्स द्वारा धारणा की एक व्याख्या यह है कि वह मजबूत धारणा को मान रहा है कि संभावना मॉडल सही ढंग से निर्दिष्ट है।

— RMG
स्रोत