सशर्त heteroskedasticity के साथ रैखिक मॉडल में इंजेक्शन

मान लीजिए मैं स्वतंत्र चर वैक्टर का पालन करता हूं $\vec{x}$ तथा $\vec{z}$ और आश्रित चर $y$ । मैं फॉर्म का एक मॉडल फिट करना चाहता हूं:

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$ कहाँ पे

g

$g$ कुछ सकारात्मक-मूल्यवान दो-भिन्न फ़ंक्शन हैं,

σ

$\sigma$ एक अज्ञात स्केलिंग पैरामीटर है, और

ϵ

$\epsilon$ एक शून्य-माध्य, इकाई-भिन्नता गौसियन यादृच्छिक चर है (जिसे स्वतंत्र माना जाता है

\vec{x}

$\vec{x}$ तथा

\vec{z}

$\vec{z}$ )। यह अनिवार्य रूप से कोएन्केर की विषमलैंगिकता के परीक्षण का सेटअप है (कम से कम जहां तक मैं इसे समझता हूं)।

मेरे पास है $n$ की टिप्पणियों के $\vec{x}, \vec{z}$ तथा $y$ , और मैं अनुमान लगाना चाहूंगा $\vec{\beta_1}$ तथा $\vec{\beta_2}$ । मुझे कुछ समस्याएं हैं, हालांकि:

मुझे यकीन नहीं है कि अनुमान की समस्या को कम से कम वर्गों के रूप में कैसे किया जाए (मुझे लगता है कि एक प्रसिद्ध चाल है)। मेरा पहला अनुमान कुछ ऐसा होगा $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$ लेकिन मुझे यकीन नहीं है कि उस संख्यात्मक रूप से कैसे हल किया जाए (शायद एक पुनरावृत्त अर्ध-न्यूटन विधि हो सकती है)।
यह मानते हुए कि मैं समस्या को समझदारी से पेश कर सकता हूं और कुछ अनुमान लगा सकता हूं $\hat{\beta}_1, \hat{\beta}_2$ , मैं अनुमानों के वितरण को जानना चाहूंगा ताकि उदाहरण के लिए मैं परिकल्पना परीक्षण कर सकूं। मैं अलग से दो गुणांक वैक्टर के परीक्षण के साथ ठीक हो जाएगा, लेकिन परीक्षण करने के लिए कुछ तरीका पसंद करेंगे, जैसे $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ माफ़ कर दिया $\vec{w_1}, \vec{w_2}, c$ ।

— shabbychef
स्रोत

अच्छा प्रश्न। क्या आपको इसका अंदाजा है

g

$g$ की तरह लगता है ? क्या यह चिकना है? यह कूदता है? कम से कम वर्ग के बजाय आपने अधिकतम संभावना की कोशिश की है (क्या आप इस कागज को जानते हैं projecteuclid.org/… ?)

— रॉबिन जिरार्ड

@robin girard: MLE प्रश्न 1 के लिए एक अच्छा विचार है। मुझे संदेह है कि गौसियन त्रुटियों के लिए, MLE मेरे तदर्थ न्यूनता के समान अनुमान देगा । से संबंधित

g

$g$ , जैसा कि मैंने उल्लेख किया है, हम मान सकते हैं कि यह सकारात्मक-मूल्यवान है और दो बार-अलग है। हम शायद मान लें कि यह उत्तल है, और शायद हम यह मान सकते हैं कि यह विश्लेषणात्मक है।

— shabbychef

के साथ थोड़ा और सामान्य संदर्भ में $Y$ एक $n$ के आयामी वेक्टर $y$ -संवाद (प्रतिक्रियाएँ या आश्रित चर), $X$ एक $n \times p$ का मैट्रिक्स $x$ -बॉक्सेशन (सहसंयोजक, या आश्रित चर) और $\theta = (\beta_1, \beta_2, \sigma)$ इस तरह के मापदंडों $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$ फिर ऋण-लॉग-संभावना है

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$ ओपी के प्रश्न में,

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$ के साथ विकर्ण है

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ इसलिए निर्धारक बनता है

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$ और परिणामस्वरूप घटा-लॉग-संभावना बन जाती है

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$ इस फ़ंक्शन के न्यूनतमकरण के दृष्टिकोण के कई तरीके हैं (तीन मापदंडों को स्वतंत्र मानते हुए भिन्नता है)।

आप एक मानक अनुकूलन एल्गोरिथ्म द्वारा समारोह को कम करने की कोशिश कर सकते हैं जो कि बाधा को याद करते हैं $\sigma > 0$ ।
आप की प्रोफाइल माइनस-लॉग-संभावना की गणना कर सकते हैं $(\beta_1, \beta_2)$ कम से कम करके $\sigma$ तय हो गया $(\beta_1, \beta_2)$ , और फिर परिणामी फ़ंक्शन को एक मानक अप्रतिबंधित अनुकूलन एल्गोरिथ्म में प्लग करें।
आप अलग-अलग तीनों मापदंडों में से प्रत्येक के अनुकूलन के बीच वैकल्पिक रूप से कर सकते हैं। पर अनुकूलन $\sigma$ पर अनुकूलन करके, विश्लेषणात्मक रूप से किया जा सकता है $\beta_1$ एक कम से कम वर्गों प्रतिगमन समस्या है, और अधिक अनुकूलन $\beta_2$ के साथ एक गामा सामान्यीकृत रैखिक मॉडल फिटिंग के बराबर है $g^2$ उलटा लिंक।

अंतिम सुझाव मुझे अपील करता है क्योंकि यह उन समाधानों पर बनाता है जिन्हें मैं पहले से ही अच्छी तरह से जानता हूं। इसके अलावा, पहला पुनरावृत्ति कुछ है जिसे मैं वैसे भी करने पर विचार करूंगा। यही है, पहले एक प्रारंभिक अनुमान की गणना करें $\beta_1$ साधारण कम से कम वर्गों द्वारा संभावित विषमता को अनदेखा करना, और फिर एक प्रारंभिक अनुमान प्राप्त करने के लिए वर्ग के अवशेषों में एक गामा चमक फिट करना $\beta_2$ $-$ बस यह जांचने के लिए कि क्या अधिक जटिल मॉडल सार्थक लगता है। कम से कम वर्गों के समाधान में हेटेरोसेडासिटी को शामिल करते हुए पुनरावृत्तियां तब अनुमान पर सुधार कर सकती हैं।

प्रश्न के दूसरे भाग के बारे में, मैं शायद रैखिक संयोजन के लिए एक आत्मविश्वास अंतराल की गणना करने पर विचार करूंगा $w_1^T\beta_1 + w_2^T\beta_2$ या तो मानक MLE एसिम्पटोटिक्स (सिमुलेशन के साथ जाँच करना कि असेम्पटिक्स काम करता है) या बूटस्ट्रैपिंग द्वारा।

संपादित करें: मानक MLE एसिम्पटोटिक्स द्वारा मेरा मतलब बहुराष्ट्रीय सामान्य सन्निकटन के साथ MLE के वितरण के लिए सहसंयोजक मैट्रिक्स के साथ उलटा फिशर जानकारी है। फिशर जानकारी परिभाषा के सहसंयोजक मैट्रिक्स की परिभाषा के अनुसार है $l$ । यह सामान्य तौर पर मापदंडों पर निर्भर करता है। यदि आप इस मात्रा के लिए एक विश्लेषणात्मक अभिव्यक्ति पा सकते हैं, तो आप MLE में प्लगिंग की कोशिश कर सकते हैं। विकल्प में, आप फिशर की जानकारी का अवलोकन फिशर जानकारी से कर सकते हैं, जो कि हेसियन है $l$ MLE में। आपकी रुचि का पैरामीटर दो में मापदंडों का एक रैखिक संयोजन है $\beta$ -वेक्टर, इसलिए MLE के अनुमानित मल्टीवेरेट से आप यहां वर्णित अनुमानी वितरण का एक सामान्य सन्निकटन पा सकते हैं । यह आपको एक अनुमानित मानक त्रुटि देता है और आप विश्वास अंतराल की गणना कर सकते हैं। यह कई (गणितीय) सांख्यिकी पुस्तकों में अच्छी तरह से वर्णित है, लेकिन एक यथोचित सुलभ प्रस्तुति जिसकी मैं सिफारिश कर सकता हूं, वह है यूडी पवितन द्वारा सभी संभावनाएं। वैसे भी, स्पर्शोन्मुख सिद्धांत की औपचारिक व्युत्पत्ति काफी जटिल है और कई नियमित स्थितियों पर निर्भर करती है, और यह केवल मान्य स्पर्शोन्मुखता देती हैवितरण। इसलिए, अगर संदेह में मैं हमेशा एक नए मॉडल के साथ कुछ सिमुलेशन करने के लिए जाँच करूंगा कि क्या मैं यथार्थवादी मापदंडों और नमूना आकारों के परिणामों पर भरोसा कर सकता हूं। सरल, गैर-पैरामीट्रिक बूटस्ट्रैपिंग जहां आप तीनों का नमूना लेते हैं $(y_i,x_i,z_i)$ प्रतिस्थापन के साथ सेट किए गए डेटा से, एक उपयोगी विकल्प हो सकता है यदि फिटिंग प्रक्रिया बहुत समय लेने वाली नहीं है।

— NRH
स्रोत

मानक MLE asymptotics क्या हैं ?

— shabbychef

@ शब्बीशेफ, देर हो चुकी थी। मैंने अधिक विस्तृत विवरण दिया है। ध्यान दें कि asymptotics सिद्धांत में काम करने के लिए जैसा कि मॉडल को सही करने की आवश्यकता है और अनुमानक MLE होना चाहिए। सामान्य आकलन कार्यों के ढांचे में अधिक सामान्य परिणाम प्राप्त किए जा सकते हैं और समीकरणों को देख सकते हैं, उदाहरण के लिए, किताब क्वैसी - लाइबिलिटी और ... हेडे द्वारा।

— एनआरएच