क्यों सूचना मानदंड (समायोजित नहीं)

9

समय श्रृंखला में मॉडल, जैसे एआरएमए-जीएआरसीएच, मॉडल के उपयुक्त अंतराल या आदेश का चयन करने के लिए एआईसी, बीआईसी, एसआईसी आदि जैसे विभिन्न सूचना मानदंडों का उपयोग किया जाता है।

मेरा सवाल बहुत ही सरल है, क्यों हम समायोजित का उपयोग नहीं करते हैं $R^2$ उपयुक्त मॉडल का चयन करने के लिए हम मॉडल का चयन कर सकते हैं जो समायोजित के उच्च मूल्य को जन्म देता है $R^2$ । क्योंकि दोनों में तालमेल था $R^2$ और सूचना मानदंड मॉडल में रजिस्टरों की अतिरिक्त संख्या के लिए दंडित करता है, जहां पूर्व दंड देते हैं $R^2$ और बाद में संभावना मान को दंडित करते हैं।

— नीरज
स्रोत

मुझे उत्तर में (नीचे) कुछ याद आ रहा है, लेकिन आर-वर्ग और साथ ही समायोजित आर-वर्ग ओएलएस अनुमानित मॉडल के अपेक्षाकृत सीमित वर्ग के लिए उपयुक्त हैं जबकि एआईसी, बीआईसी, आदि सामान्यीकृत रैखिक के व्यापक वर्ग के लिए उपयुक्त हैं। मॉडल का अनुमान है, शायद, एमएल या एक प्रकार के साथ।

— माइक हंटर

12

मैं तर्क देता हूं कि कम से कम जब रैखिक मॉडल (जैसे एआर मॉडल) पर चर्चा की जाती है, तो समायोजित किया जाता है $R^2$ और AIC अलग नहीं हैं।

इस सवाल पर विचार करें कि क्या $X_2$ में शामिल किया जाना चाहिए

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$ यह मॉडल की तुलना करने के बराबर है

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$ कहाँ पे

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$ । हम कहते हैं कि

M_{2}

$\mathcal{M}_2$ है सच मॉडल अगर

β_{2} \neq 0

$\beta_2\neq0$ । नोटिस जो

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$ । इस प्रकार मॉडल नेस्टेड होते हैं । एक मॉडल चयन प्रक्रिया

\hat{M}

$\widehat{\mathcal{M}}$ एक डेटा-निर्भर नियम है जो कई मॉडलों के सबसे प्रशंसनीय का चयन करता है।

हम कहते है $\widehat{\mathcal{M}}$ है संगत करता है, तो

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

समायोजित पर विचार करें । अर्थात्, if । जैसा कि में नीरस रूप से घट रहा है , यह प्रक्रिया को कम करने के बराबर है । बदले में, यह न्यूनतम बराबर है । पर्याप्त रूप से बड़े , बाद वाले को रूप में लिखा जा सकता है। जहां $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ त्रुटि विचरण के एमएल अनुमानक है। इसलिए आधार पर मॉडल चयन इसलिए सबसे छोटा साथ मॉडल चुनने के लिए समान रूप से समान है । यह प्रक्रिया असंगत है।

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

प्रस्ताव :

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

सबूत : जहां 2-से-अंतिम पंक्ति इस प्रकार है क्योंकि सांख्यिकीय रेखीय प्रतिगमन मामले में LR आँकड़ा है जो एक स्पर्शोन्मुख अनुसरण करता है अशक्त वितरण। QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

अब Akaike की कसौटी पर विचार करें, इस प्रकार, AIC SSR की कटौती को बंद कर देता है, जो अतिरिक्त जुर्माना के लिए "जुर्माना" शब्द के विरुद्ध है। , “जो विपरीत दिशा में इंगित करता है। इस प्रकार, यदि , तो चुनें, अन्यथा ।

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

यह देखा जा सकता है कि तीनों को साथ उपरोक्त प्रमाण को जारी रखकर भी असंगत है। । समायोजित और इस प्रकार सकारात्मक संभावना के साथ "बड़े" मॉडल चयन करते हैं , भले ही ही सही मॉडल हो। $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

चूंकि AIC में जटिलता के लिए दंड समायोजित तुलना में थोड़ा बड़ा है , हालांकि यह ओवरसाइज़ के लिए कम प्रवण हो सकता है, हालाँकि। और इसमें अन्य अच्छे गुण हैं (केएल विचलन को कम करने के लिए सही मॉडल अगर यह माना जाता है कि मॉडल के सेट में नहीं है) जो मेरे पोस्ट में संबोधित नहीं हैं। $R^2$

— क्रिस्टोफ़ हांक
स्रोत

1

महान जवाब: बहुत भारी नहीं है, लेकिन अभी भी सटीक है! अगर यह कल होता, तो मैं अपना पोस्ट नहीं करता।

— रिचर्ड हार्डी

ARMA-GARCH मामले के बारे में क्या? एम और गार्च शर्तों का चयन करते समय कैसे करेंगे ?

R_{a d j}^{2}

$R^2_{adj}$

— ज़ाचरी ब्लुमेनफ़ेल्ड

मैं कहने की हिम्मत नहीं करूंगा। जैसा कि आप समझाते हैं कि यह भी स्पष्ट नहीं है कि ऐसे मॉडल के फिट होने के लिए आर 2 का क्या मतलब है।

— क्रिस्टोफ़ हनक

5

में जुर्माना मॉडल चयन के मामले में अच्छी संपत्ति नहीं देता है जैसा कि AIC या BIC द्वारा दिया गया है। में दंड बनाने के लिए पर्याप्त है आबादी का एक निष्पक्ष आकलनकर्ता regressors में से कोई भी वास्तव में (मॉडल के अंतर्गत आता है जब प्रति डेव जाइल्स 'ब्लॉग पोस्ट के रूप में "में क्या नब्ज "एडजस्टेड" आर-स्क्वेर अनबाइंड? " और " एडजस्टेड "गुणांक ऑफ डिटरमिनेशन" के गुणों पर अधिक ); हालाँकि, एक इष्टतम मॉडल चयनकर्ता नहीं है। $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

(विरोधाभास द्वारा एक प्रमाण हो सकता है: यदि AIC एक अर्थ में इष्टतम है और BIC दूसरे में इष्टतम है, और उनमें से किसी के बराबर नहीं है, तो या तो इष्टतम नहीं है इन दो इंद्रियों के) $R^2_{adj}$ $R^2_{adj}$

— रिचर्ड हार्डी
स्रोत

बढ़ने से पहले मुझे कितने GARCH पैरामीटर जोड़ने होंगे ? :) .... मेरा मानना है कि सहसंबद्ध त्रुटियों (एक एमए मॉडल के रूप में) की धारणा के लिए एक समान तर्क दिया जा सकता है, एक जीएलएस मॉडल सामान्य से कम वर्गों पर वर्ग के अवशेषों के योग को कम नहीं करता है। दोनों एमए और गार्च में, पैरामीटर (व्याख्यात्मक चर नहीं, जिसे लिए समायोजित किया जाता है) मॉडल में जोड़ा जाता है। को कम करने के लिए एमए और गार्च के मापदंडों को नहीं जोड़ा जाता है , बल्कि वे संभावना में वृद्धि करने के लिए जोड़ दिए जाते हैं और / या आईआईडी त्रुटि शर्तों की कमी को प्रतिबिंबित करने के लिए चुकता अवशिष्टों की एक भारित राशि घट जाती है ।

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— ज़ाचरी ब्लुमेनफेल्ड

क्या यह वास्तव में मूल पोस्ट या मेरे उत्तर को संबोधित करता है? किसी भी मामले में, मैं आपकी बातों से सहमत हूं।

— रिचर्ड हार्डी

क्या मैं बाहर बात करने के लिए कोशिश कर रहा था यह है कि वास्तव में GARCH घटकों पर (और संभवतः एमए घटक भी) का चयन करने के बाद से यह के अंश पर आधारित है नहीं किया जा सकता से अधिक जो आकलनकर्ता पक्षपाती रहे हैं भिन्नता जब त्रुटि शब्द iid नहीं हैं। (यह पूर्वाग्रह का एक विशिष्ट मामला है जहां आप बात कर रहे हैं)। ARMA-GARCH के मामले में, आप कभी भी GARCH घटकों के साथ एक मॉडल का चयन नहीं करेंगे, भले ही डेटा में स्टोकैस्टिक अस्थिरता हो, क्योंकि यह वृद्धि नहीं करता है । मूल रूप से, मैं विशिष्ट उदाहरण देने की कोशिश करके आपसे सहमत हूं।

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— ज़ाचरी ब्लुमेनफेल्ड