रिज प्रतिगमन की धारणाएं क्या हैं और उनका परीक्षण कैसे किया जाए?

Question

कई प्रतिगमन के लिए मानक मॉडल पर विचार करें जहां ε ~ एन ( 0 , σ 2 मैं

$$Y=X\beta+\varepsilon$$ , तो सामान्य, homoscedasticity और सभी पकड़ त्रुटियों की uncorrelatedness।$\varepsilon \sim \mathcal N(0, \sigma^2I_n)$

मान लीजिए कि हम के विकर्ण के सभी तत्वों के लिए एक ही छोटी राशि जोड़कर एक रिज प्रतिगमन करते हैं :$X$

$$\beta_\mathrm{ridge}=[X'X+kI]^{-1}X'Y$$

वहाँ के कुछ मूल्य हैं जिसके लिए रिज गुणांक OLS के द्वारा प्राप्त की तुलना में कम मतलब वर्ग त्रुटि है, हालांकि β r मैं घ जी ई का एक पक्षपाती आकलनकर्ता है β । प्रयोग में,$k$$\beta_\mathrm{ridge}$$\beta$ को क्रॉस-मान्यता द्वारा प्राप्त किया जाता है।$k$

यहाँ मेरा सवाल है: रिज मॉडल में अंतर्निहित धारणाएं क्या हैं?अधिक ठोस होने के लिए,

1. क्या रिज रिग्रेशन के साथ साधारण कम से कम वर्ग (OLS) की सभी मान्यताएँ मान्य हैं?

2. 1 सवाल है, करने के लिए हाँ हम homoscedasticity कैसे परीक्षण करने और का एक पक्षपाती आकलनकर्ता के साथ ऑटो सहसंबंध की कमी है, तो ?$\beta$

3. क्या रिज रेजिमेंट के तहत अन्य ओएलएस मान्यताओं (होमोसिस्टैसिटी और ऑटोकॉरेलेशन की कमी) के परीक्षण पर कोई काम है?

Comments

कृपया ध्यान दें कि ओएलएस का अनुमान नहीं है कि भविष्यवक्ता स्वतंत्र हैं। यह केवल कुछ विशेष समाधान विधियाँ या सूत्र हैं जो इस तरह की धारणाएँ बनाते हैं। क्या महत्व का है कि कैसे आप रिज प्रतिगमन गुणक का चयन है, इस बात का अनुमान नहीं पक्षपातपूर्ण हो सकता है। यदि उस गुणक को रिज ट्रेस का पता लगाकर चुना जाता है, तो आपके पास वास्तव में अनिश्चितताओं की मात्रा निर्धारित करने का कोई तरीका नहीं है, जो रैखिक प्रतिगमन सिद्धांत में औपचारिक नैदानिक ​​परीक्षणों के अधिकांश प्रश्नों को कहते हैं। यह मुझे पूछता है कि आप वास्तव में "रिज प्रतिगमन" से क्या मतलब है: आप वास्तव में इसके पैरामीटर का अनुमान कैसे लगा रहे हैं? $\beta$

— whuber

शायद मैं गलत हूँ, लेकिन कई प्रतिगमन के मानक मॉडल पर विचार । और अगर एक्स पूर्ण रैंक नहीं, एक गैर उलटी मैट्रिक्स को यह बढ़त है एक्स ' एक्स , विशेष रूप से एक्स के उच्च आयाम के मामले में मैं अपने प्रश्न संपादित किया है। धन्यवाद। $\beta_{OLS}=(X'X)^{-1}X'Y$$X$$X'X$

— अकविस

रैखिक प्रतिगमन पूरी तरह से संपार्श्विकता से निपट सकता है, जब तक कि यह "बहुत बड़ा" नहीं है।

— जोना

यह कई प्रतिगमन के लिए मॉडल नहीं है: यह कम से कम वर्गों के अनुमान को व्यक्त करने का केवल एक तरीका है। जब उलटी नहीं जा सकती, सामान्य समीकरण अभी भी समाधान है और (आमतौर पर) मॉडल को अभी भी अनन्य है फिट , जिसका अर्थ है यह अद्वितीय भविष्यवाणियों बना देता है। $X^\prime X$

— whuber

संबंधित: आंशिक कम से कम वर्गों (पीएलएस) प्रतिगमन की मॉडल धारणाएं ।

— अमीबा का कहना है कि मोनिका

Answer 1

एक क्या है एक सांख्यिकीय प्रक्रिया की एक धारणा ?

मैं एक सांख्यिकीविद् नहीं हूं और इसलिए यह गलत हो सकता है, लेकिन मुझे लगता है कि "धारणा" शब्द अक्सर काफी अनौपचारिक रूप से उपयोग किया जाता है और विभिन्न चीजों को संदर्भित कर सकता है। मेरे लिए, एक "धारणा" है, सख्ती से बोलना, कुछ ऐसा जो केवल एक सैद्धांतिक परिणाम (प्रमेय) हो सकता है।

जब लोग रैखिक प्रतिगमन की मान्यताओं के बारे में बात करते हैं ( एक गहन चर्चा के लिए यहां देखें ), वे आमतौर पर गॉस-मार्कोव प्रमेय का उल्लेख कर रहे हैं जो कहते हैं कि मान्यताओं के तहत असंबद्ध, समान-विचरण, शून्य-मतलब त्रुटियों की के , OLS अनुमान BLUE है , यानी निष्पक्ष और न्यूनतम विचरण है। गॉस-मार्कोव प्रमेय के संदर्भ के बाहर, यह मेरे लिए स्पष्ट नहीं है कि "प्रतिगमन धारणा" का क्या अर्थ होगा।

इसी तरह, एक, टी-सैंपल टी-टेस्ट की मान्यताओं के तहत मान्यताओं का उल्लेख है $t$$t$$n$$t$$t$$n-1$

दंडित प्रतिगमन तकनीकों की मान्यताओं

अब किसी भी रेगुलराइज़्ड रिग्रेशन तकनीक पर विचार करें: रिज रिग्रेशन, लासो, इलास्टिक नेट, प्रिंसिपल कंपोनेंट्स रिग्रेशन, आंशिक कम से कम वर्ग रिग्रेशन इत्यादि इत्यादि। इन तरीकों का पूरा बिंदु रिग्रेशन मापदंडों का एक पक्षपाती अनुमान लगाना है, और उम्मीद कम करने की उम्मीद है। पक्षपात-विचरण व्यापार बंद करके हानि।

$\hat \beta$

$\hat \beta$

लेकिन उस गणितीय परिणाम के बारे में जो रिज प्रतिगमन हमेशा OLS धड़कता है?

$\lambda$$\beta$$\lambda$

इस परिणाम को वास्तव में किसी भी धारणा की आवश्यकता नहीं होती है और यह हमेशा सच होता है, लेकिन यह दावा करना अजीब होगा कि रिज प्रतिगमन की कोई धारणा नहीं है।

ठीक है, लेकिन मुझे कैसे पता चलेगा कि मैं रिज प्रतिगमन को लागू कर सकता हूं या नहीं?

मैं कहूंगा कि भले ही हम मान्यताओं की बात नहीं कर सकते, हम अंगूठे के नियमों के बारे में बात कर सकते हैं । यह सर्वविदित है कि सहसंबंधित भविष्यवक्ताओं के साथ कई प्रतिगमन के मामले में रिज प्रतिगमन सबसे अधिक उपयोगी होता है। यह सर्वविदित है कि यह ओएलएस से बेहतर प्रदर्शन करता है, अक्सर बड़े अंतर से। यह विषमलैंगिकता, सहसंबद्ध त्रुटियों, या जो कुछ भी है, के मामले में भी इसे बेहतर बना देगा। तो अंगूठे का सरल नियम कहता है कि यदि आपके पास मल्टीकोलिनर डेटा है, रिज रिग्रेशन और क्रॉस-वैरिडेशन एक अच्छा विचार है।

संभवतः व्यापार के अंगूठे और चाल के अन्य उपयोगी नियम हैं (जैसे कि सकल आउटलेर्स के साथ क्या करना है)। लेकिन वे धारणाएं नहीं हैं।

$p$$p$

Comments

उस स्थिति में जहां कोई किसी प्रक्रिया के संबंध में अनुमान के गुणों को प्राप्त कर रहा है, चाहे वह एक प्रतिगमन ढलान की परिकल्पना परीक्षण के गुण हो या एक आत्मविश्वास अंतराल के गुण या एक भविष्यवाणी अंतराल, उदाहरण के लिए, परीक्षण स्वयं किसी तरह के तहत प्राप्त होंगे। मान्यताओं का सेट। चूंकि कई विषय क्षेत्रों में अब तक प्रतिगमन का उपयोग करने का सबसे आम उद्देश्य किसी प्रकार का निष्कासन करना है (वास्तव में, कुछ अनुप्रयोग क्षेत्रों में इसे शायद ही किसी अन्य कारण से किया जाता है), जो अनुमान हीनता की प्रक्रिया के लिए किए जाते हैं वे स्वाभाविक रूप से जुड़े होते हैं साथ ... ctd

— Glen_b -Reinstate मोनिका

ctd ... जिस चीज का वे उपयोग कर रहे हैं। इसलिए यदि आपको एक प्रतिगमन गुणांक के परीक्षण के लिए या आंशिक एफ परीक्षण के लिए या मीन के लिए एक CI या एक भविष्यवाणी अंतराल के लिए एक टी-परीक्षण प्राप्त करने के लिए कुछ मान्यताओं की आवश्यकता है ... और निष्कर्ष के सामान्य रूप सभी समान या लगभग एक ही बनाते हैं। मान्यताओं का एक ही संग्रह है, तो उन लोगों को यथोचित माना जाएगा कि उस चीज़ का उपयोग करके प्रदर्शन करने से संबंधित धारणाएं हैं। अगर किसी को रिज रिग्रेशन (एक भविष्यवाणी अंतराल कहो) के साथ कोई भी प्रदर्शन करना है और ऐसा करने के लिए धारणा बनाता है, तो समान रूप से उन मान्यताओं को कहा जा सकता है ... ctd

— Glen_b -Reinstate Monica

प्राप्त करने के लिए सक्षम होने की जरूरत है (और संभवतः, फिर, का उपयोग करने के लिए) रिज ​​प्रतिगमन पर उस विशेष प्रकार का अनुमान।

— Glen_b -Reinstate मोनिका

$R^2$

बहुत देर नहीं हुई मुझे आशा है कि @amoeba धन्यवाद। बहुत बढ़िया जवाब!

— अक्विव्स

Answer 2

मैं आंकड़े के परिप्रेक्ष्य से कुछ इनपुट प्रदान करना चाहूंगा। यदि Y ~ N (Xb, sigma2 * In) है, तो b ^ का माध्य वर्ग त्रुटि है

MSE(b^)=E(b^-b).T*(b^-b)=E(|b^-b|^2)=sigma2*trace(inv(X.T*X))

D(|b^-b|^2)=2*sigma4*trace((X.T*X)^(-2))

b^=inv(X.T*X)*X.T*Y

यदि XT X लगभग शून्य है, तो inv (XT X) बहुत बड़ा होगा। तो b का पैरामीटर अनुमान स्थिर नहीं है और इसमें निम्न समस्या हो सकती है।

1. पैरामीटर अनुमान का कुछ निरपेक्ष मूल्य बहुत बड़ा है
2. b में अपेक्षा से विपरीत सकारात्मक या नकारात्मक चिन्ह है।
3. चर या अवलोकन जोड़ने या हटाने से पैरामीटर का अनुमान नाटकीय रूप से बदल जाएगा।

B को स्थिर रखने के लिए कम से कम चौकोर अनुमान बनाने के लिए, हम अनुमान लगाकर रिज रिग्रेशन का परिचय b^(k)=inv(X.T*X+kI)*X.T*Y.देते हैं और हम यह साबित कर सकते हैं कि हमेशा ak है जो माध्य वर्ग की त्रुटि करता है

MSE(b^(k)) < MSE(b^).

मशीन लर्निंग में, रिज रिग्रेशन को L2 नियमितीकरण कहा जाता है और यह कई विशेषताओं के कारण होने वाली ओवर-फिटिंग समस्याओं से निपटने के लिए है।