रिज रिग्रेशन का AIC: स्वतंत्रता बनाम मापदंडों की संख्या

Question

मैं एक रिज प्रतिगमन मॉडल के एआईसीसी की गणना करना चाहता हूं। समस्या मापदंडों की संख्या है। रैखिक प्रतिगमन के लिए, ज्यादातर लोग सुझाव देते हैं कि मापदंडों की संख्या अनुमानित गुणांक प्लस सिग्मा (त्रुटि का विचरण) की संख्या के बराबर होती है।

जब रिज रिग्रेशन की बात आती है तो मैंने पढ़ा है कि टोपी मैट्रिक्स का पता लगाने - स्वतंत्रता की डिग्री (डीएफ) - को एआईसी फॉर्मूला (जैसे यहां या यहां ) में पैरामीटर टर्म की संख्या के रूप में उपयोग किया जाता है ।

क्या ये सही है? क्या मैं भी एआईसीसी की गणना करने के लिए डीएफ का उपयोग कर सकता हूं? क्या मैं त्रुटि विचरण के लिए खाते में केवल +1 जोड़ सकता हूं?

Comments

मुझे यह सवाल पसंद है क्योंकि एआईसीसी के लिए सामान्य इनपुट आरएसएस, के और एन हैं - लेकिन यह समान मापदंडों के लिए कम से कम त्रुटि वाले मॉडल पर मजबूत मॉडल का चयन नहीं करता है। यदि आप उम्मीदवार मॉडल के लिए एक ही फिट दृष्टिकोण का उपयोग करते हैं, और आप एक ही डेटा पर फिटिंग कर रहे हैं, तो मॉडल-चयन मॉडल चयन है। मुझे यह सवाल पसंद है कि आप एक ही मॉडल और डेटा के साथ सूचना-सिद्धांत को सबसे अच्छा कैसे मापते हैं, लेकिन विभिन्न फिट प्रकारों जैसे कि कम से कम चुकता त्रुटि और ह्यूबर नुकसान का उपयोग करना।

— EngrStudent

@EngrStudent, सिर्फ एक छोटा सा नोट: RSS सामान्य संभावना का एक विशेष मामला है। जब एक अलग (गैर-असामान्य) वितरण ग्रहण किया जाता है, तो एआईसी में आरएसएस नहीं होगा, बल्कि मॉडल की लॉग-लाइबिलिटी होगी। इसके अलावा, फिट प्रकार : क्या आपको नुकसान कार्यों का मतलब है जिसके द्वारा मॉडल का मूल्यांकन किया जाता है या मॉडल को फिट करने के लिए उपयोग किया जाने वाला नुकसान फ़ंक्शन, या अभी तक कुछ और है?

— रिचर्ड हार्डी

देखें: web.mit.edu/lrosasco/www/publications/model_focm.pdf

— kjetil b halvorsen

@ रीचर्डहार्डी - आप सामान्य संभावना के बारे में सही हैं! व्यवहार में केंद्रीय सीमा प्रमेय का अधिक उपयोग हो जाता है। इस मामले में इसका मतलब वही था जब मैंने कहा कि "फिट फंक्शन" और आप कहते हैं "लॉस फंक्शन"। मुझे लगता है कि छद्म आक्रमणकारियों के संदर्भ में सबसे कम वर्ग पहले और त्रुटि मीट्रिक दूसरे हैं। यह मेरे विचार और संचार प्रक्रियाओं में एक "सीखने का क्रम" है।

— EngrStudent 14

@EngrStudent, धन्यवाद। यह भी ध्यान दें कि मैंने एक हानि फ़ंक्शन के लिए दो उपयोगों की पेशकश की: फिटिंग (अनुभवजन्य उद्देश्य फ़ंक्शन जिसमें से एक अनुमानक प्राप्त होता है) और मूल्यांकन (सैद्धांतिक उद्देश्य फ़ंक्शन जिसे हम अनुकूलन करना चाहते हैं)।

— रिचर्ड हार्डी

Answer 1

एआईसी और रिज रिग्रेशन को कुछ मान्यताओं के अनुकूल बना दिया जा सकता है। हालांकि, रिज प्रतिगमन के लिए एक संकोचन चुनने की कोई एकल विधि नहीं है, इस प्रकार एआईसी को इसे लागू करने की कोई सामान्य विधि नहीं है। रिज प्रतिगमन तिखोनोव नियमितीकरण का एक सबसेट है । कई मानदंड है कि टिकोनोव नियमितीकरण, उदाहरण के लिए चौरसाई कारकों का चयन करने के लिए लागू किया जा सकता है, को देखने के लिए इस । उस संदर्भ में एआईसी का उपयोग करने के लिए, एक पेपर होता है जो विशिष्ट विशिष्ट धारणा बनाता है कि कैसे उस नियमितीकरण को किया जाए, बीमार जटिल उलटा समस्याओं के समाधान के लिए सूचना जटिलता-आधारित नियमितीकरण पैरामीटर चयन किया जाए । विशिष्ट रूप में, यह मानता है

"एक सांख्यिकीय ढांचे में, ... नियमितीकरण पैरामीटर α का मान चुनना , और अधिकतम दंडित संभावना (एमपीएल) विधि का उपयोग करके .... यदि हम विचरण साथ असंबद्ध गौसियन शोर पर विचार करते हैं और पेनल्टी उपयोग करते हैं। एक जटिल मानदंड, ऊपर लिंक देखें , MPL समाधान Tikhonov (1963) नियमित समाधान के समान है। "$\sigma ^2$$p(x) =$

सवाल तो यह हो जाता है कि क्या उन धारणाओं को बनाया जाना चाहिए? आजादी की डिग्री का सवाल यह है कि AIC और रिज रिग्रेशन का उपयोग सुसंगत संदर्भ में किया जाता है या नहीं। मैं विवरण के लिए लिंक पढ़ने का सुझाव दूंगा। मैं सवाल को टाल नहीं रहा हूं, यह सिर्फ इतना है कि एक रिज लक्ष्य के रूप में बहुत सारी चीजों का उपयोग किया जा सकता है, उदाहरण के लिए, कोई एआई को अनुकूलित करने वाले चौरसाई कारक का उपयोग कर सकता है । तो, एक अच्छा सवाल दूसरे का हकदार है, "रिज संदर्भ में एआईसी के साथ परेशान क्यों?" कुछ रिज प्रतिगमन संदर्भों में, यह देखना मुश्किल है कि एआईसी को प्रासंगिक कैसे बनाया जा सकता है। उदाहरण के लिए, रिज प्रतिगमन आदेश सापेक्ष कम करने के लिए लागू किया गया है त्रुटि प्रचार के , कि है, मिनट$b$$\left [ \dfrac{\text{SD}(b)}{b}\right ]$ द्वारा दिया गया गामा वितरण (GD)

$$\text{GD}(t; a,b) = \,\dfrac{1}{t}\;\dfrac{e^{-b \, t}(b \, t)^{\,a} }{\Gamma (a)} \;\; \;;\hspace{2em}t\geq 0 \;\; \;\;,\\ %\tabularnewline$$

इस कागज के अनुसार । विशेष रूप से, इस कठिनाई पैदा होती है क्योंकि है कि कागज में, यह प्रभाव में है,, एक रिया यू nder समय सी urve (एयूसी) कि अनुकूलित है, और नहीं अधिकतम संभावना की भलाई के (एमएल) मापा गया समय-नमूनों के बीच। स्पष्ट होने के लिए, ऐसा इसलिए किया जाता है क्योंकि एयूसी एक बीमार-अभिन्न अभिन्न अंग है और, अन्यथा, उदाहरण के लिए, एमएल का उपयोग करते हुए, गामा वितरण फिट में मजबूती की कमी होगी। इस प्रकार, उस विशेष अनुप्रयोग के लिए, अधिकतम-संभावना, इस प्रकार एआईसी, वास्तव में अप्रासंगिक है। (यह कहा जाता है कि एआईसी का उपयोग भविष्यवाणी और बीआईसी के लिए अच्छाई-फिट के लिए किया जाता है। हालांकि, भविष्यवाणी और अच्छाई-फिट दोनों केवल अप्रत्यक्ष रूप से एयूसी के एक मजबूत माप से संबंधित हैं।)$[0,\infty)$[ टी १ , टी एन ]$[t_1,t_n]$

प्रश्न के उत्तर के लिए , प्रश्न पाठ में पहला संदर्भ कहता है कि "मुख्य बिंदु यह ध्यान रखना है कि [ Sic , प्रभावी संख्या के साथ [ Sic , चौरसाई कारक] का घटता कार्य है। मापदंडों के नीचे हैट मैट्रिक्स के निशान देखें] और at । " जिसका अर्थ है कि , मापदण्डों की संख्या का अनुमान लगाने वाली संख्याओं की संख्या के बराबर होता है, जब कोई चौरसाई नहीं होती है जो तब भी होती है जब प्रतिगमन सामान्य से कम वर्ग के समान होता है और घटता नहीं$df$$\lambda$$df = p$$\lambda = 0$$df = 0$$\lambda=\infty$$df$$df$ चौरसाई कारक के रूप में को बढ़ाता है । ध्यान दें कि फिट को अनंत रूप से चौरसाई करने के लिए, एक सपाट रेखा चाहे जो भी हो, घनत्व फ़ंक्शन फिट हो रहा है। अंत में, कि की सटीक संख्या$\infty$$df$ एक फ़ंक्शन है।

$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$$\lambda_i$$X^{\text{T}} X$$df$