नियमितीकरण के तरीकों पर सबसे महत्वपूर्ण "शुरुआती कागजात" क्या हैं?

Question

कई उत्तरों में मैंने देखा है कि CrossValidated उपयोगकर्ता ओपी को लस्सो, रिज और इलास्टिक नेट पर शुरुआती कागजात खोजने का सुझाव देते हैं।

पश्चात के लिए, लास्सो, रिज और इलास्टिक नेट पर सेमिनल क्या हैं?

Answer 1

चूंकि आप केवल संदर्भों की तलाश कर रहे हैं, यहां सूची है:

1. तिखोनोव, एंड्री निकोलायेविच (1943)। "Об устойчивости обратных задач" [समस्याओं की स्थिरता पर]। डोकलाडी एकेडमी Nauk SSSR। 39 (5): 195-198।
2. तिखोनोव, एएन (1963)। "О решении некорректно поставленных задач и методе регуляризации"। डोकलाडी एकेडमी Nauk SSSR। 151: 501–504 .. "गलत रूप से तैयार की गई समस्याओं का समाधान और नियमितिकरण विधि" में अनुवादित। सोवियत गणित। 4: 1035–1038।
3. होएरल एई, 1962, रिग्रेशन समस्याओं के लिए रिज विश्लेषण का अनुप्रयोग, केमिकल इंजीनियरिंग प्रगति, 1958, 54-59।
4. आर्थर ई। होर्ल; रॉबर्ट डब्ल्यू। केनार्ड (1970)। "रिज रिग्रेशन: अपरंपरागत समस्याओं के लिए बायस्ड अनुमान"। Technometrics। 12 (1): 55-67। डोई: 10.2307 / 1,267,351। https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. टिबशिरानी, ​​रॉबर्ट (1996)। "रिग्रेशन श्रिंकेज एंड सेलेक्शन द लास्सो" (पोस्टस्क्रिप्ट)। रॉयल स्टैटिस्टिकल सोसाइटी जर्नल, श्रृंखला बी ५ ((१): २६8-२ Society Society। MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. ज़ो, एच। और हस्ती, टी। (2005)। लोचदार जाल के माध्यम से नियमितीकरण और चर चयन। रॉयल स्टैटिस्टिकल सोसाइटी जर्नल, श्रृंखला बी। 67: पीपी। 301–320 https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Answer 2

एक ऐतिहासिक रूप से महत्वपूर्ण कागज़, जिस पर मेरा मानना ​​है कि पहले यह अनुमान लगाया गया था कि पूर्वाग्रह के अनुमानक साधारण रेखीय मॉडल के लिए बेहतर अनुमान लगा सकते हैं:

• स्टीन, सी।, 1956, जनवरी। बहुभिन्नरूपी सामान्य वितरण के लिए सामान्य अनुमानक की असावधानी। गणितीय सांख्यिकी और संभाव्यता पर तीसरे बर्कले संगोष्ठी की कार्यवाही में (खंड 1, संख्या 399, पीपी। 197-206)।

कुछ और आधुनिक और महत्वपूर्ण दंडों में SCAD और MCP शामिल हैं:

• फैन, जे और ली, आर।, 2001. नॉनकांकेव के माध्यम से परिवर्तनीय चयन ने संभावना और इसके अलंकृत गुणों को दंडित किया। जर्नल ऑफ़ द अमेरिकन स्टेटिस्टिकल एसोसिएशन, 96 (456), पीपी.1348-1360।
• झांग, सीएच, 2010. मिनिमेक्स अवतल दंड के तहत लगभग निष्पक्ष रूप से परिवर्तनीय चयन। आंकड़ों के इतिहास, 38 (2), पीपी.894-942।

और इन तरीकों का उपयोग करके अनुमान प्राप्त करने के लिए बहुत अच्छे एल्गोरिदम पर कुछ और:

• बायरेनी, पी। और हुआंग, जे।, 2011. गैर-अनुवांशिक दंडित प्रतिगमन के लिए समन्वित वंश एल्गोरिदम, जैविक विशेषता चयन के लिए अनुप्रयोगों के साथ। लागू आंकड़ों की व्याख्या, 5 (1), पी .232।
• मजुमदार, आर।, फ्रीडमैन, जेएच और हस्ती, टी।, 2011. स्पार्सनेट: नॉनवॉवेक्स दंड के साथ कोऑर्डिनेट वंश। जर्नल ऑफ़ द अमेरिकन स्टैटिस्टिकल एसोसिएशन, 106 (495), पीपी.1125-1138।

यह देखने लायक भी है कि यह पेपर डैंटज़िग चयनकर्ता पर है जो कि LASSO से बहुत निकट से संबंधित है, लेकिन (मेरा मानना ​​है) यह सांख्यिकीय अनुमानकों के लिए अलौकिक असमानताओं के विचार का परिचय देता है जो एक बहुत शक्तिशाली विचार हैं

• मोमबत्तियाँ, ई। और ताओ, टी।, 2007। दांट्ज़िग चयनकर्ता: सांख्यिकीय अनुमान जब पी n से बहुत बड़ा है। सांख्यिकी के इतिहास, pp.2313-2351।