LASSO वैरिएबल चयन के बाद OLS करना कैसे समझ में आता है?

20

हाल ही में मैंने पाया है कि लागू अर्थमिति साहित्य में, सुविधा चयन समस्याओं से निपटने के दौरान, चयनित चर का उपयोग करके ओएलएस प्रतिगमन के बाद LASSO प्रदर्शन करना असामान्य नहीं है।

मैं सोच रहा था कि हम इस तरह की प्रक्रिया की वैधता कैसे प्राप्त कर सकते हैं। क्या यह छोड़े गए चर जैसे परेशानी का कारण होगा? कोई सबूत दिखा रहा है कि यह अधिक कुशल है, या परिणाम अधिक व्याख्यात्मक हैं?

यहाँ कुछ संबंधित चर्चाएँ हैं:

LASSO के साथ परिवर्तनीय चयन

Lasso / Random का उपयोग करके परिवर्तनशील चयन के बाद पेड़ों का उपयोग करना

यदि, जैसा कि बताया गया है, इस तरह की प्रक्रिया सामान्य रूप से सही नहीं है, तो अभी भी इतने सारे शोध क्यों हो रहे हैं? क्या मैं कह सकता हूं कि यह केवल अंगूठे का एक नियम है, एक समझौता समाधान, LASSO आकलनकर्ता की कुछ असहज गुणों और OLS के प्रति लोगों के शौक के कारण?

— ZLIU
स्रोत

क्या आप बता सकते हैं कि LASSO के प्रदर्शन के बाद "OLS प्रतिगमन" करने का क्या मतलब है? क्या, विशेष रूप से, यह ओएलएस कदम यह अनुमान लगाने का प्रयास है कि एलएएसओ ने अनुमान नहीं लगाया है?

— whuber

2

विषय पर हाल ही में काम करने वाले कुछ कागजात हैं। कई लोगों को इस धारणा की आवश्यकता होती है कि वैध चर का सेट विरल है। यदि वह धारणा धारण नहीं करती है, तो हाँ छोड़े गए चर पूर्वाग्रह उपस्थित होंगे। और लोग ओएलएस को पसंद करते हैं क्योंकि वे सीमों को नमूना सीमांत प्रभावों के निष्पक्ष रूप से व्याख्या करना चाहते हैं। उस प्रतिमान में अर्थमिति काफी फंस गई है।

— जेनेरिक_युसर

4

में इस हाल LASSO किताब (नि: शुल्क ऑनलाइन), खंड 11.4 प्रकट होता है इस मुद्दे के समाधान के लिए। मैंने इसे विस्तार से नहीं पढ़ा है, लेकिन परिचय यह कहते हुए समाप्त होता है कि "[एक LASSO अनुमान] जो सही ढंग से के समर्थन को प्राप्त करता है , हम अनुमान लगा सकते हैं कि" बहुत अच्छी तरह से ... केवल इस सबसेट के लिए प्रतिबंधित एक साधारण न्यूनतम-वर्ग प्रतिगमन प्रदर्शन करके। "

\hat{β}

$\hat{\beta}$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

— जियोमैट 22

12

कुछ दिन पहले भी इसी तरह का प्रश्न था, जिसका प्रासंगिक संदर्भ था:

बेलोनी, ए।, चेर्नोज़ोउकोव, वी।, और हैनसेन, सी। (2014) "उच्च-आयामी नियंत्रणों के बीच चयन के बाद उपचार के प्रभाव पर इंजेक्शन", आर्थिक अध्ययन की समीक्षा, 81 (2), पीपी 608-50 ( लिंक )

कम से कम मेरे लिए पेपर काफी कठिन पढ़ा गया है क्योंकि इस अपेक्षाकृत सरल के पीछे के प्रमाण काफी विस्तृत हैं। जब आप की तरह एक मॉडल का आकलन कर रहे हैं में रुचि रखने वाले

y_{मैं} = α {टी}_{मैं} + {एक्स}_{मैं}^{'} β + ε_{मैं}

$y_i = \alpha T_i + X_i'\beta + \epsilon_i$

जहां आपका परिणाम है, ब्याज के कुछ उपचार प्रभाव है, और संभावित नियंत्रणों का एक वेक्टर है। लक्ष्य पैरामीटर । यह मानते हुए कि आपके परिणाम में अधिकांश भिन्नता उपचार और नियंत्रण के विरल सेट, बेलोनी एट अल द्वारा बताई गई है। (2014) एक डबल-सलेक्ट सलेक्शन मेथड विकसित करता है जो सही पॉइंट एस्टीमेट और वैलिड कॉन्फिडेंस इंटरवल प्रदान करता है। यह विरलता हालांकि महत्वपूर्ण है। $y_i$ $T_i$ $X_i$ $\alpha$

यदि के कुछ महत्वपूर्ण predictors शामिल लेकिन आप नहीं जानते कि जो वे (एकल चर, उनके उच्च आदेश बहुआयामी पद, या अन्य चर के साथ बातचीत या तो) कर रहे हैं, तो आप एक तीन कदम चयन प्रक्रिया का प्रदर्शन कर सकते हैं: $X_i$ $y_i$

$y_i$ $X_i$
$T_i$ $X_i$
$y_i$ $T_i$

वे इस बात के प्रमाण देते हैं कि यह काम क्यों करता है और आपको इस पद्धति से सही आत्मविश्वास अंतराल आदि क्यों मिलते हैं। वे यह भी दिखाते हैं कि यदि आप केवल उपरोक्त प्रतिगमन पर एक LASSO चयन करते हैं और फिर उपचार पर परिणाम और चयनित चर को गलत बिंदु अनुमान और झूठे विश्वास अंतराल प्राप्त करते हैं, जैसे कि ब्योर्न ने पहले ही कहा था।

ऐसा करने का उद्देश्य दो गुना है: अपने शुरुआती मॉडल की तुलना करना, जहां चर चयन को अंतर्ज्ञान या सिद्धांत द्वारा निर्देशित किया गया था, दोहरे-मजबूत चयन मॉडल से आपको यह पता चलता है कि आपका पहला मॉडल कितना अच्छा था। शायद आपका पहला मॉडल कुछ महत्वपूर्ण वर्ग या इंटरैक्शन की शर्तों को भूल गया और इस तरह से गलत तरीके से छोड़े गए कार्यात्मक रूप या छोड़े गए चर से ग्रस्त है। दूसरे, बेलोनी एट अल। (2014) विधि आपके लक्ष्य पैरामीटर पर अनुमान को सुधार सकती है क्योंकि निरर्थक रजिस्टरों को उनकी प्रक्रिया में दूर दंडित किया गया था।

— एंडी
स्रोत

"सही" बिंदु अनुमान?

— रिचर्ड हार्डी

3

एक चर चयन करने के लिए और फिर anslysis को फिर से चलाएं, जैसे कि कोई चर चयन नहीं हुआ था और चयनित मॉडल को शुरू से ही इरादा था, आमतौर पर अतिरंजित प्रभाव आकार, अमान्य पी-मान और नीचे के साथ नाममात्र कवरेज के साथ आत्मविश्वास अंतराल होता है। शायद अगर नमूना का आकार बहुत बड़ा है और कुछ भारी प्रभाव और बहुत अधिक शून्य प्रभाव हैं, तो LASSO + OLS इससे बुरी तरह प्रभावित नहीं हो सकता है, लेकिन इसके अलावा मैं कोई उचित औचित्य नहीं देख सकता और उस मामले में LASSO अनुमान भी ठीक होना चाहिए।

— ब्योर्न
स्रोत

1

लेकिन दूसरा मॉडल खरोंच से क्यों शुरू होता है जैसे कि कोई चर चयन नहीं हुआ? क्या LASSO सर्वश्रेष्ठ भविष्य कहनेवाला शक्ति के साथ व्याख्यात्मक चर का चयन नहीं करता है? BTW मैं फिर से चमक में सामान LASSO विरल मैट्रिक्स चर सामान करने के लिए सोचा। अब मुझे समझ आ गया है कि LASSO प्रति se एक रिग्रेशन है।

— SIslam