लैस्सो / रिज रिग्रेशन के लिए मानकीकरण बनाम सामान्यीकरण


11

मुझे पता है कि रिज और लास्सो रिग्रेशन के लिए सुविधाओं का मानकीकरण करना आम बात है, हालांकि, क्या इन रिग्रेशन विधियों के लिए जेड-स्कोर मानकीकरण के विकल्प के रूप में (0,1) पैमाने पर सुविधाओं को सामान्य करने के लिए यह अधिक व्यावहारिक होगा?

जवाबों:


4

यदि आप सामान्यीकरण ([0,1] में निचोड़) लागू करते हैं, तो आपके पास सापेक्ष चर महत्व का एक माप होगा लेकिन यह आपके चर के पैमाने को बदल देगा और आप सभी मॉडल व्याख्या को खो देंगे। मानकीकरण का लाभ यह है कि आप अभी भी मॉडल की व्याख्या कर सकते हैं जैसा कि आप अनियमित ओएलएस प्रतिगमन के साथ करेंगे (यह पहले से ही उत्तर दिया गया है )।


3
नियमित मॉडल सामान्यीकरण के साथ या उसके बिना बहुत अलग तरीके से कार्य कर रहा है !! विशेष रूप से, यदि हम सुविधाओं का पालन नहीं करते हैं, तो हमारे पास अलग-अलग सुविधाओं पर अलग-अलग दंड होंगे!
हायताओ डू

1
मैं विशेष रूप से लसो गुणांक व्याख्या के बारे में बात कर रहा था , न कि अनुमान। यह देखते हुए कि अनुमान बदलेंगे, मुझे यह जानने की उत्सुकता होगी कि मॉडल व्याख्या कैसे बदलती है।
डिगियो

1
यह मुझे नहीं लगता कि आपके द्वारा दिए गए प्रश्न का उत्तर आपके द्वारा दिए गए बिंदु का समर्थन करता है। क्या आप अपने मूल पद में अधिक स्पष्ट कर सकते हैं कि सुविधाओं के मानकीकृत होने पर ही ओएलएस गुणांकों की व्याख्या लैस्सो गुणांक से सहमत क्यों है? धन्यवाद!
user795305

@ फिर, आपने मेरे उत्तर को गलत समझा (शायद मेरी गलती है)। इस सवाल का जवाब मैं से लिंक किया है बताते हैं कि कैसे लैसो में और सरल प्रतिगमन (OLS या अन्यथा) में मॉडल गुणांक एक ही तरीके से समझा जाता है - किसी भी परिस्थिति (मानकीकृत या नहीं) के तहत। सामान्यीकरण (किसी भी प्रकार या पैरामीट्रिक रिग्रेशन में) के साथ, आप मूल पैमाना खो देते हैं और आप गुणांक को बिना बदले में व्याख्या नहीं कर सकते। मानकीकरण के साथ, आप सामान्य तरीके से मॉडल की व्याख्या करते हैं।
डिजीओ

@ डिगियो: सामान्यीकरण किसी भी अन्य पैमाने पर बदलाव की तुलना में गुणांक को कम व्याख्यात्मक क्यों बना देगा? सामान्यीकरण और मानकीकरण समान परिवर्तन नहीं हैं, लेकिन वे उपयोग करने वाले अंश के लिए? दोनों को सह-गुणांक की व्याख्या करने के लिए dV / dx के रूप में एक ही तरीके से बैक ट्रांसफॉर्मेशन की आवश्यकता होती है, जिसमें एक्स-स्केल फीचर्स की इकाइयों में x होता है। हां, मानकीकृत सुविधाओं के गुणांक की व्याख्या सीधे dV / dz के रूप में भी की जा सकती है, प्रत्येक विशेषता का z- स्कोर होना, और यह व्याख्या सामान्यीकरण के साथ संभव नहीं है। लेकिन क्या इसका मतलब यह है कि सामान्यीकृत सुविधाओं के गुणांक सभी व्याख्या खो देते हैं?
ओल्डस्कूल

0

नियमितीकरण के तरीकों के लिए सामान्यीकरण बहुत महत्वपूर्ण है। ऐसा इसलिए है क्योंकि चर का पैमाना इस बात को प्रभावित करता है कि विशिष्ट चर पर नियमितीकरण कितना लागू होगा।

उदाहरण के लिए, मान लीजिए कि एक चर बहुत बड़े पैमाने पर है, लाखों का क्रम कहें और दूसरा चर 0 से 1 तक है। तब, हम सोच सकते हैं कि नियमितीकरण का पहले चर पर बहुत कम प्रभाव पड़ेगा।

साथ ही हम सामान्यीकरण करते हैं, इसे 0 से 1 तक सामान्य करते हैं या सुविधाओं को मानकीकृत करते हैं बहुत ज्यादा मायने नहीं रखता है।


1
यह उत्तर स्पष्ट कह रहा है। "सामान्यीकरण" के द्वारा यहाँ इसका अर्थ है कि सभी मूल्यों को निचोड़ना [0,1] में, यह मानकीकरण के लिए सिर्फ एक और शब्द नहीं है। सवाल मॉडल के गुणांकों पर [0,1] बनाम मानकीकरण ~ एन (0,1) में सामान्यीकरण के प्रभावों के बारे में है।
डिगियो

[0,1] को सामान्य करने का क्या मतलब है? इसे प्राप्त करने के कई तरीके हैं। दंडित प्रतिगमन के लिए आपकी सिफारिश क्या है?
कागदस ओजेंक

1
जैसा कि प्रश्न में "(0,1) पैमाने पर सुविधाओं को सामान्य करने के लिए कहा गया है, हालांकि हो सकता है कि फीचर rescaling एक बेहतर शब्द है, गुणांक अनुमानों का उत्पादन करने के लिए एक सामान्य तकनीक है जो सापेक्ष चर महत्व (RF की शुद्धता माप के समान) को व्यक्त करता है। हां, इसे प्राप्त करने के कई तरीके हैं और यह दंडित प्रतिगमन के लिए कुछ विशिष्ट नहीं है, लेकिन यह प्रश्न लास्सो पर फीचर रिसकॉलिंग (मानकीकरण नहीं) के प्रभाव के बारे में है।
डिगियो

"0 से 1 को सामान्य करने या सुविधाओं को मानकीकृत करने से बहुत अधिक फर्क नहीं पड़ता" से आपका क्या मतलब है? किस मायने में यह बहुत ज्यादा मायने नहीं रखता है? क्या आप इस दावे के लिए कोई अंतर्ज्ञान या संदर्भ प्रदान कर सकते हैं?
user795305
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.