रिज प्रतिगमन में मानकीकरण के बारे में प्रश्न

Question

हे दोस्तों मुझे एक या दो पेपर मिले जो रिज रिग्रेशन (बास्केटबॉल डेटा के लिए) का उपयोग करते हैं। मुझे हमेशा अपने वैरिएबल को मानकीकृत करने के लिए कहा जाता था यदि मैं एक रिज रिग्रेशन चलाता था, लेकिन मुझे बस ऐसा करने के लिए कहा गया था क्योंकि रिज स्केल वेरिएंट था (रिज रिग्रेशन वास्तव में हमारे पाठ्यक्रम का हिस्सा नहीं था, इसलिए हमारे लेक्चरर ने इसके माध्यम से स्किम्ड किया)।

मेरे द्वारा पढ़े गए इन पत्रों ने उनके चर का मानकीकरण नहीं किया, जो मुझे थोड़ा आश्चर्यजनक लगा। वे क्रॉस-वैलिडेशन के माध्यम से लैम्बडा (2000-4000 के स्तर) के बड़े मूल्यों के साथ समाप्त हो गए, और मुझे बताया गया कि यह चर को मानकीकृत नहीं करने के कारण है।

चर (ओं) को अस्वाभाविक रूप से उच्च लंबो मानों तक ले जाने और छोड़ने के लिए वास्तव में, चर को सामान्य रूप से मानकीकृत नहीं करने के परिणाम क्या हैं? क्या सच में इतनी बड़ी बात है?

किसी भी प्रकार की मदद की बेहद सराहना की जाती है।

Answer 1

रिज प्रतिगमन गुणांक के आकार पर जुर्माना लगाकर रैखिक प्रतिगमन को नियमित करता है। इस प्रकार गुणांक शून्य की ओर सिकुड़ जाते हैं और एक दूसरे की ओर। लेकिन जब ऐसा होता है और यदि स्वतंत्र चर के समान पैमाने नहीं होते हैं, तो सिकुड़ना उचित नहीं होता है। अलग-अलग पैमानों के साथ दो स्वतंत्र चर दंडित शर्तों में अलग-अलग योगदान देंगे, क्योंकि दंडित शब्द सभी गुणांक के वर्गों का एक योग है। इस तरह की समस्याओं से बचने के लिए, बहुत बार, स्वतंत्र चर 1 के क्रम में केंद्रित और स्केल किए जाते हैं।

[बाद में टिप्पणी का जवाब देने के लिए संपादित करें]

$height$

लैम्ब्डा के साथ दंड शब्द एक वर्ग निरंतरता के योग के संबंध में स्क्वायर लॉस फ़ंक्शन को व्यक्त करने या किसी दिए गए स्थिरांक से कम या बराबर होने के समान है। इसका मतलब है कि बड़ा लैम्ब्डा गुणांक के वर्ग योग को बहुत जगह देता है, और लैम्ब्डा को एक छोटे से स्थान को कम करता है। बड़ा या छोटा स्थान का अर्थ है गुणांक के बड़े या छोटे निरपेक्ष मान।

मानकीकरण का उपयोग नहीं करने से, फिर मॉडल को फिट करने के लिए गुणांक के बड़े पूर्ण मूल्यों की आवश्यकता हो सकती है। बेशक, हमारे पास मॉडल में चर की भूमिका के कारण स्वाभाविक रूप से एक बड़ा गुणांक मूल्य हो सकता है। मैं यह बताता हूं कि स्केलिंग नहीं करने के कारण इस मूल्य में कृत्रिम रूप से फुलाया जा सकता है। तो, स्केलिंग से गुणांक के बड़े मूल्यों की आवश्यकता भी कम हो जाती है। इस प्रकार, लैम्ब्डा का इष्टतम मूल्य आमतौर पर छोटा होता है, जो गुणांक के चुकता मूल्यों के एक छोटे से मेल खाता है।

Comments

धन्यवाद। हालाँकि, मानकीकृत परीक्षण-त्रुटि (क्रॉस वैधीकरण के माध्यम से) को मानकीकृत कैसे नहीं किया जाएगा, और इस प्रकार एक उच्च लंबर की आवश्यकता है, हालांकि?

— l_davies93

मैंने जवाब में अपना विचार जोड़ दिया

— रापैओ

मुझे पता है कि यह एक पुराना प्रश्न है, लेकिन क्या आप समझा सकते हैं कि ट्यूनिंग पैरामीटर को बड़ा क्यों होना चाहिए, यदि हम उदाहरण के लिए किलोमीटर से मीटर तक अपने डेटा को

— बदलते हैं

Answer 2

हालांकि चार साल देर से, आशा है कि किसी को इससे लाभ होगा .... जिस तरह से मैंने इसे समझा, कोएफ़ स्वतंत्र चर (डाई / डीएक्स) में एक इकाई परिवर्तन के लिए कितना लक्ष्य परिवर्तनशील है। आइए हम मान लें कि हम वजन और ऊंचाई के बीच संबंध का अध्ययन कर रहे हैं और वजन को किलो में मापा जाता है। जब हम ऊंचाई के लिए किलोमीटर का उपयोग करते हैं, तो आप निकट से पैक किए गए अधिकांश डेटा बिंदुओं (मानव ऊंचाई के लिए) की कल्पना कर सकते हैं। इस प्रकार, ऊंचाई में एक छोटे से आंशिक परिवर्तन के लिए वजन में भारी परिवर्तन होगा (ऊंचाई के साथ वजन में वृद्धि)। अनुपात डाई / डीएक्स बड़ा होगा। दूसरी ओर, यदि ऊंचाई मिलीमीटर में मापी जाती है, तो ऊंचाई विशेषताओं पर डेटा दूर-दूर तक फैल जाएगा। ऊंचाई में एक इकाई परिवर्तन का वज़न डाई में कोई महत्वपूर्ण परिवर्तन नहीं होगा / dx बहुत कम होगा लगभग 0 के करीब।