रैखिक प्रतिगमन में नियमितीकरण पैरामीटर मानों को भी दंडित क्यों करता है?

वर्तमान में रिज रिग्रेशन सीखना और मैं अधिक जटिल मॉडल (या अधिक जटिल मॉडल की परिभाषा) के दंड के बारे में थोड़ा भ्रमित था।

मैं जो समझता हूं, उससे जरूरी नहीं है कि मॉडल जटिलता बहुपद के आदेश के अनुरूप हो। इसलिए:

2 + 3 + 4 {एक्स}^{2} + 5 {एक्स}^{3} + 6 {एक्स}^{4}

$2 + 3+ 4x^2 + 5x^3 + 6x^4$ इससे अधिक जटिल मॉडल है:

5 {एक्स}^{5}

$5x^5$

और मुझे पता है कि नियमितीकरण का उद्देश्य मॉडल की जटिलता को कम रखना है, इसलिए उदाहरण के लिए कहें कि हमारे पास 5 वां क्रम बहुपद है

च (एक्स; w) = w_{0} + w_{1} एक्स + w_{2} {एक्स}^{2} + w_{3} {एक्स}^{3} + w_{4} {एक्स}^{4} + w_{5} {एक्स}^{5}

$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$

अधिक पैरामीटर जो 0 बेहतर हैं।

लेकिन जो मुझे समझ में नहीं आता है, अगर यह एक ही आदेश बहुपद था तो निचले पैरामीटर मान को कम दंडित क्यों किया जाता है? तो क्यों होगा:

2 + 5 एक्स + {एक्स}^{3}

$2 + 5x + x^3$ से कम जटिल मॉडल हो

433 + 342 एक्स + 323 {एक्स}^{3}

$433+ 342x + 323x^3$ वे दोनों एक ही बहुपद क्रम के हैं, और पैरामीटर मान केवल डेटा पर निर्भर करते हैं।

धन्यवाद!

regression regularization hyperparameter

— Physco111
स्रोत

पैरामीटर मान केवल डेटा पर निर्भर करते हैं

यह आपके प्रश्न का प्रमुख भाग है। यह वह जगह है जहाँ आप भ्रमित हैं।

हां, पैरामीटर मान डेटा पर निर्भर करते हैं। लेकिन डेटा तब तय होता है जब हम किसी मॉडल को फिट करते हैं। दूसरे शब्दों में, हम टिप्पणियों पर एक मॉडल सशर्त फिट होते हैं । यह अलग-अलग मॉडल की जटिलता की तुलना करने के लिए समझ में नहीं आता है जो अलग-अलग डेटासेट में फिट किए गए थे ।

और एक निश्चित डेटासेट के संदर्भ में, एक मॉडल

2 + 5 x + x^{3}

$2 + 5x + x^3$

वास्तव में सबसे सरल संभव मॉडल के करीब है, अर्थात् फ्लैट शून्य मॉडल, की तुलना में

433 + 342 x + 323 x^{3},

$433+ 342x + 323x^3,$

और यह आपकी टिप्पणियों के पैमाने की परवाह किए बिना रहता है।

संयोग से, अवरोधन ( $2$ तथा $433$ आपके उदाहरण में) अक्सर दंडित नहीं किया जाता है, उदाहरण के लिए, अधिकांश लास्सो योगों में, क्योंकि हम आम तौर पर टिप्पणियों के समग्र औसत पर कब्जा करने के लिए स्वतंत्र रूप से भिन्न होने देते हैं। दूसरे शब्दों में, हम मॉडल को टिप्पणियों के औसत की ओर सिकोड़ते हैं, न कि एक पूर्ण शून्य मॉडल (जहां शून्य अक्सर मनमाना होगा)। इस अर्थ में, एक फ्लैट $2$ और एक फ्लैट $433$ मॉडल को समान रूप से जटिल माना जाएगा।

— स्टीफ़न कोलासा
स्रोत

निम्न परिमाण गुणांक उच्च गुणांक की तुलना में फ्लैट शून्य से दूर हैं? क्या यह एक टाइपो है, या मैं गलतफहमी है कि क्यों एक दूर-दूर-से-निरंतर मॉडल को एक करीब-से-निरंतर मॉडल के रूप में ज्यादा दंडित नहीं किया जाता है?

— आरएम

क्षमा करें, यह वास्तव में एक टाइपो था। मुझे संपादित करने दो। इस पर ध्यान दिलाने के लिए धन्यवाद!

— स्टीफ़न कोलासा