यह समझाने का सरल तरीका यह है कि नियमितीकरण शोर में फिट नहीं होने में मदद करता है, यह संकेत के आकार को निर्धारित करने के मामले में बहुत कुछ नहीं करता है। यदि आप एक विशाल गौरवशाली समारोह सन्निकट के रूप में गहन शिक्षा के बारे में सोचते हैं, तो आपको पता चलता है कि जटिल संकेत के आकार को परिभाषित करने के लिए बहुत अधिक डेटा की आवश्यकता होती है।
यदि कोई शोर नहीं होता तो एनएन की बढ़ती जटिलता एक बेहतर सन्निकटन पैदा करती। एनएन के आकार के लिए कोई जुर्माना नहीं होगा, बड़ा हर मामले में बेहतर होता। एक टेलर सन्निकटन पर विचार करें, गैर-बहुपद समारोह (संख्यात्मक सटीक मुद्दों की अनदेखी) के लिए अधिक शर्तें हमेशा बेहतर होती हैं।
यह एक शोर की उपस्थिति में टूट जाता है, क्योंकि आप शोर के लिए फिटिंग शुरू करते हैं। इसलिए, यहां मदद करने के लिए नियमितीकरण आता है: यह शोर को कम करने के लिए फिटिंग को कम कर सकता है , इस प्रकार हमें गैर-समस् याओं के लिए बड़े एनएन बनाने की अनुमति देता है।
निम्नलिखित चर्चा मेरे उत्तर के लिए आवश्यक नहीं है, लेकिन मैंने कुछ टिप्पणियों का जवाब देने के लिए भाग लिया और उपरोक्त उत्तर के मुख्य निकाय को प्रेरित किया। मूल रूप से, मेरे जवाब के बाकी फ्रेंच आग की तरह है जो बर्गर खाने के साथ आते हैं, आप इसे छोड़ सकते हैं।
(इर) प्रासंगिक मामला: बहुपद प्रतिगमन
आइए एक बहुपद प्रतिगमन के एक खिलौना उदाहरण को देखें। यह कई कार्यों के लिए एक बहुत अच्छा सन्निकटन है। हम क्षेत्र में फ़ंक्शन को । जैसा कि आप नीचे टेलर श्रृंखला से देख सकते हैं, 7 वें क्रम का विस्तार पहले से ही एक बहुत अच्छा फिट है, इसलिए हम उम्मीद कर सकते हैं कि 7+ ऑर्डर का बहुपद भी एक बहुत अच्छा फिट होना चाहिए:x ∈ ( - 3 , 3 )sin(x)x∈(−3,3)
इसके बाद, हम 7 अवलोकनों के साथ सेट किए गए छोटे बहुत शोर डेटा के उत्तरोत्तर उच्च क्रम वाले बहुपदों को फिट करने जा रहे हैं:
हम देख सकते हैं कि हमें कई लोगों द्वारा बहुपद के बारे में बताया गया है, जिसमें वे जानते हैं: वे अस्थिर हैं, और बहुपद के क्रम में वृद्धि के साथ बेतहाशा दोलन करना शुरू करते हैं।
हालांकि, समस्या खुद बहुपद नहीं है। समस्या शोर है। जब हम बहुपदों को शोर के डेटा के लिए फिट करते हैं, तो फिट का हिस्सा शोर को होता है, सिग्नल को नहीं। यहां एक ही सटीक बहुपद समान डेटा सेट के लिए फिट हैं, लेकिन शोर के साथ पूरी तरह से हटा दिया गया है। फिट बैठता है महान हैं!
क्रम 6 के लिए एक दृष्टि से परिपूर्ण फिट पर ध्यान दें। यह आश्चर्यजनक नहीं होना चाहिए क्योंकि 7 अवलोकनों की आवश्यकता है कि हम सभी को विशिष्ट रूप से क्रम 6 बहुपद की पहचान करने की आवश्यकता है, और हमने टेलर सन्निकटन साजिश से ऊपर देखा कि 6 क्रम पहले से ही एक बहुत अच्छा सन्निकटन है हमारे डेटा रेंज में।sin(x)
यह भी ध्यान दें कि उच्च क्रम बहुपद के साथ-साथ क्रम 6 भी फिट नहीं है, क्योंकि उन्हें परिभाषित करने के लिए पर्याप्त टिप्पणियां नहीं हैं। तो, आइए देखें कि 100 टिप्पणियों के साथ क्या होता है। नीचे दिए गए एक चार्ट पर आप देखें कि कैसे एक बड़े डेटा सेट ने हमें उच्च क्रम के बहुपदों को फिट करने की अनुमति दी, इस प्रकार एक बेहतर फिट पूरा हुआ!
महान, लेकिन समस्या यह है कि हम आम तौर पर शोर डेटा से निपटते हैं। देखो कि क्या होता है अगर आप बहुत शोर डेटा के 100 टिप्पणियों के समान फिट होते हैं, तो नीचे दिए गए चार्ट को देखें। हम एक वर्ग में वापस आ गए हैं: उच्च क्रम के बहुपद में भयानक दोलन फिट बैठता है। इसलिए, बढ़ते डेटा सेट ने डेटा की बेहतर व्याख्या करने के लिए मॉडल की जटिलता को बढ़ाने में बहुत मदद नहीं की। यह फिर से है, क्योंकि जटिल मॉडल न केवल सिग्नल के आकार के लिए बेहतर है, बल्कि शोर के आकार के लिए भी बेहतर है।
अंत में, आइए इस समस्या पर कुछ लंगड़ा नियमितीकरण का प्रयास करें। नीचे दिया गया चार्ट 9 बहुपद प्रतिगमन के आदेश के लिए लागू नियमितीकरण (विभिन्न दंड के साथ) दिखाता है। ऑर्डर (पावर) 9 बहुपद फिट करने के लिए इसकी तुलना करें: नियमितीकरण के एक उचित स्तर पर शोर डेटा के लिए उच्च आदेश बहुपद फिट करना संभव है।
बस के मामले में यह स्पष्ट नहीं था: मैं इस तरह से बहुपद प्रतिगमन का उपयोग करने का सुझाव नहीं दे रहा हूं। बहुपद स्थानीय फिट के लिए अच्छे हैं, इसलिए एक टुकड़ा-वार बहुपद एक अच्छा विकल्प हो सकता है। उनके साथ पूरे डोमेन को फिट करने के लिए अक्सर एक बुरा विचार है, क्योंकि वे शोर के प्रति संवेदनशील हैं, वास्तव में, जैसा कि ऊपर के भूखंडों से स्पष्ट होना चाहिए। चाहे शोर संख्यात्मक हो या किसी अन्य स्रोत से, इस संदर्भ में उतना महत्वपूर्ण नहीं है। शोर शोर है, और बहुपत्नी भावुकता से इस पर प्रतिक्रिया करेंगे।
