सिकुड़न क्या है?

Question

शब्द सिकुड़न कुछ हलकों में बहुत कुछ फेंक दिया जाता है। लेकिन संकोचन क्या है, इसकी स्पष्ट परिभाषा नहीं है। अगर मेरे पास टाइम सीरीज़ (या किसी प्रक्रिया के अवलोकन का कोई संग्रह) है, तो विभिन्न तरीके क्या हैं जो मैं श्रृंखला पर कुछ प्रकार के अनुभवजन्य संकोचन को माप सकता हूं? मैं किस प्रकार के सैद्धांतिक संकोचन के बारे में बात कर सकता हूं? संकोचन कैसे भविष्यवाणी में मदद कर सकता है? क्या लोग कुछ अच्छी जानकारी या संदर्भ प्रदान कर सकते हैं?

Comments

Steyergerg: लॉजिस्टिक रिग्रेशन एनालिसिस में श्रिंकेज तकनीकों का अनुप्रयोग: एक केस स्टडी और संकोचन और दंडित संभावना के रूप में पूर्वानुमान की सटीकता में सुधार के तरीके शुरू करने के लिए अच्छी जगहें हैं। न तो खुला स्रोत है (मुझे लगता है) लेकिन Google को मूल लेख मिलेंगे।

— चार्ल्स

एक अनुमानक के नियमितीकरण का कोई भी तरीका जो एक अनुमान को स्थानांतरित करता है (सिकुड़ता है) (आमतौर पर 0 या कुछ अन्य 'शून्य' / ज्ञात मूल्य की ओर); वास्तव में, नियमितीकरण जो एक दूसरे के प्रति अनुमानों के संग्रह को स्थानांतरित करता है वह भी एक प्रकार का संकोचन है (यह 0 के प्रति उनके मतभेदों का प्रतिनिधित्व करने वाले मापदंडों को स्थानांतरित करता है)। यदि आपने इसे पहले से नहीं देखा है, तो विकिपीडिया लेख मददगार हो सकता है।

— Glen_b -Reinstate मोनिका

अनुभवजन्य संकोचन के बारे में क्या। मान लीजिए कि मेरे पास एक टाइम सीरीज़ है जिसे मैं एक मॉडल को फिट कर रहा हूं। क्या मैं नमूना फिट और नमूना प्रदर्शन के बाहर के बीच कुछ प्रकार के संकोचन के बारे में बात कर सकता हूं?

— विंटरम्यूट

Answer 1

1961 में जेम्स और स्टीन ने "क्वाड्रेटिक लॉस के साथ अनुमान" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 नामक एक लेख प्रकाशित किया । हालांकि यह विशेष रूप से शब्द संकोचन को गढ़ा नहीं करता है, वे उच्च आयामी (वास्तव में एक 3 पैरामीटर स्थान के लिए) के न्यूनतम अनुमानों पर चर्चा करते हैं जो सामान्य डेटा के लिए सामान्य MLE (प्रत्येक घटक नमूना औसत) की तुलना में कम जोखिम (अपेक्षित नुकसान) होते हैं। । ब्रैडली एफ्रॉन ने अपनी खोज को "युद्ध के बाद के गणितीय आंकड़ों का सबसे महत्वपूर्ण प्रमेय" कहा। इस लेख को 3,310 बार उद्धृत किया गया है।

कोपस 1983 में "सिकुड़न" शब्द को गढ़ने के लिए पहला लेख प्रतिगमन, भविष्यवाणी और संकोचन लिखते हैं। यह सार में स्पष्ट रूप से परिभाषित है:

नए डेटा के लिए एक प्रतिगमन पूर्वसूचक का फिट मूल डेटा के अपने फिट से लगभग हमेशा खराब होता है। इस सिकुड़न की आशंका से स्टीन ors टाइप के भविष्यवक्ता पैदा होते हैं, जो कुछ मान्यताओं के तहत, कम से कम वर्गों की तुलना में एक समान रूप से कम भविष्यवाणी का मतलब चुकता त्रुटि देते हैं।

और सभी क्रमिक अनुसंधानों में, ऐसा लगता है कि संकोचन ऑपरेटिंग विशेषताओं को संदर्भित करता है (और इसके बारे में अनुमान लगाता है) स्वीकार्य और / या न्यूनतम अनुमान लगाने के संदर्भ में भविष्यवाणी और अनुमान के बाहर की वैधता के लिए।

Answer 2

यह नियमितीकरण के बारे में है। मान लीजिए आप एक वक्र फिट करना चाहते हैं और आप एक वर्ग हानि फ़ंक्शन का उपयोग करते हैं (आप अलग-अलग चुन सकते हैं)। द्वाराfitआप उन मापदंडों को पुनर्प्राप्त करना चाहेंगे जो उस वक्र को उत्पन्न करने वाली प्रक्रिया को नियंत्रित करते हैं। अब कल्पना करें कि आप 100 वें बहुपद (उदाहरण के लिए) का उपयोग करके इस वक्र को फिट करना चाहेंगे। आप बहुत अधिक संभावना रखते हैं या वक्र के हर झनकार और शोर को पकड़ने जा रहे हैं। इसके अलावा, दिए गए प्रशिक्षण डेटा अंतराल के बाहर आपकी भविष्यवाणी क्षमता बहुत खराब होने की संभावना है। इसलिए, नियमितीकरण शब्द को नियमितीकरण कारक - l_1, l_2 या कस्टम द्वारा गुणा किए गए कुछ वजन के साथ उद्देश्य फ़ंक्शन में जोड़ा जाता है। L_2 के मामले में, जो समझने में बहुत सरल है, इसका एक प्रभाव होगा कि बड़े पैरामीटर मान उर्फ ​​सिकुड़न को कम करने के लिए मजबूर होंगे। आप अपने एल्गोरिथ्म को एक समाधान के रूप में नियमित करने या सिकुड़ने के बारे में सोच सकते हैं जो एक बेहतर समाधान हो सकता है।