मैं लोचदार नेट से संबंधित इस लेख को पढ़ रहा था। वे कहते हैं कि वे लोचदार नेट का उपयोग करते हैं क्योंकि अगर हम सिर्फ लास्सो का उपयोग करते हैं तो यह भविष्यवाणियों के बीच केवल एक भविष्यवक्ता का चयन करता है जो अत्यधिक सहसंबद्ध हैं। लेकिन यह वह नहीं है जो हम चाहते हैं। मेरा मतलब है कि यह हमें मल्टीकोलिनरिटी की परेशानी से बचाता है।
कोई सुझाव / स्पष्टीकरण?
जवाबों:
मान लीजिए कि दो भविष्यवक्ताओं की प्रतिक्रिया पर एक मजबूत प्रभाव है, लेकिन उस नमूने में अत्यधिक सहसंबद्ध हैं जिससे आप अपना मॉडल बनाते हैं। यदि आप मॉडल से एक ड्रॉप करते हैं तो यह समान आबादी के नमूनों के लिए अच्छी तरह से भविष्यवाणी नहीं करेगा जिसमें भविष्यवाणियों को अत्यधिक सहसंबद्ध नहीं किया गया है।
यदि आप बहुसांस्कृतिकता की उपस्थिति में अपने गुणांक अनुमानों की सटीकता में सुधार करना चाहते हैं तो आपको थोड़ा पूर्वाग्रह लाना होगा, इसे विचरण में बड़ी कमी के द्वारा बंद करना होगा। एक तरीका है भविष्यवाणियों को पूरी तरह से दूर करके- LASSO के साथ, या, पुराने दिनों में, चरणबद्ध तरीके-, जो उनके गुणांक अनुमानों को शून्य पर सेट कर रहा है। एक अन्य अनुमानों को थोड़ा पूर्वाग्रह करके है - रिज रिग्रेशन के साथ, या, पुराने दिनों में, पहले कुछ प्रमुख घटकों पर फिर से। पूर्व की एक खामी यह है कि यह बहुत ही असुरक्षित है अगर मॉडल का उपयोग मूल नमूना में आने वाले उन लोगों से दूर भविष्यवाणियों के लिए प्रतिक्रियाओं का अनुमान लगाने के लिए किया जाएगा, जैसा कि भविष्यवाणियां सिर्फ इसलिए बाहर कर देती हैं क्योंकि वे दूसरे के साथ ज्यादा उपयोग नहीं करते हैं, लगभग संपार्श्विक, भविष्यवक्ता। (ऐसा नहीं है कि एक्सट्रपलेशन कभी पूरी तरह से सुरक्षित है।) लोचदार जाल दो का एक मिश्रण है, जैसा कि @ user12436 बताते हैं, और मॉडल में सहसंबद्ध भविष्यवक्ताओं के समूहों को रखने के लिए कहते हैं।
लेकिन यह वह नहीं है जो हम चाहते हैं। मेरा मतलब है कि यह हमें बहुसांस्कृतिकता की परेशानी से बचाता है, यह नहीं है।
हाँ! और नहीं। इलास्टिक नेट दो नियमितीकरण तकनीकों का एक संयोजन है, L2 नियमितीकरण (रिज रिग्रेशन में प्रयुक्त) और L1 नियमितीकरण (LASSO में प्रयुक्त)।
लैस्सो स्वाभाविक रूप से विरल मॉडल का उत्पादन करता है, अर्थात अधिकांश चर गुणांक 0 से सिकुड़ जाएंगे और प्रभावी रूप से मॉडल से बाहर कर दिए जाएंगे। तो कम से कम महत्वपूर्ण चर दूर हो जाते हैं, दूसरों को सिकोड़ने से पहले, रिज के विपरीत, जहां सभी चर सिकुड़ जाते हैं, जबकि उनमें से कोई भी वास्तव में 0 से सिकुड़ जाता है।
इलास्टिक नेट इन दोनों दृष्टिकोणों के एक रैखिक संयोजन का उपयोग करता है। विधि पर चर्चा करते समय हस्ती द्वारा उल्लेखित विशिष्ट मामला बड़े पी, छोटे एन के मामले में था। जिसका अर्थ है: उच्च आयामी डेटा, अपेक्षाकृत कम अवलोकन। इस मामले में LASSO (कथित तौर पर) केवल सबसे अधिक n चरों पर चयन करेगा, जबकि बाकी सभी को समाप्त करते हुए, जस्टी द्वारा पेपर देखें ।
यह हमेशा वास्तविक डेटासेट पर निर्भर करेगा, लेकिन आप अच्छी तरह से कल्पना कर सकते हैं कि आप हमेशा अपने मॉडल में चर की संख्या पर ऊपरी सीमा नहीं रखना चाहते हैं जो आपकी टिप्पणियों की संख्या से बराबर या उससे कम है।
लासो और इलास्टिक नेट दोनों उच्च-आयामी डेटा सेटिंग्स (रोगियों या नमूनों के बहुत अधिक चर, उदाहरण के लिए, 20,000 जीन और 500 ट्यूमर नमूने) में चर या सुविधा चयन करने के लिए कुशल तरीके हैं।
यह दिखाया गया है (हस्ती और अन्य लोगों द्वारा) कि डेटा अत्यधिक सहसंबद्ध होने पर इलास्टिक नेट लास्सो को पछाड़ सकता है। लास्सो केवल सहसंबद्ध चर में से एक का चयन कर सकता है और परवाह नहीं करता है कि कौन सा चुना गया है। यह एक समस्या हो सकती है जब कोई एक स्वतंत्र डेटासेट में चयनित चर को मान्य करना चाहता है। लासो द्वारा चयनित चर सभी सहसंबद्ध चर के बीच सबसे अच्छा भविष्यवक्ता नहीं हो सकता है। लोचदार नेट अत्यधिक सहसंबद्ध चर द्वारा इस समस्या को हल करता है।