ridge-regression पर टैग किए गए जवाब

मान लीजिए कि मैं बड़ी संख्या में मापदंडों का अनुमान लगाना चाहता हूं, और मैं उनमें से कुछ को दंडित करना चाहता हूं क्योंकि मेरा मानना ​​है कि उनका दूसरों की तुलना में बहुत कम प्रभाव होना चाहिए। मैं कैसे तय करूं कि किस दंड योजना का उपयोग करना है? …

167 regression  lasso  ridge-regression 

मैं रैखिक प्रतिगमन के बारे में किताबें पढ़ रहा हूं। एल 1 और एल 2 मानक के बारे में कुछ वाक्य हैं। मैं उन्हें जानता हूं, बस समझ में नहीं आता कि विरल मॉडल के लिए एल 1 मानदंड क्यों। क्या कोई व्यक्ति सरल स्पष्टीकरण दे सकता है?

97 regression  lasso  regularization  ridge-regression 

ओएलएस के बजाय नियमितीकरण विधियों (रिज, लास्सो या कम से कम कोण प्रतिगमन) का उपयोग करके किन परिस्थितियों में विचार करना चाहिए? मामले में यह चर्चा को तेज करने में मदद करता है, मेरी मुख्य रुचि पूर्वानुमान सटीकता में सुधार कर रही है।

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

रिज रिग्रेशन गुणांक अनुमान ऐसे मान हैं जो न्यूनतम होते हैंβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. मेरे प्रश्न हैं: यदि , तो हम देखते हैं कि ऊपर की अभिव्यक्ति सामान्य RSS पर कम हो जाती है। क्या होगा अगर ? मुझे गुणांक के व्यवहार की पाठ्यपुस्तक की व्याख्या समझ में …

71 ridge-regression  statistical-learning  history 

निम्नलिखित तीन घटनाओं पर विचार करें। स्टीन का विरोधाभास: में बहुभिन्नरूपी सामान्य वितरण के कुछ आंकड़े दिए गए , नमूना का मतलब सही मतलब का बहुत अच्छा अनुमानक नहीं है। यदि कोई नमूने के सभी निर्देशांक को शून्य [या उनके मतलब की ओर, या वास्तव में किसी भी मूल्य की …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

छुट्टियों के मौसम ने मुझे द एलिमेंट्स ऑफ स्टैटिस्टिकल लर्निंग के साथ आग के बगल में कर्ल करने का मौका दिया है । (बार-बार) अर्थमिति के परिप्रेक्ष्य में आने से, मुझे रिज रेज्रेशन, लासो, और कम से कम कोण रिग्रेशन (LAR) जैसे संकोचन विधियों के उपयोग को समझने में परेशानी …

61 lasso  ridge-regression  shrinkage  lars 

मैं समझता हूँ कि रिज प्रतिगमन अनुमान है कि के आकार के वर्ग का अवशिष्ट राशि और एक दंड को कम करता हैβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] हालांकि, मैं पूरी तरह से तथ्य यह है कि के महत्व को समझ में नहीं …

59 regression  least-squares  ridge-regression  shrinkage 

मॉडल चयन की समस्याओं को हल करने के लिए, कई तरीके (LASSO, रिज रिग्रेशन, आदि) भविष्यवाणियों के गुणांक को शून्य की ओर कम कर देंगे। मैं एक सहज व्याख्या की तलाश कर रहा हूं कि यह भविष्य कहनेवाला क्षमता में सुधार क्यों करता है। यदि चर का वास्तविक प्रभाव वास्तव …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

भविष्यवक्ताओं और नमूना आकार साथ एक अच्छी पुरानी प्रतिगमन समस्या पर विचार करें । सामान्य ज्ञान यह है कि ओएलएस आकलनकर्ता ओवरफिट करेगा और आम तौर पर रिज रिग्रेशन अनुमानक द्वारा बेहतर प्रदर्शन करेगा:यह एक इष्टतम नियमितीकरण पैरामीटर खोजने के लिए क्रॉस-मान्यता का उपयोग करने के लिए मानक है । …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

मैं रिज प्रतिगमन के समाधान के व्युत्पन्न के साथ कुछ मुद्दे रख रहा हूं। मैं नियमितीकरण शब्द के बिना प्रतिगमन समाधान जानता हूं: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

पृष्ठ संख्या 223 में सांख्यिकीय शिक्षा के लिए एक परिचय में , लेखक रिज रिग्रेशन और लासो के बीच के अंतर को संक्षेप में प्रस्तुत करते हैं। वे एक उदाहरण (चित्र 6.9) प्रदान करते हैं, जब "लास्सो पूर्वाग्रह, प्रसरण और MSE के संदर्भ में रिज प्रतिगमन को बेहतर बनाता है"। …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

मैं बस उत्सुक हूं कि आमतौर पर केवल और मानदंड नियमित क्यों हैं । क्या इस बात के प्रमाण हैं कि ये बेहतर क्यों हैं?L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

मॉडल चयन करने के लिए क्रॉस-वैलिनेशन का उपयोग करते समय (जैसे कि हाइपरपरमेटर ट्यूनिंग) और सबसे अच्छे मॉडल के प्रदर्शन का आकलन करने के लिए, किसी को नेस्टेड क्रॉस-वैलेडेशन का उपयोग करना चाहिए । बाहरी लूप मॉडल के प्रदर्शन का आकलन करने के लिए है, और आंतरिक लूप सर्वश्रेष्ठ मॉडल …

36 cross-validation  model-selection  ridge-regression 

मैं 50,000 से अधिक वैरिएबल वाले मॉडल के लिए लासो या रिज रिग्रेशन का उपयोग करना चाहता हूं। मैं आर में सॉफ्टवेयर पैकेज का उपयोग करना चाहता हूं। मैं सिकुड़न पैरामीटर ( ) का अनुमान कैसे लगा सकता हूं ?λλ\lambda संपादन: यहाँ बिंदु है जो मुझे मिला है: set.seed (123) …

36 r  lasso  ridge-regression  high-dimensional 

क्या लोचदार शुद्ध नियमितीकरण हमेशा लसो और रिज के लिए पसंद किया जाता है क्योंकि यह इन विधियों की कमियों को हल करने के लिए लगता है? अंतर्ज्ञान क्या है और लोचदार जाल के पीछे का गणित क्या है?

35 regression  lasso  regularization  ridge-regression  elastic-net