ridge-regression पर टैग किए गए जवाब

मैं एक सॉफ्टवेयर इंजीनियर लर्निंग मशीन लर्निंग हूं, खासकर एंड्रयू एनजी के मशीन लर्निंग कोर्स के जरिए । नियमितीकरण के साथ रैखिक प्रतिगमन का अध्ययन करते समय , मुझे ऐसे शब्द मिले हैं जो भ्रामक हैं: एल 1 नियमितीकरण या एल 2 नियमितीकरण के साथ प्रतिगमन LASSO रिज रिग्रेशन तो …

33 regression  terminology  lasso  regularization  ridge-regression 

Tikhonov नियमितीकरण और रिज प्रतिगमन अक्सर ऐसे शब्दों के रूप में उपयोग किया जाता है जैसे कि वे समान थे। क्या यह निर्दिष्ट करना संभव है कि अंतर क्या है?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

रिज, LASSO और इलास्टिक नियमितिकरण विधियों की तुलना कैसे करते हैं? उनके संबंधित फायदे और नुकसान क्या हैं? किसी भी अच्छे तकनीकी पेपर, या लेक्चर नोट्स की सराहना की जाएगी।

33 references  lasso  regularization  ridge-regression  elastic-net 

नोट: मुझे पता है कि L1 में सुविधा चयन संपत्ति है। मैं यह समझने की कोशिश कर रहा हूं कि फीचर चयन पूरी तरह से अप्रासंगिक होने पर किसे चुनना है। कैसे तय करें कि किस नियमितीकरण (L1 या L2) का उपयोग करना है? एल 1 / एल 2 नियमितीकरण …

30 regression  lasso  regularization  ridge-regression 

मैं रिज रिग्रेशन अनुमानों की गणना करने के लिए glmnet का उपयोग कर रहा हूं। मुझे कुछ परिणाम मिले, जिससे मुझे उस ग्लमैनेट में संदेह हुआ, जो मैं सोचता हूं कि वह वास्तव में कर रहा है। यह जाँचने के लिए मैंने एक साधारण R स्क्रिप्ट लिखी है जहाँ मैं …

28 r  ridge-regression  glmnet 

मेरे पास कम से कम वर्गों के संदर्भ में रिज दंड के बारे में कई प्रश्न हैं: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) अभिव्यक्ति से पता चलता है कि X का सहसंयोजक मैट्रिक्स एक विकर्ण मैट्रिक्स की ओर सिकुड़ा हुआ है, जिसका अर्थ है कि (यह मानते हुए कि …

25 regression  pca  regularization  ridge-regression 

इसलिए मुझसे एक सवाल पूछा गया कि केंद्रीय उपाय L1 (यानी, लासो) और L2 (यानी रिज रिग्रेशन) का अनुमान है। इसका उत्तर L1 = माध्यिका और L2 = माध्य है। क्या इसका किसी प्रकार का सहज तर्क है? या क्या यह बीजगणितीय रूप से निर्धारित किया जाना है? यदि हां, …

24 lasso  regularization  loss-functions  ridge-regression 

कुछ दंड कार्यों और सन्निकटन का अच्छी तरह से अध्ययन किया जाता है, जैसे कि LASSO ( ) और रिज ( ) और ये कैसे प्रतिगमन में तुलना करते हैं।एल 2L1L1L_1L2L2L_2 मैं ब्रिज पेनल्टी के बारे में पढ़ रहा हूं, जो कि सामान्यीकृत जुर्माना है। उसकी तुलना उस LASSO से …

22 regression  lasso  regularization  ridge-regression  elastic-net 

एक अतिरिक्त अवरोध के साथ रिज प्रतिगमन पर विचार करें, जिसमें आवश्यक है कि में यूनिट योग है वर्गों (समकक्ष, इकाई विचरण); यदि आवश्यक हो, तो कोई मान सकता है कि पास इकाई राशि का योग है:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

मान लीजिए, मैं कुछ उच्च-नियमित डेटा से बड़ी संख्या में मापदंडों का अनुमान लगाने की कोशिश कर रहा हूं, कुछ प्रकार के नियमित अनुमानों का उपयोग कर रहा हूं। नियमितकर्ता कुछ पूर्वाग्रह को अनुमानों में पेश करता है, लेकिन यह अभी भी एक अच्छा व्यापार-बंद हो सकता है क्योंकि विचरण …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

एक रेखीय मॉडल के लिए y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilon , संकोचन अवधि हमेशा होता है P(β)P(β)P(\beta) । क्या कारण है कि हम पूर्वाग्रह (इंटरसेप्ट) शब्द को ? क्या हमें तंत्रिका नेटवर्क मॉडल में पूर्वाग्रह शब्द को सिकोड़ना चाहिए?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

कई प्रतिगमन के लिए मानक मॉडल पर विचार करें जहां ε ~ एन ( 0 , σ 2 मैं nY=Xβ+εY=Xβ+εY=X\beta+\varepsilon , तो सामान्य, homoscedasticity और सभी पकड़ त्रुटियों की uncorrelatedness।ε∼N(0,σ2In)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) मान लीजिए कि हम के विकर्ण के सभी तत्वों के लिए एक ही छोटी राशि जोड़कर …

21 regression  assumptions  ridge-regression 

मैंने समझा है कि रिज रिग्रेशन गुणांक को शून्य ज्यामितीय रूप से कैसे सिकोड़ता है। इसके अलावा मुझे पता है कि विशेष "ऑर्थोनॉमिक केस" में यह कैसे साबित किया जाए, लेकिन मैं भ्रमित हूं कि यह सामान्य मामले में "स्पेक्ट्रल अपघटन" के माध्यम से कैसे काम करता है।

20 regression  multiple-regression  regularization  ridge-regression  svd 

मैं एक डाटासेट के लिए गुणांक के सिकुड़े हुए अनुमानों को प्राप्त करने के लिए दंडित आर पैकेज का उपयोग कर रहा हूं जहां मेरे पास बहुत सारे भविष्यवक्ता हैं और जिनमें से महत्वपूर्ण हैं थोड़ा ज्ञान। जब मैंने ट्यूनिंग पैरामीटर L1 और L2 को चुना है और मैं अपने …

20 regression  lasso  stepwise-regression  ridge-regression 

मुझे याद है कि वेब पर कहीं भी रिज रिग्रेशन ( नियमितीकरण के साथ) और PCA रिग्रेशन के बीच एक कनेक्शन पढ़ा गया है : हाइपरपरमीटर साथ -इग्रेटेड रिग्रेशन का उपयोग करते समय , यदि , तो प्रतिगमन हटाने के बराबर है सबसे छोटे eigenvalue के साथ पीसी चर।ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to …

19 regression  pca  regularization  ridge-regression