ridge-regression पर टैग किए गए जवाब

मान लीजिए मैं दो आकलनकर्ता है बीटा 1 और β 2 है कि एक ही पैरामीटर के अनुरूप आकलनकर्ता हैं β 0 और ऐसी है कि √βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2) के साथV1≤V2V1≤V2V_1 \leq V_2PSD अर्थ में। इस प्रकार, asymptotically β 1से अधिक कुशल …

11 regression  ridge-regression  shrinkage  penalized 

मैंने आर। में रिज रिग्रेशन का उपयोग करते हुए प्रतिगमन मॉडल का सबसे अच्छा चर समाधान खोजने के लिए कुछ डेटा लागू किया था। मैंने ( lm.ridgeऔर ) का उपयोग किया है , लेकिन परिणाम विशेष रूप से बहुत अलग हैं । यह मान लें कि दोनों पैरामीटर अनुमानकों में …

11 r  regression  ridge-regression  glmnet 

सांख्यिकीय लर्निंग (हेस्टी, टिबरैनी और फ्रीडमैन) के तत्वों में अध्याय 3 को पढ़ने के बाद, मुझे आश्चर्य हुआ कि क्या इस प्रश्न के शीर्षक पर उद्धृत प्रसिद्ध संकोचन विधियों को लागू करना संभव है, जिसे एक सहसंयोजक संरचना दी गई है, अर्थात: न्यूनतम (शायद अधिक सामान्य) ) मात्रा (y⃗ −Xβ⃗ …

11 lasso  ridge-regression 

आज्ञा देना एक मैट्रिक्स का स्वतंत्र चर और B निर्भर मूल्यों का इसी n × 1 मैट्रिक्स है। रिज प्रतिगमन में, हम एक पैरामीटर को परिभाषित λ : इतना है कि β = ( ए टी ए + λ मैं ) - 1 ए टी बी । अब चलो [usv] …

11 ridge-regression 

मुझे पता है कि रिज और लास्सो रिग्रेशन के लिए सुविधाओं का मानकीकरण करना आम बात है, हालांकि, क्या इन रिग्रेशन विधियों के लिए जेड-स्कोर मानकीकरण के विकल्प के रूप में (0,1) पैमाने पर सुविधाओं को सामान्य करने के लिए यह अधिक व्यावहारिक होगा?

11 normalization  lasso  standardization  ridge-regression 

रिज प्रतिगमन के रूप में व्यक्त किया जा सकता है y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x कहाँ पे y^y^\hat{y} अनुमानित लेबल है, IdId\mathbf{I}_d d×dd×dd \times d मैट्रिक्स की पहचान करें, xx\mathbf{x} वह वस्तु जिसके लिए हम एक लेबल खोजने की कोशिश कर रहे हैं, और XX\mathbf{X} n×dn×dn \times d का मैट्रिक्स …

11 regression  ridge-regression  kernel-trick 

कई उत्तरों में मैंने देखा है कि CrossValidated उपयोगकर्ता ओपी को लस्सो, रिज और इलास्टिक नेट पर शुरुआती कागजात खोजने का सुझाव देते हैं। पश्चात के लिए, लास्सो, रिज और इलास्टिक नेट पर सेमिनल क्या हैं?

10 references  lasso  regularization  ridge-regression  elastic-net 

मैं एप्लाइड रैखिक सांख्यिकीय मॉडल , 5 वें एड अध्याय 11 में रिज रिग्रेशन का वर्णन पढ़ रहा हूं । रिज रिग्रेशन यहां उपलब्ध शरीर के वसा डेटा पर किया जाता है । पाठ्यपुस्तक एसएएस में आउटपुट से मेल खाती है, जहां पीछे के रूपांतरित गुणांक फिट किए गए मॉडल …

10 r  sas  ridge-regression 

गैर-नकारात्मक रिज प्रतिगमन कैसे करें? गैर-नकारात्मक लसो में उपलब्ध है scikit-learn, लेकिन रिज के लिए, मैं दांव की गैर-नकारात्मकता को लागू नहीं कर सकता, और वास्तव में, मैं नकारात्मक गुणांक प्राप्त कर रहा हूं। क्या किसी को पता है कि यह क्यों है? क्या मैं नियमित रूप से कम से …

10 regression  lasso  regularization  ridge-regression 

मैं समझता हूं कि हम कम से कम वर्गों के प्रतिगमन समस्या में नियमितीकरण को नियोजित कर सकते हैं w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] और इस समस्या का एक बंद-रूप समाधान है: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. हम देखते हैं कि 2 समीकरण में, नियमितीकरण बस λλ\lambda को …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

मैं 200 विषयों और 1000 चर के साथ अपने डेटा की भविष्यवाणी के क्रॉस-सत्यापन पर काम कर रहा हूं। मेरी रुचि रिज रिग्रेशन है क्योंकि चरों की संख्या (मैं उपयोग करना चाहता हूं) नमूने की संख्या से अधिक है। इसलिए मैं संकोचन आकलनकर्ताओं का उपयोग करना चाहता हूं। निम्नलिखित उदाहरण …

9 r  cross-validation  prediction  ridge-regression 

मैं एक प्रेडिक्टिव कॉस्ट मॉडल पर काम कर रहा हूं जहां मरीज की उम्र (वर्षों में मापी गई एक पूर्णांक मात्रा) भविष्यवक्ता चरों में से एक है। अस्पताल में रहने के जोखिम और उम्र के बीच एक मजबूत संबंध न होना स्पष्ट है: मैं रोगी उम्र के लिए दंडित प्रतिगमन …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

जब , तो कम से कम वर्गों की समस्या जो के मान पर एक गोलाकार प्रतिबंध लगाती है, उसे लिखा जा सकता है एक अतिव्यापी प्रणाली के लिए। \ | \ cdot \ | _2 एक वेक्टर का यूक्लिडियन मानदंड है।y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

मैं रिज रिग्रेशन के लिए नया हूं। जब मैंने रैखिक रिज प्रतिगमन लागू किया, तो मुझे निम्नलिखित परिणाम मिले: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest …

9 ridge-regression