regularization पर टैग किए गए जवाब

कुछ नियमितीकरण के साथ रैखिक प्रतिगमन पर विचार करें: जैसे कि पता लगाएं कि xxx कम करता है ||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 आमतौर पर, ए के कॉलम को शून्य मीन और यूनिट मानदंड के लिए मानकीकृत किया जाता है, जबकि को शून्य माध्य के लिए केंद्रित किया जाता है। मैं यह …

16 regression  lasso  regularization  standardization 

मैं एक मिश्रित प्रभाव मॉडल का उपयोग करके निर्धारित डेटा का विश्लेषण कर रहा हूं जिसमें एक निश्चित प्रभाव (स्थिति) और दो यादृच्छिक प्रभाव (विषय डिजाइन और जोड़ी के कारण प्रतिभागी) हैं। मॉडल lme4पैकेज के साथ उत्पन्न किया गया था exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp):। इसके बाद, मैंने निश्चित प्रभाव (स्थिति) के बिना मॉडल …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ यदि आप इस पोस्ट के शीर्ष पर देखते हैं, तो लेखक का उल्लेख है कि L2 मानदंड में एक अनूठा समाधान है और L1 मानदंड में संभवतः कई समाधान हैं। मैं इसे नियमितीकरण के संदर्भ में समझता हूं, लेकिन नुकसान फ़ंक्शन में एल 1 मानदंड या एल 2 मानक …

16 regression  lasso  regularization 

इस साइट पर पहले से ही एक पोस्ट है जो एक ही मुद्दे के बारे में बात कर रही है: संकोचन क्यों काम करता है? लेकिन, उत्तर लोकप्रिय होने के बावजूद, मुझे विश्वास नहीं होता कि प्रश्न का सार वास्तव में संबोधित है। यह बहुत स्पष्ट है कि अनुमान में …

15 regularization  ridge-regression  shrinkage 

मैं रेखीय प्रतिगमन मॉडल में लेसो, रिज और इलास्टिक-नेट प्रकार के नियमितीकरण से अवगत हूं। सवाल: क्या यह (या एक समान) तरह का दंडात्मक अनुमान ARIMA मॉडलिंग (गैर-रिक्त एमए भाग के साथ) पर लागू किया जा सकता है? ARIMA मॉडल के निर्माण में, पहले से चयनित अधिकतम लैग ऑर्डर ( …

15 time-series  arima  lasso  regularization  ridge-regression 

मैंने सांख्यिकीय शिक्षा में सबसे लोकप्रिय किताबें पढ़ी हैं 1- सांख्यिकीय शिक्षा के तत्व। 2- सांख्यिकीय शिक्षा का परिचय । दोनों का उल्लेख है कि रिज प्रतिगमन में दो सूत्र हैं जो समकक्ष हैं। क्या इस परिणाम का एक समझने योग्य गणितीय प्रमाण है? मैं क्रॉस वैलिडेट के माध्यम से …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

मान लीजिए कि मेरे पास लॉजिस्टिक रिग्रेशन क्लासिफायर है। सामान्य बैच सीखने में, मुझे ओवरफिटिंग को रोकने और अपने वजन को छोटा रखने के लिए एक नियमित पद मिलेगा। मैं भी अपनी सुविधाओं को सामान्य और स्केल करूँगा। एक ऑनलाइन शिक्षण सेटिंग में, मुझे डेटा की एक सतत स्ट्रीम मिल …

15 machine-learning  normalization  regularization  online 

गहन शिक्षण पर इस ट्यूटोरियल के अनुसार , वजन घटाने (नियमितीकरण) को आमतौर पर पूर्वाग्रह शर्तों पर लागू नहीं किया जाता है b क्यों? इसके पीछे क्या महत्व (अंतर्ज्ञान) है?

15 machine-learning  neural-networks  bias  regularization 

लैसो अनुमान परिभाषित बीटा λ = आर्ग मिनट बीटा ∈ आर पी 1β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,जहांithithi^{th}पंक्तिxi∈Rpxi∈Rpx_i \in \mathbb{R}^pडिजाइन के मैट्रिक्सX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}स्टोकेस्टिक प्रतिक्रिया की व्याख्या के लिए covariates का एक वेक्टर हैyiyiy_i(i=1,…ni=1,…ni=1, \dots n) के लिए। हम जानते हैं …

14 lasso  regularization 

रिज प्रतिगमन में, उद्देश्य समारोह को कम से कम किया जा रहा है: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. क्या यह लैगेंज गुणक विधि का उपयोग करके अनुकूलित किया जा सकता है? या यह सीधे भेदभाव है?

14 regression  regularization  ridge-regression 

कई गणित-भारी पेपर हैं जो बेयसियन लास्सो का वर्णन करते हैं, लेकिन मैं परीक्षण चाहता हूं, जेएजीएस कोड को सही करें जिसका मैं उपयोग कर सकता हूं। कोई व्यक्ति BUGS / JAGS कोड का नमूना ले सकता है जो लॉजिस्टिक प्रतिगमन को नियमित करता है? कोई भी योजना (L1, L2, …

14 bayesian  logistic  lasso  jags  regularization 

एक मानदंड अद्वितीय है (कम से कम आंशिक रूप से) क्योंकि गैर-उत्तल और उत्तल के बीच की सीमा पर है। एक मानदंड 'सबसे विरल' उत्तल मानदंड (दाएं?) है।L1L1L_1p=1p=1p=1L1L1L_1 मैं समझता हूं कि यूक्लिडियन मानदंड की ज्यामिति में जड़ें हैं और इसकी स्पष्ट व्याख्या है जब आयामों में समान इकाइयां होती …

13 regression  regularization  sparse 

\newcommand{\diag}{\operatorname{diag}} हमें समस्या है: इस धारणा के साथ: \ sum_ {i = 1} ^ nx_ix_i ^ टी = \ निदान (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2)।minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). क्या इस मामले में एक बंद-रूप समाधान है? मेरे पास वह है: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), और इसलिए …

13 mathematical-statistics  lasso  computational-statistics  regularization 

मैं 80 परतों के साथ एक word2vec जैसे प्रतिनिधित्व का उपयोग करते हुए 128 छिपी इकाइयों के साथ एक परत LSTM का उपयोग कर भावना भविष्यवाणी के लिए 15000 ट्वीट्स मॉडलिंग कर रहा हूं। मुझे 1 युग के बाद एक वंश सटीकता (यादृच्छिक = 20% के साथ 38%) मिलती है। …

13 deep-learning  regularization  overfitting  lstm 

बिशप के पैटर्न मान्यता और मशीन लर्निंग की धारा 3.2 में , वह पूर्वाग्रह-विघटन अपघटन पर चर्चा करता है, जिसमें कहा गया है कि एक चुकता नुकसान फ़ंक्शन के लिए, अपेक्षित नुकसान एक स्क्वैयर बायस टर्म में विघटित हो सकता है (जो वर्णन करता है कि अब तक औसत पूर्वानुमान …

13 self-study  variance  bias  regularization  loss-functions