regularization पर टैग किए गए जवाब

जब मैं GAM का उपयोग करता हूं, तो यह मुझे अवशिष्ट डीएफ देता है (कोड में अंतिम पंक्ति)। इसका क्या मतलब है? GAM उदाहरण से परे, सामान्य तौर पर, क्या स्वतंत्रता की डिग्री की संख्या एक गैर-पूर्णांक संख्या हो सकती है?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

जब मैं अपने छात्रों के लिए अवधारणाओं का परिचय देता हूं, तो मुझे अक्सर यह बताने में मज़ा आता है कि शब्दावली कहां से उत्पन्न हुई ("प्रतिगमन", उदाहरण के लिए, एक दिलचस्प मूल के साथ एक शब्द है)। मैं सांख्यिकीय / मशीन सीखने में "नियमितीकरण" शब्द के इतिहास / पृष्ठभूमि …

27 terminology  regularization  history  tikhonov-regularization 

मैं अनेक संदर्भ उपस्थित में पढ़ा है कि प्रतिगमन पैरामीटर वेक्टर के लिए कमंद अनुमान BBB के पीछे मोड के बराबर है BBB जिसमें प्रत्येक के लिए पूर्व वितरण BiBiB_i एक डबल घातीय वितरण (यह भी लाप्लास वितरण के रूप में जाना जाता है) है। मैं यह साबित करने की …

27 regression  bayesian  lasso  prior  regularization 

मैंने एंड्रयू एनजी के मशीन लर्निंग कोर्स को एक साल पहले पूरा कर लिया है, और अब मैं अपने हाई स्कूल मैथ की खोज को लॉजिस्टिक रिग्रेशन और तकनीकों के प्रदर्शन पर अनुकूलित करने के लिए लिख रहा हूं। इन तकनीकों में से एक, निश्चित रूप से, नियमितीकरण है। नियमितीकरण …

27 regression  machine-learning  optimization  regularization  overfitting 

मैंने एक बार दो बार लासो का उपयोग करने की एक विधि (एक डबल-लासो की तरह) सुनी थी जहाँ आप चर के मूल सेट पर लासो प्रदर्शन करते हैं, S1 कहते हैं, S2 नामक एक विरल सेट प्राप्त करें, और फिर सेट S2 प्राप्त करने के लिए S2 पर फिर …

26 regression  lasso  regularization  shrinkage  lars 

k β एल एक रों रों ओ = ( β एल एक रों रों ओ 1 , β एल एक रों रों ओ 2 , । । । , β एल एकL(β)=(Xβ−y)′(Xβ−y)+λ∥β∥1,L(β)=(Xβ−y)′(Xβ−y)+λ‖β‖1,L(\beta)=(X\beta-y)'(X\beta-y)+\lambda\|\beta\|_1,kkkβ^lasso=(β^lasso1,β^lasso2,...,β^lassok,0,...0)β^lasso=(β^1lasso,β^2lasso,...,β^klasso,0,...0)\hat{\beta}^{lasso}=\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso},0,...0\right) हम जानते हैं कि एक है पक्षपाती अनुमान , इसलिए हम अंतिम समाधान के रूप में अधिक 'वाजिब' …

26 regression  feature-selection  lasso  regularization 

मान लीजिए कि मैं एक प्रतिगमन चला रहा हूं । शीर्ष सिद्धांत घटकों का चयन करके , क्या मॉडल पर अपनी भविष्य कहनेवाला शक्ति बरकरार रखता है ?कश्मीर एक्स वाईY∼ एक्सY∼XY \sim Xकश्मीरkkएक्सXXYYY मैं समझता हूं कि यदि शीर्ष eigenvalues ​​के साथ के सहसंयोजक मैट्रिक्स के eigenvectors हैं, तो शीर्ष …

25 regression  classification  pca  dimensionality-reduction  regularization 

मेरे पास कम से कम वर्गों के संदर्भ में रिज दंड के बारे में कई प्रश्न हैं: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) अभिव्यक्ति से पता चलता है कि X का सहसंयोजक मैट्रिक्स एक विकर्ण मैट्रिक्स की ओर सिकुड़ा हुआ है, जिसका अर्थ है कि (यह मानते हुए कि …

25 regression  pca  regularization  ridge-regression 

मान लें कि मेरे पास पर्यवेक्षित सांख्यिकीय वर्गीकरण कार्य के लिए एक डेटासेट है, उदाहरण के लिए, बेयस के क्लासिफायरियर के माध्यम से। इस डेटासेट में 20 विशेषताएं हैं और मैं इसे प्राइमरी कंपोनेंट एनालिसिस (PCA) और / या रैखिक डिस्क्रिमिनेंट एनालिसिस (LDA) जैसी डायमेंशनलिटी रिडक्शन तकनीकों के जरिए 2 …

25 classification  pca  regularization  discriminant-analysis  overfitting 

इसलिए मुझसे एक सवाल पूछा गया कि केंद्रीय उपाय L1 (यानी, लासो) और L2 (यानी रिज रिग्रेशन) का अनुमान है। इसका उत्तर L1 = माध्यिका और L2 = माध्य है। क्या इसका किसी प्रकार का सहज तर्क है? या क्या यह बीजगणितीय रूप से निर्धारित किया जाना है? यदि हां, …

24 lasso  regularization  loss-functions  ridge-regression 

मैं समझता हूं कि लाम्बा एक लोचदार-शुद्ध प्रतिगमन में क्या भूमिका निभाता है। और मैं समझ सकता हूं कि क्यों एक lambda.min का चयन करेगा, लंबित मान जो क्रॉस वैध मान्यता को कम करता है। मेरा सवाल यह है कि सांख्यिकी साहित्य में लैम्बडा का उपयोग करने की सिफारिश कहां …

24 regression  cross-validation  regularization  glmnet  elastic-net 

मैं नियमितीकरण पर साहित्य के माध्यम से देख रहा था, और अक्सर पैराग्राफ को देखता हूं जो गौसियन से पहले एल 2 विनियमन को जोड़ता है, और एल 1 शून्य पर केंद्रित लैप्लस के साथ। मुझे पता है कि ये पुजारी कैसे दिखते हैं, लेकिन मुझे समझ में नहीं आता …

23 regression  bayesian  prior  regularization  laplace-distribution 

कुछ दंड कार्यों और सन्निकटन का अच्छी तरह से अध्ययन किया जाता है, जैसे कि LASSO ( ) और रिज ( ) और ये कैसे प्रतिगमन में तुलना करते हैं।एल 2L1L1L_1L2L2L_2 मैं ब्रिज पेनल्टी के बारे में पढ़ रहा हूं, जो कि सामान्यीकृत जुर्माना है। उसकी तुलना उस LASSO से …

22 regression  lasso  regularization  ridge-regression  elastic-net 

मैं द स्टैटिस्टिकल ऑफ स्टैटिस्टिकल लर्निंग पढ़ रहा हूं और मुझे समझ नहीं आ रहा है कि धारा 3.7 "मल्टीपल रिजल्ट सिकुड़न और सिलेक्शन" क्या है। यह आरआरआर (कम-रैंक प्रतिगमन) के बारे में बात करता है, और मैं केवल यह समझ सकता हूं कि आधार एक सामान्यीकृत बहुभिन्नरूपी रैखिक मॉडल …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

मैं बेहतर आर संकुल को समझना चाहते हैं Larsऔर Glmnetहै, जो कमंद समस्या को हल करने के लिए इस्तेमाल कर रहे हैं: (पेजवेरिएबल्स औरएननमूनों के लिए,www.stanford.edu/~hastie/Papers/glmnet.pdfपेज 3 परदेखें)m i n( β0β) ∈ आरपी + 1[ १2 एनΣमैं = १एन( yमैं- β0- एक्सटीमैंβ)2+ λ | | β| |एल1]मीटरमैंn(β0β)∈आरपी+1[12एनΣमैं=1एन(yमैं-β0-एक्समैंटीβ)2+λ||β||एल1]min_{(\beta_0 \beta) \in R^{p+1}} …

22 r  regression  machine-learning  lasso  regularization