सांख्यिकी और बिग डेटा

मैंने Lassoप्रतिगमन जैसे कुछ के पहले चर के मानकीकरण के तीन मुख्य कारण पढ़े हैं : 1) गुणांकों की व्याख्या। 2) बाद के संकोचन गुणांक अनुमानों के सापेक्ष परिमाण द्वारा गुणांक महत्व को रैंक करने की क्षमता। 3) अवरोधन की कोई आवश्यकता नहीं। लेकिन मैं सबसे महत्वपूर्ण बिंदु के बारे …

28 normalization  lasso  standardization  regularization  shrinkage 

क्या लॉजिस्टिक रिग्रेशन मॉडल को ओवरफिट करना संभव है? मैंने एक वीडियो देखा जिसमें कहा गया था कि यदि आरओसी वक्र के नीचे मेरा क्षेत्र 95% से अधिक है, तो इसके बहुत अधिक फिट होने की संभावना है, लेकिन क्या लॉजिस्टिक रिग्रेशन मॉडल को ओवरफिट करना संभव है?

28 logistic  overfitting  regression-strategies 

यह कुछ हद तक मेरे पिछले प्रश्न से संबंधित है: एक उदाहरण जहां संभावना सिद्धांत * वास्तव में * मायने रखता है? जाहिर तौर पर, देबोराह मेयो ने सांख्यिकीय विज्ञान में एक पेपर प्रकाशित किया जिसमें बिरनबाम के संभावना सिद्धांत के प्रमाण का खंडन किया गया। क्या कोई बिरनबाम द्वारा …

27 mathematical-statistics  likelihood-principle 

मूल इलास्टिक नेट पेपर Zou & Hastie (2005) रेगुलराइजेशन और वैरिएबल सिलेक्शन के जरिए इलास्टिक नेट पेश किया लीनियर रिग्रेशन के लिए इलास्टिक नेट लॉस फंक्शन (यहां मेरा मानना ​​है कि सभी वेरिएबल्स को केंद्रित और स्केल किया गया है): लेकिन इसे "भोला लोचदार जाल" कहा जाता है। उन्होंने तर्क …

27 regression  regularization  glmnet  elastic-net  shrinkage 

तंबाकू उत्पादों पर अक्सर एक व्यक्ति देख सकता है कि दस में से नौ फेफड़े के कैंसर धूम्रपान के कारण होते हैं लेकिन क्या यह संख्या सही है? मुझे इस कारण के बारे में दो कारणों से संदेह है। सबसे पहले , यदि आप संयुक्त राज्य अमेरिका और नॉर्वे के …

27 epidemiology  population-attributable-fraction 

सांख्यिकीय और मशीन लर्निंग मॉडल के लिए, व्याख्या करने के कई स्तर हैं: 1) एल्गोरिथ्म पूरे के रूप में, 2) सामान्य रूप में एल्गोरिथम के 3 भाग) विशेष एल्गोरिथ्म पर एल्गोरिथ्म के कुछ भाग, और ये तीन स्तर प्रत्येक दो भागों में विभाजित होते हैं, एक प्रशिक्षण के लिए और …

27 neural-networks  deep-learning  interpretation 

जब मैं GAM का उपयोग करता हूं, तो यह मुझे अवशिष्ट डीएफ देता है (कोड में अंतिम पंक्ति)। इसका क्या मतलब है? GAM उदाहरण से परे, सामान्य तौर पर, क्या स्वतंत्रता की डिग्री की संख्या एक गैर-पूर्णांक संख्या हो सकती है?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

जब मैं अपने छात्रों के लिए अवधारणाओं का परिचय देता हूं, तो मुझे अक्सर यह बताने में मज़ा आता है कि शब्दावली कहां से उत्पन्न हुई ("प्रतिगमन", उदाहरण के लिए, एक दिलचस्प मूल के साथ एक शब्द है)। मैं सांख्यिकीय / मशीन सीखने में "नियमितीकरण" शब्द के इतिहास / पृष्ठभूमि …

27 terminology  regularization  history  tikhonov-regularization 

मैंने देखा है कि, औसतन, पियरसन सहसंबंध गुणांक का पूर्ण मूल्य किसी भी जोड़ी के लिए एक निरंतर करीब है जो कि यादृच्छिक लंबाई की परवाह किए बिना चलता है।0.560.42 क्या कोई इस घटना की व्याख्या कर सकता है? मुझे उम्मीद थी कि सहसंबंध छोटे होने के साथ-साथ चलने की …

27 time-series  correlation  stationarity  random-walk 

हम जानते हैं कि कुछ उद्देश्य कार्यों को अनुकूलित करना आसान है और कुछ कठिन हैं। और कई नुकसान कार्य हैं जिन्हें हम उपयोग करना चाहते हैं लेकिन मुश्किल से उपयोग करते हैं, उदाहरण के लिए 0-1 नुकसान। तो हमें काम करने के लिए कुछ प्रॉक्सी लॉस फंक्शन्स मिलते हैं। …

27 machine-learning  classification  optimization  loss-functions 

कई सांख्यिकीविदों का कहना है कि "सहसंबंध का कोई मतलब नहीं है।" यह निश्चित रूप से सच है, लेकिन एक बात जो यहां निहित है, वह यह है कि सहसंबंध का बहुत कम या कोई मूल्य नहीं है। क्या ये सच है? क्या यह ज्ञान होना बेकार है कि दो …

27 correlation  predictive-models  causality 

मैं गैर रेखीय प्रतिगमन SAS गैर रेखीय पर निम्न लिंक पढ़ रहा था । पहला खंड "नॉनलाइनर रिग्रेशन बनाम रैखिक रिग्रेशन" को पढ़ने से मेरी समझ यह थी कि नीचे दिया गया समीकरण वास्तव में एक रेखीय प्रतिगमन है, क्या यह सही है? यदि हां तो क्यों? y= बी1एक्स3+ बी2एक्स2+ …

27 regression  multiple-regression  nonlinear-regression  multicollinearity 

सामान्य अर्थ, कि यह वेक्टर यू और वैक्टर V के सेट के बीच समानता रैंकिंग के लिए समान परिणाम देगा । मेरे पास एक वेक्टर स्पेस मॉडल है जिसमें मापदंडों के रूप में दूरी माप (यूक्लिडियन दूरी, कोसाइन समानता) और सामान्यीकरण तकनीक (कोई नहीं, एल 1, एल 2) है। मेरी …

27 normalization  natural-language  euclidean  cosine-distance  cosine-similarity 

जब मैंने पहली बार आँकड़ों को सीखना शुरू किया, तो टी-टेस्ट, एनोवा, ची-स्क्वेर्ड और लीनियर रिग्रेशन जैसी प्रक्रियाएँ बहुत अलग-अलग प्राणियों की प्रतीत हुईं। लेकिन अब मुझे एहसास है कि ये प्रक्रियाएं कमोबेश एक ही काम करती हैं। और इसी तरह, भिन्नता, अवशिष्ट, मानक त्रुटि और माध्य जैसे मान भी …

27 definition 

स्टोकेस्टिक प्रक्रिया एक प्रक्रिया है जो समय के साथ विकसित होती है, तो क्या यह वास्तव में "टाइम सीरीज़" कहने का एक कट्टर तरीका है?

27 time-series  stochastic-processes  definition