सांख्यिकी और बिग डेटा

मैं समझता हूं कि हम कम से कम वर्गों के प्रतिगमन समस्या में नियमितीकरण को नियोजित कर सकते हैं w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] और इस समस्या का एक बंद-रूप समाधान है: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. हम देखते हैं कि 2 समीकरण में, नियमितीकरण बस λλ\lambda को …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

एसवीएम एल्गोरिथ्म काफी पुराना है - यह 1960 के दशक में विकसित किया गया था, लेकिन 1990 और 2000 के दशक में बेहद लोकप्रिय था। यह मशीन सीखने के पाठ्यक्रमों का एक शास्त्रीय (और काफी सुंदर) हिस्सा है। आज ऐसा लगता है कि मीडिया प्रसंस्करण (चित्र, ध्वनि आदि) में तंत्रिका …

10 machine-learning  svm 

क्या कोई पेरेटो वितरण और केंद्रीय सीमा प्रमेय (जैसे यह लागू होता है? क्यों / क्यों नहीं?) के बीच के रिश्ते का एक सरल (व्यक्ति को) स्पष्टीकरण प्रदान कर सकता है। मैं निम्नलिखित कथन को समझने की कोशिश कर रहा हूं: "केंद्रीय सीमा प्रमेय हर वितरण के साथ काम नहीं …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

मैं विभेदक विश्लेषण का अध्ययन कर रहा हूं, लेकिन मुझे कई अलग-अलग स्पष्टीकरणों को समेटने में मुश्किल समय आ रहा है। मेरा मानना ​​है कि मुझे कुछ याद आ रहा है, क्योंकि मैंने पहले कभी भी विसंगति के इस (प्रतीत) स्तर का सामना नहीं किया है। यह कहा जा रहा …

10 multivariate-analysis  discriminant-analysis 

मैं एमआरआई डेटा पर एक मैटलैब विश्लेषण कर रहा हूं जहां मैंने पीसीए को मैट्रिक्स आकार 10304x236 पर प्रदर्शन किया है जहां 10304 वॉक्सल्स की संख्या है (उन्हें पिक्सेल के रूप में सोचो) और 236 टाइमपॉइंट की संख्या है। पीसीए मुझे 236 ईजेंवल और उनके संबंधित गुणांक देता है। यह …

10 pca  eigenvalues  neuroimaging 

मेरे पास निम्न असतत वितरण है, जहां ज्ञात स्थिरांक हैं:α,βα,β\alpha,\beta p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,…p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots इस वितरण से कुशलता से नमूना लेने के लिए कुछ दृष्टिकोण क्या हैं?

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

आवश्यक पैकेज लोड करें। library(ggplot2) library(MASS) गामा वितरण के लिए फिट 10,000 संख्या उत्पन्न करें। x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] संभावना घनत्व फ़ंक्शन ड्रा करें, माना जाता है कि हम नहीं जानते हैं कि कौन सा वितरण x फिट है। t1 <- as.data.frame(table(x)) names(t1) <- …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

प्रायोगिक अध्ययन में भाग लेने के लिए मनोवैज्ञानिक विज्ञापनों को देखकर मैं हमेशा थोड़ा आश्चर्यचकित रह जाता हूं। निश्चित रूप से, जो लोग इन विज्ञापनों का जवाब देते हैं, वे बेतरतीब ढंग से नमूना नहीं होते हैं और इसलिए वे स्व-चयनित आबादी हैं। क्योंकि यह ज्ञात है कि यादृच्छिककरण स्व-चयन …

10 sampling  psychology  random-allocation 

मैं एनोवा सीखना चाहता हूं। इससे पहले कि मैं सीखना शुरू करूं कि एल्गोरिथ्म कैसे काम करता है (क्या गणना की जानी है) और यह क्यों काम करता है, मैं सबसे पहले यह जानना चाहता हूं कि हम वास्तव में एनोवा के साथ क्या समस्या हल करते हैं, या हम …

10 anova 

मेरे लेक्चर नोट्स में यह कहा गया है, टी-वितरण सामान्य जैसा दिखता है, हालांकि थोड़ा भारी पूंछ के साथ। मैं समझता हूं कि यह सामान्य (केंद्रीय सीमा प्रमेय के कारण) क्यों दिखाई देगा। लेकिन मुझे यह समझने में कठिन समय हो रहा है कि गणितीय रूप से कैसे साबित किया …

10 normal-distribution  t-distribution  heavy-tailed 

मैं पारस्परिक जानकारी का उपयोग करके दो चर, ए और बी के बीच संबंध को निर्धारित करना चाहता हूं। गणना करने का तरीका प्रेक्षणों को कम करके है (नीचे उदाहरण पायथन कोड देखें)। हालांकि, कौन से कारक निर्धारित करते हैं कि डिब्बे की संख्या क्या उचित है? मुझे जल्दी होने …

10 information-theory  mutual-information  binning 

मैं आरएनएन की वास्तुकला को समझने की कोशिश कर रहा हूं। मुझे यह ट्यूटोरियल मिला है जो बहुत मददगार रहा है: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ विशेष रूप से यह छवि: यह फ़ीड-फ़ॉरवर्ड नेटवर्क में कैसे फिट होता है? क्या यह छवि प्रत्येक परत में सिर्फ एक और नोड है?

10 neural-networks  lstm 

प्रसंग मैं यह समझने की कोशिश कर रहा हूं कि आर का कॉक्सफ़ () विषयों के लिए दोहराई गई प्रविष्टियों को स्वीकार करता है और संभालता है (या यदि आप चाहें तो रोगी / ग्राहक)। कुछ लोग इसे लंबे प्रारूप कहते हैं, अन्य इसे 'दोहराए गए उपाय' कहते हैं। उदाहरण …

10 r  repeated-measures  survival  cox-model  frailty 

डेटा श्रेणी के बाहर प्रतिगमन का उपयोग करने के बारे में आपके विचार क्या हैं? अगर हमें यकीन है कि यह एक रैखिक या पावर मॉडल आकार का अनुसरण करता है, तो क्या मॉडल डेटा रेंज से परे उपयोगी नहीं हो सकता है? उदाहरण के लिए मेरे पास मूल्य द्वारा …

10 regression  dataset  linear-model 

मेरे पास 1-डी यादृच्छिक चर है जो बेहद तिरछा है। इस वितरण को सामान्य करने के लिए, मैं माध्य के बजाय माध्यिका का उपयोग करना चाहता हूं। मेरा सवाल यह है: क्या मैं माध्य के बजाय सूत्र में माध्यिका का उपयोग करके वितरण के विचरण की गणना कर सकता हूं? …

10 variance  mean  median