सांख्यिकी और बिग डेटा

मैं यह जानना चाहूंगा कि क्या वर्गीकरण के लिए मूल डेटासेट को प्रशिक्षण और परीक्षण में विभाजित करते समय यादृच्छिक नमूने के बजाय स्तरीकृत नमूने का उपयोग करने के कोई / कुछ फायदे हैं। इसके अलावा, स्तरीकृत नमूने यादृच्छिक नमूनाकरण की तुलना में क्लासिफायर में अधिक पूर्वाग्रह का परिचय देता …

21 classification  cross-validation  random-forest  train  stratification 

मैं थोड़ा सा ऑटोएन्कोडर्स प्रयोग कर रहा हूं, और टेंसरफ़्लो के साथ मैंने एक मॉडल बनाया जो एमएनआईएसटी डेटासेट के पुनर्निर्माण की कोशिश करता है। मेरा नेटवर्क बहुत सरल है: एक्स, ई 1, ई 2, डी 1, वाई, जहां ई 1 और ई 2 एन्कोडिंग परतें हैं, डी 2 और …

21 mse  autoencoders  tensorflow  cross-entropy 

उदाहरण के लिए, फ़ंक्शन R, MASS::mvrnorm()आंकड़ों में विभिन्न चीजों को प्रदर्शित करने के लिए डेटा उत्पन्न करने के लिए उपयोगी है। यह एक अनिवार्य Sigmaतर्क लेता है जो एक सममित मैट्रिक्स है जो चर के सहसंयोजक मैट्रिक्स को निर्दिष्ट करता है। मैं मनमानी प्रविष्टियों के साथ एक सममित n×nn×nn\times n …

21 r  random-generation  covariance-matrix 

एक वेक्टर पर सॉफ्टमैक्स फ़ंक्शन को लागू करने से "संभावनाएं" और और बीच मान उत्पन्न होंगे । 000111 लेकिन हम प्रत्येक मान को वेक्टर के योग से विभाजित कर सकते हैं और यह और बीच संभावनाओं और मूल्यों का उत्पादन करेगा ।000111 मैं यहाँ पर उत्तर पढ़ता हूं लेकिन यह …

20 machine-learning  neural-networks  softmax 

मेरे पास दो चर हैं जो एक दूसरे के खिलाफ साजिश रचने के दौरान बहुत सहसंबंध नहीं दिखाते हैं, लेकिन एक बहुत स्पष्ट रैखिक संबंध है जब मैं प्रत्येक चर के लॉग को फिर से दूसरे को साजिश करता हूं। तो मैं टाइप के एक मॉडल के साथ समाप्त होगा: …

20 regression  correlation  log 

की Tensorflow के क्रियान्वयन में ResNet , मैं वे विचरण स्केलिंग प्रारंभकर्ता उपयोग करते हैं, मैं भी जेवियर खोजने के प्रारंभकर्ता लोकप्रिय है पाते हैं। मुझे इस पर बहुत अधिक अनुभव नहीं है, जो अभ्यास में बेहतर है?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

मैंने ओवरफिटिंग और अंडरफिटिंग के बारे में कुछ शोध किया है, और मैंने समझा है कि वे वास्तव में क्या हैं, लेकिन मैं इसके कारणों का पता नहीं लगा सकता। ओवरफिटिंग और अंडरफिटिंग के मुख्य कारण क्या हैं? हम एक मॉडल को प्रशिक्षित करने में इन दो समस्याओं का सामना …

20 machine-learning  dataset  overfitting 

मैं कुछ डेटा के साथ काम कर रहा हूं जिसमें बार-बार माप के साथ कुछ समस्याएं हैं। ऐसा करने में मैंने अपने परीक्षण डेटा का उपयोग करने के बीच बहुत अलग व्यवहार देखा lme()और lmer()जानना चाहा कि क्यों। मेरे द्वारा बनाए गए नकली डेटा सेट में 10 विषयों के लिए …

20 r  mixed-model  lme4-nlme 

निम्नलिखित उद्धरण स्टोरी और टिबशिरानी (2003) द्वारा जीनोम विस्तृत अध्ययन के लिए प्रसिद्ध शोध पत्र सांख्यिकीय महत्व से आता है : उदाहरण के लिए, 5% की एक झूठी सकारात्मक दर का मतलब है कि अध्ययन में वास्तव में शून्य सुविधाओं के औसतन 5% को महत्वपूर्ण कहा जाएगा। 5% की FDR …

20 hypothesis-testing  false-discovery-rate  type-i-and-ii-errors  confusion-matrix  false-positive-rate 

मैं स्कैपी में कुछ काम कर रहा था और w / कोर स्कैपी समूह के एक सदस्य ने बातचीत की थी कि क्या एक गैर-नकारात्मक असतत रैंडम वैरिएबल एक अपरिभाषित पल हो सकता है। मुझे लगता है कि वह सही है लेकिन उसके पास कोई सबूत नहीं है। क्या कोई …

20 mathematical-statistics  expected-value 

मैं आर में एक प्रोग्राम लिखने की कोशिश कर रहा हूं जो संचयी वितरण फ़ंक्शन के साथ वितरण से छद्म यादृच्छिक संख्याओं का अनुकरण करता है: एफ( x ) = 1 - ऍक्स्प- ( ए एक्स - बीपी + 1एक्सपी + 1) ,x ≥ 0एफ(एक्स)=1-exp⁡(-एएक्स-खपी+1एक्सपी+1),एक्स≥0F(x)= 1-\exp \left(-ax-\frac{b}{p+1}x^{p+1}\right), \quad x \geq …

20 r  random-generation 

यह रोजमर्रा की संभावना (क्वांटम भौतिकी नहीं) की तरह लगता है, संभावनाएं वास्तव में एक अज्ञात के लिए सिर्फ एक विकल्प हैं। उदाहरण के लिए एक सिक्का फ्लिप करें। हम कहते हैं कि यह "यादृच्छिक" है, सिर का 50% परिवर्तन और पूंछ का 50% मौका है। हालाँकि, अगर मुझे पता …

20 probability  philosophical 

मुझे बस एहसास हुआ कि मैंने हमेशा प्रतिगमन समस्या का काम किया है जहां स्वतंत्र चर हमेशा संख्यात्मक होते थे। क्या मैं उस मामले में रैखिक प्रतिगमन का उपयोग कर सकता हूं जहां सभी स्वतंत्र चर श्रेणीगत हैं?

20 regression  categorical-data 

क्या एक उदाहरण है जहां आनुपातिक संभावना के साथ दो अलग-अलग रक्षात्मक परीक्षण एक को स्पष्ट रूप से अलग (और समान रूप से रक्षात्मक) इनवॉइस तक ले जाएंगे , उदाहरण के लिए, जहां पी-मान दूर-दूर तक परिमाण का क्रम है, लेकिन विकल्प के लिए शक्ति समान है? मेरे द्वारा देखे …

20 mathematical-statistics  likelihood  philosophical  likelihood-principle 

मैं "स्टैक्ड LSTM फॉर सीक्वेंस वर्गीकरण" नाम के केरस प्रलेखन में वर्णित उदाहरण का उपयोग करने की कोशिश कर रहा हूं (नीचे कोड देखें) और input_shapeअपने डेटा के संदर्भ में पैरामीटर का पता नहीं लगा सकता । मेरे पास इनपुट के रूप में 25 संभावित वर्णों के दृश्यों का एक …

20 lstm  keras  shape  dimensions