information-theory पर टैग किए गए जवाब

एक चैनल की क्षमता को निर्धारित करने के लिए गणित / सांख्यिकी की एक शाखा का उपयोग किया जाता है, चाहे वह जो संचार के लिए उपयोग की जाती हो या जो एक सार अर्थ में परिभाषित हो। एन्ट्रॉपी एक उपाय है जिसके द्वारा सूचना सिद्धांतकार एक यादृच्छिक चर की भविष्यवाणी करने में शामिल अनिश्चितता की मात्रा निर्धारित कर सकते हैं।

2
संभाव्यता के रूप में पारस्परिक जानकारी
संयुक्त एन्ट्रापी के बारे में परस्पर जानकारी: 0 ≤ मैं( एक्स), वाई)एच( एक्स), वाई)≤ १0≤मैं(एक्स,Y)एच(एक्स,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 के रूप में परिभाषित किया जा सकता है: "X से Y तक जानकारी का एक टुकड़ा संप्रेषित करने की संभावना"? मुझे इतना भोला होने के लिए खेद है, लेकिन मैंने …

1
क्या आपसी जानकारी हासिल करने का मूल्य 1 से अधिक हो सकता है
मुझे बहुत बुनियादी संदेह है। क्षमा करें यदि यह कुछ परेशान करता है। मुझे पता है कि म्युचुअल सूचना मूल्य 0 से अधिक होना चाहिए, लेकिन क्या यह 1 से कम होना चाहिए? क्या यह किसी ऊपरी मूल्य से बंधा है? धन्यवाद, अमित।

3
सूचना सिद्धांत केंद्रीय सीमा प्रमेय
सूचना सिद्धांत सीएलटी का सबसे सरल रूप निम्नलिखित है: चलो आईआईडी मतलब के साथ हो सकता है और विचरण । बता दें कि सामान्यीकृत योग और का मानक गाऊसी घनत्व है। फिर सूचना सिद्धांत सीएलटी कहता है कि, यदि कुछ n के लिए परिमित है , तो D (f_n \ …

2
कार्ड के दो डेक के बीच सहसंबंध?
मैंने एक ओवरहैंड कार्ड फेरबदल करने के लिए एक कार्यक्रम लिखा है । प्रत्येक कार्ड को क्रमांकित किया गया है, जिसमें से सूट जा रहा है CLUBS, DIAMONDS, HEARTS, SPADESऔर रैंक दो से दस तक जैक, क्वीन, किंग और ऐस। इस प्रकार दो क्लबों की संख्या 1 है, तीनों क्लबों …

2
पीसीए फिट की गुणवत्ता का आकलन करने के लिए अच्छे मैट्रिक्स क्या हैं, ताकि घटकों की संख्या का चयन किया जा सके?
प्रमुख घटक विश्लेषण (पीसीए) की गुणवत्ता का आकलन करने के लिए एक अच्छा मीट्रिक क्या है? मैंने एक एल्गोरिथ्म पर इस एल्गोरिथ्म का प्रदर्शन किया। मेरा उद्देश्य सुविधाओं की संख्या को कम करना था (जानकारी बहुत बेमानी थी)। मुझे पता है कि हमारे पास रखी गई भिन्नता का प्रतिशत इस …

3
क्या आयाम में कमी हमेशा कुछ जानकारी खो देती है?
जैसे शीर्षक कहता है, क्या आयाम में कमी हमेशा कुछ जानकारी खो देती है? उदाहरण के लिए पीसीए पर विचार करें। यदि मेरे पास मौजूद डेटा बहुत विरल है, तो मुझे लगता है कि "बेहतर एन्कोडिंग" पाया जा सकता है (क्या यह किसी भी तरह डेटा की रैंक से संबंधित …

1
आपसी जानकारी की गणना कैसे करें?
मैं थोड़ा असमंजस में हूँ। क्या कोई मुझे समझा सकता है कि दो टर्म के बीच आपसी जानकारी की गणना कैसे करें, बाइनरी टर्म घटना के साथ एक टर्म-डॉक्यूमेंट मैट्रिक्स के आधार पर वजन? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 …

3
मतलाब में आपसी जानकारी का उपयोग करके सुविधा का चयन
मैं चयन करने की सुविधा के लिए पारस्परिक जानकारी के विचार को लागू करने की कोशिश कर रहा हूं, जैसा कि इन व्याख्यान नोट्स (पृष्ठ 5 पर) में वर्णित है । मेरा मंच मतलब है। अनुभवजन्य डेटा से पारस्परिक जानकारी की गणना करते समय मुझे एक समस्या यह है कि …

2
परिकल्पना परीक्षण और कुल भिन्नता बनाम कुल्बैक-लिबलर विचलन
अपने शोध में मैंने निम्नलिखित सामान्य समस्या में भाग लिया है: मेरे पास दो वितरण और एक ही डोमेन पर हैं, और उन वितरणों से नमूनों की एक बड़ी (लेकिन परिमित) संख्या है। नमूने स्वतंत्र रूप से और जानबूझकर इन दो वितरणों में से एक से वितरित किए जाते हैं …

3
हाइपरप्लेन डेटा को वर्गीकृत करते हैं जब इनपुट सशर्त रूप से स्वतंत्र होते हैं - क्यों?
डीप लर्निंग और इंफॉर्मेशन टोंटीलेक प्रिंसिपल नामक पेपर में लेखक II को सेक्शन II A में लिखते हैं : एकल न्यूरॉन्स केवल रेखीय रूप से वियोज्य इनपुट को वर्गीकृत करते हैं, क्योंकि वे अपने इनपुट स्थान में केवल हाइपरप्लेन को लागू कर सकते हैं u=wh+bu=wh+bu = wh+b। हाइपरप्लेन डेटा को …

2
सामान्य और द्विपद मॉडल पर, हमेशा पूर्व विचरण की तुलना में कम विचरण होता है?
या किन शर्तों की गारंटी देता है? सामान्य तौर पर (और न केवल सामान्य और द्विपद मॉडल) मुझे लगता है कि मुख्य कारण यह दावा टूट गया है कि नमूना मॉडल और पूर्व के बीच असंगति है, लेकिन और क्या है? मैं इस विषय से शुरू कर रहा हूं, इसलिए …

2
आपसी जानकारी की गणना करते समय डिब्बे की संख्या
मैं पारस्परिक जानकारी का उपयोग करके दो चर, ए और बी के बीच संबंध को निर्धारित करना चाहता हूं। गणना करने का तरीका प्रेक्षणों को कम करके है (नीचे उदाहरण पायथन कोड देखें)। हालांकि, कौन से कारक निर्धारित करते हैं कि डिब्बे की संख्या क्या उचित है? मुझे जल्दी होने …

1
क्या तंत्रिका नेटवर्क कुशल कोडिंग का उपयोग करते हैं?
मेरा प्रश्न कुशल कोडिंग परिकल्पना के बीच संबंधों की चिंता करता है जो कुशल कोडिंग और तंत्रिका नेटवर्क लर्निंग एल्गोरिदम पर विकिपीडिया पृष्ठ पर उल्लिखित है। कुशल कोडिंग परिकल्पना और तंत्रिका नेटवर्क के बीच क्या संबंध है? क्या कोई तंत्रिका नेटवर्क मॉडल स्पष्ट रूप से कुशल कोडिंग परिकल्पना से प्रेरित …

1
लागू डेटा विज्ञान में सूचना सिद्धांत का उपयोग
आज मैं जेम्स स्टोन द्वारा "सूचना सिद्धांत: एक ट्यूटोरियल परिचय" पुस्तक में भाग गया और लागू डेटा विज्ञान में सूचना सिद्धांत के उपयोग की सीमा के बारे में एक या दो क्षणों के लिए सोचा (यदि आप इसके साथ सहज नहीं हैं, तब भी कुछ अस्पष्ट शब्द हैं,) डेटा विश्लेषण …

2
लॉग-इन (p (x, y)) बिंदु-वार आपसी जानकारी को कैसे सामान्य करता है?
मैं बिंदुवार पारस्परिक जानकारी के सामान्यीकृत रूप को समझने की कोशिश कर रहा हूं। एन पी m i =p m i ( x , y)एल ओ जी( पी ) एक्स , वाई)) )nपीममैं=पीममैं(एक्स,y)एलओजी(पी(एक्स,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} लॉग-संयुक्त संभावना क्यों बिंदुवार पारस्परिक जानकारी को सामान्य बनाता है [-1, 1] के बीच? बिंदु …

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.