information-theory पर टैग किए गए जवाब

एक चैनल की क्षमता को निर्धारित करने के लिए गणित / सांख्यिकी की एक शाखा का उपयोग किया जाता है, चाहे वह जो संचार के लिए उपयोग की जाती हो या जो एक सार अर्थ में परिभाषित हो। एन्ट्रॉपी एक उपाय है जिसके द्वारा सूचना सिद्धांतकार एक यादृच्छिक चर की भविष्यवाणी करने में शामिल अनिश्चितता की मात्रा निर्धारित कर सकते हैं।

3
"क्रॉस एन्ट्रॉपी" की परिभाषा और उत्पत्ति
सूत्रों का हवाला दिए बिना, विकिपीडिया असतत वितरण पी और क्यू के क्रॉस-एंट्रोपी को परिभाषित करता हैपीपीPक्यूक्यूQ एच×( पी; क्यू )= - ∑एक्सपी ( एक्स )लॉगक्ष( x ) ।एच×(पी;क्यू)=-Σएक्सपी(एक्स)लॉग⁡क्ष(एक्स)।\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} इस मात्रा का उपयोग शुरू करने के लिए सबसे पहले कौन था? और …
4
विशिष्ट सेट अवधारणा
मैंने सोचा था कि विशिष्ट सेट की अवधारणा बहुत सहज था कि: लंबाई का एक अनुक्रम nnn विशिष्ट सेट के हैं जाएगा अगर अनुक्रम बाहर आने की संभावना अधिक थी। तो, कोई भी अनुक्रम जो संभव था वह । (मैं एन्ट्रापी से संबंधित औपचारिक परिभाषा से बच रहा हूं क्योंकि …
1
गुणात्मक रूप से क्रॉस एंट्रॉपी क्या है
यह प्रश्न सूत्र के रूप में, क्रॉस एन्ट्रॉपी की मात्रात्मक परिभाषा देता है। मैं एक और अधिक महत्वपूर्ण परिभाषा की तलाश में हूं, विकिपीडिया कहता है: सूचना सिद्धांत में, दो प्रायिकता वितरण के बीच क्रॉस एन्ट्रापी संभावनाओं के एक समूह से किसी घटना की पहचान करने के लिए आवश्यक बिट्स …
1
अंतर एंट्रोपी की व्याख्या कैसे करें?
मैंने हाल ही में एक असतत संभावना वितरण के एन्ट्रापी पर इस लेख को पढ़ा । यह अपेक्षित संख्या बिट्स के रूप में एन्ट्रॉपी के बारे में सोचने का एक अच्छा तरीका बताता है (कम से कम जब आपके एन्ट्रापी परिभाषा में का उपयोग करते हुए ) एक संदेश को …
3
संदर्भ जो गाऊसी मिश्रण के उपयोग को सही ठहराते हैं
गाऊसी मिश्रण मॉडल (जीएमएम) अपील कर रहे हैं क्योंकि वे विश्लेषणात्मक और व्यवहार में दोनों के साथ काम करने के लिए सरल हैं, और बहुत अधिक जटिलता के बिना कुछ विदेशी वितरणों को मॉडलिंग करने में सक्षम हैं। कुछ विश्लेषणात्मक गुण हैं जो हमें धारण करने की उम्मीद करनी चाहिए …
1
क्या अंतर एन्ट्रापी हमेशा अनंत से कम होती है?
एक मनमाने ढंग से निरंतर यादृच्छिक चर के लिए, कहें , क्या इसका अंतर हमेशा से कम है ? (यह ठीक है अगर यह है ।) यदि नहीं, तो क्या आवश्यक है और इसके लिए पर्याप्त स्थिति से कम है ?XXX∞∞\infty−∞−∞-\infty∞∞\infty
2
सिद्ध करें कि एक निश्चित सहसंयोजक मैट्रिक्स के साथ अधिकतम एन्ट्रापी वितरण एक गाऊसी है
मैं निम्नलिखित प्रमाण के चारों ओर अपना सिर लाने की कोशिश कर रहा हूं कि गॉसियन में अधिकतम एन्ट्रॉपी है। तारांकित कदम कैसे समझ में आता है? एक विशिष्ट सहसंयोजक केवल दूसरे क्षण को ठीक करता है। तीसरे, चौथे, पाँचवे क्षणों आदि का क्या होता है?
2
महत्व नमूनाकरण द्वारा निर्मित मोंटे कार्लो के अनुमानों पर परिणाम
मैं पिछले एक साल से काफी बारीकी से महत्व के नमूने पर काम कर रहा हूं और कुछ खुले हुए सवाल हैं जिनके साथ मुझे कुछ मदद मिलने की उम्मीद थी। महत्व के नमूने योजनाओं के साथ मेरा व्यावहारिक अनुभव यह रहा है कि वे कभी-कभी शानदार कम-भिन्नता और कम-पूर्वाग्रह …
1
फिशर जानकारी के निर्धारक
(मैंने math.se पर इसी तरह का प्रश्न पोस्ट किया है ।) सूचना ज्यामिति में, फिशर सूचना मैट्रिक्स का निर्धारक एक सांख्यिकीय आयतन पर एक प्राकृतिक आयतन रूप है, इसलिए इसकी एक अच्छी ज्यामितीय व्याख्या है। तथ्य यह है कि यह एक जेफ्री की परिभाषा में पहले से प्रकट होता है, …
1
निरंतर चर और श्रेणीगत चर के बीच सहसंबंध का अनुमान लगाने के लिए आपसी जानकारी का उपयोग करना
शीर्षक के रूप में, विचार एक निरंतर चर और एक श्रेणीगत चर के बीच "सहसंबंध" (परिभाषित के रूप में "मुझे पता है कि जब मैं बी के बारे में कितना जानता हूं") के रूप में अनुमान लगाने के लिए, यहां और एमआई के बाद आपसी जानकारी का उपयोग करना है। …
1
विभेदक एन्ट्रापी
गाऊसी आर.वी. का अंतर एन्ट्रापी है । इस पर निर्भर हैσ, जो मानक विचलन है।लॉग2( σ2 πइ---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma अगर हम रैंडम वेरिएबल को नॉर्मल कर देते हैं ताकि इसमें यूनिट वैरिएंट की डिफरेंशियल एन्ट्रापी ड्रॉप्स हो जाएं। मेरे लिए यह प्रति-सहज ज्ञान युक्त है क्योंकि एंट्रोपी में कमी की …
2
विभिन्न एआईसी की परिभाषा
विकिपीडिया से Akaike की सूचना मानदंड (AIC) की परिभाषा , जहाँ मापदंडों की संख्या है और मॉडल की लॉग-लाइबिलिटी है।k k log LA मैंसी= 2 k - 2 लॉगएलAIC=2k−2log⁡L AIC = 2k -2 \log L कkkलॉगएलlog⁡L\log L हालाँकि, हमारे इकोनोमेट्रिक्स ने एक अच्छी तरह से सम्मानित विश्वविद्यालय में नोट किया …
1
PROC मिश्रित और l / lmer के बीच अंतर R- स्वतंत्रता की डिग्री में
नोट: यह प्रश्न एक रिपॉजिट है, क्योंकि मेरे पिछले प्रश्न को कानूनी कारणों से हटाना पड़ा था। आर में पैकेज lmeसे फ़ंक्शन के साथ एसएएस से PROC MIXED की तुलना करते समय nlme, मैंने कुछ अंतर भ्रामक मतभेदों पर ठोकर खाई। विशेष रूप से, विभिन्न परीक्षणों में स्वतंत्रता की डिग्री …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
5
3 संभावित वितरण के लिए जेनसेन-शैनन विचलन गणना: क्या यह ठीक है?
मैं 3 डिस्ट्रीब्यूशन के बाद जेनसेन-शैनन डायवर्जन की गणना करना चाहूंगा। क्या गणना नीचे सही है? (मैंने विकिपीडिया से JSD के फॉर्मूले का पालन ​​किया ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, …
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.