entropy पर टैग किए गए जवाब

सूत्रों का हवाला दिए बिना, विकिपीडिया असतत वितरण पी और क्यू के क्रॉस-एंट्रोपी को परिभाषित करता हैपीपीPक्यूक्यूQ एच×( पी; क्यू )= - ∑एक्सपी ( एक्स )लॉगक्ष( x ) ।एच×(पी;क्यू)=-Σएक्सपी(एक्स)लॉग⁡क्ष(एक्स)।\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} इस मात्रा का उपयोग शुरू करने के लिए सबसे पहले कौन था? और …

15 information-theory  entropy 

मैं एफर्टिनिटी प्रॉपेगोरिथम एल्गोरिथ्म का उपयोग करके प्रायिकता के वितरण को रोक रहा हूं, और मेरी दूरी मीट्रिक के रूप में जेन्सेन-शैनन डाइवर्जेंस का उपयोग करने की है। क्या जेएसडी को दूरी, या जेएसडी वर्ग के रूप में उपयोग करना सही है? क्यों? एक या दूसरे को चुनने से क्या …

15 machine-learning  clustering  entropy  distance-functions 

मैंने सोचा था कि विशिष्ट सेट की अवधारणा बहुत सहज था कि: लंबाई का एक अनुक्रम nnn विशिष्ट सेट के हैं जाएगा अगर अनुक्रम बाहर आने की संभावना अधिक थी। तो, कोई भी अनुक्रम जो संभव था वह । (मैं एन्ट्रापी से संबंधित औपचारिक परिभाषा से बच रहा हूं क्योंकि …

15 entropy  intuition  information-theory 

यह प्रश्न सूत्र के रूप में, क्रॉस एन्ट्रॉपी की मात्रात्मक परिभाषा देता है। मैं एक और अधिक महत्वपूर्ण परिभाषा की तलाश में हूं, विकिपीडिया कहता है: सूचना सिद्धांत में, दो प्रायिकता वितरण के बीच क्रॉस एन्ट्रापी संभावनाओं के एक समूह से किसी घटना की पहचान करने के लिए आवश्यक बिट्स …

15 entropy  information-theory 

मैंने हाल ही में एक असतत संभावना वितरण के एन्ट्रापी पर इस लेख को पढ़ा । यह अपेक्षित संख्या बिट्स के रूप में एन्ट्रॉपी के बारे में सोचने का एक अच्छा तरीका बताता है (कम से कम जब आपके एन्ट्रापी परिभाषा में का उपयोग करते हुए ) एक संदेश को …

15 entropy  information-theory 

जब कोवरियन मैट्रिक्स के आइजनवेक्टरों को देखते हैं, तो हमें अधिकतम विचरण की दिशाएँ मिलती हैं (पहला ईजनवेक्टर वह दिशा है जिसमें डेटा सबसे भिन्न होता है, आदि); इसे प्रधान घटक विश्लेषण (PCA) कहा जाता है। मैं सोच रहा था कि आपसी सूचना मैट्रिक्स के eigenvectors / मूल्यों को देखने …

14 pca  entropy  mutual-information  eigenvalues 

एक मनमाने ढंग से निरंतर यादृच्छिक चर के लिए, कहें , क्या इसका अंतर हमेशा से कम है ? (यह ठीक है अगर यह है ।) यदि नहीं, तो क्या आवश्यक है और इसके लिए पर्याप्त स्थिति से कम है ?XXX∞∞\infty−∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

घनत्व फ़ंक्शन च के साथ एक निरंतर वितरण की एन्ट्रोपी को लॉग ( एफ ) की अपेक्षा के नकारात्मक के रूप में परिभाषित किया गया है , और इसलिए मानदंडचffलॉग( च) ,log⁡(f),\log(f), एचच= - ∫∞- ∞लॉग( च( x ) ) च( X ) घ एक्स ।Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. …

14 distributions  data-transformation  entropy 

क्या प्रति-प्रवेश लागत प्रतिगमन के संदर्भ में समझ में आता है (वर्गीकरण के विपरीत)? यदि हां, तो आप TensorFlow के माध्यम से एक खिलौना उदाहरण दे सकते हैं? यदि नहीं, तो क्यों नहीं? मैं माइकल नील्सन द्वारा न्यूरल नेटवर्क्स और डीप लर्निंग में क्रॉस-एंट्रोपी के बारे में पढ़ रहा था …

14 regression  entropy  tensorflow  cross-entropy 

मैं निम्नलिखित प्रमाण के चारों ओर अपना सिर लाने की कोशिश कर रहा हूं कि गॉसियन में अधिकतम एन्ट्रॉपी है। तारांकित कदम कैसे समझ में आता है? एक विशिष्ट सहसंयोजक केवल दूसरे क्षण को ठीक करता है। तीसरे, चौथे, पाँचवे क्षणों आदि का क्या होता है?

13 entropy  information-theory  maximum-entropy 

तो, यह सवाल कुछ हद तक शामिल है, लेकिन मैंने श्रमसाध्य रूप से इसे सीधे-सीधे संभव बनाने की कोशिश की है। लक्ष्य: लंबी कहानी संक्षेप में, नकारात्मकता की एक व्युत्पत्ति है जिसमें उच्च आदेश सहकर्मी शामिल नहीं हैं, और मैं यह समझने की कोशिश कर रहा हूं कि यह कैसे …

13 distributions  probability  pdf  entropy 

वहाँ मात्रा के लिए किसी भी उपयोग है आँकड़े या सूचना सिद्धांत में?∫च( x )2घएक्स∫f(x)2dx \int f(x)^2 dx

13 probability  entropy  information-theory 

गाऊसी आर.वी. का अंतर एन्ट्रापी है । इस पर निर्भर हैσ, जो मानक विचलन है।लॉग2( σ2 πइ---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma अगर हम रैंडम वेरिएबल को नॉर्मल कर देते हैं ताकि इसमें यूनिट वैरिएंट की डिफरेंशियल एन्ट्रापी ड्रॉप्स हो जाएं। मेरे लिए यह प्रति-सहज ज्ञान युक्त है क्योंकि एंट्रोपी में कमी की …

13 information-theory  entropy  randomness 

मेरे पास एक बहुत बड़ा डेटासेट है और लगभग 5% यादृच्छिक मूल्य गायब हैं। ये चर एक दूसरे के साथ सहसंबद्ध हैं। निम्नलिखित उदाहरण R डाटासेट केवल एक खिलौना उदाहरण है जिसमें डमी सहसंबद्ध डेटा है। set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

एन्ट्रापी की गणना करने के लिए मैंने निम्नलिखित फ़ंक्शन लागू किया: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum परिणाम: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using …

11 mathematical-statistics  python  entropy