entropy पर टैग किए गए जवाब

एक गणितीय मात्रा जिसे एक यादृच्छिक चर की यादृच्छिकता की मात्रा को मापने के लिए डिज़ाइन किया गया है।

3
"क्रॉस एन्ट्रॉपी" की परिभाषा और उत्पत्ति
सूत्रों का हवाला दिए बिना, विकिपीडिया असतत वितरण पी और क्यू के क्रॉस-एंट्रोपी को परिभाषित करता हैपीपीPक्यूक्यूQ एच×( पी; क्यू )= - ∑एक्सपी ( एक्स )लॉगक्ष( x ) ।एच×(पी;क्यू)=-Σएक्सपी(एक्स)लॉग⁡क्ष(एक्स)।\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} इस मात्रा का उपयोग शुरू करने के लिए सबसे पहले कौन था? और …

1
क्लस्टरिंग: क्या मुझे जेन्सेन-शैनन डायवर्जेंस या इसके वर्ग का उपयोग करना चाहिए?
मैं एफर्टिनिटी प्रॉपेगोरिथम एल्गोरिथ्म का उपयोग करके प्रायिकता के वितरण को रोक रहा हूं, और मेरी दूरी मीट्रिक के रूप में जेन्सेन-शैनन डाइवर्जेंस का उपयोग करने की है। क्या जेएसडी को दूरी, या जेएसडी वर्ग के रूप में उपयोग करना सही है? क्यों? एक या दूसरे को चुनने से क्या …

4
विशिष्ट सेट अवधारणा
मैंने सोचा था कि विशिष्ट सेट की अवधारणा बहुत सहज था कि: लंबाई का एक अनुक्रम nnn विशिष्ट सेट के हैं जाएगा अगर अनुक्रम बाहर आने की संभावना अधिक थी। तो, कोई भी अनुक्रम जो संभव था वह । (मैं एन्ट्रापी से संबंधित औपचारिक परिभाषा से बच रहा हूं क्योंकि …

1
गुणात्मक रूप से क्रॉस एंट्रॉपी क्या है
यह प्रश्न सूत्र के रूप में, क्रॉस एन्ट्रॉपी की मात्रात्मक परिभाषा देता है। मैं एक और अधिक महत्वपूर्ण परिभाषा की तलाश में हूं, विकिपीडिया कहता है: सूचना सिद्धांत में, दो प्रायिकता वितरण के बीच क्रॉस एन्ट्रापी संभावनाओं के एक समूह से किसी घटना की पहचान करने के लिए आवश्यक बिट्स …

1
अंतर एंट्रोपी की व्याख्या कैसे करें?
मैंने हाल ही में एक असतत संभावना वितरण के एन्ट्रापी पर इस लेख को पढ़ा । यह अपेक्षित संख्या बिट्स के रूप में एन्ट्रॉपी के बारे में सोचने का एक अच्छा तरीका बताता है (कम से कम जब आपके एन्ट्रापी परिभाषा में का उपयोग करते हुए ) एक संदेश को …

1
आपसी सूचना मैट्रिक्स के आइजनवेक्टर का अर्थ क्या है?
जब कोवरियन मैट्रिक्स के आइजनवेक्टरों को देखते हैं, तो हमें अधिकतम विचरण की दिशाएँ मिलती हैं (पहला ईजनवेक्टर वह दिशा है जिसमें डेटा सबसे भिन्न होता है, आदि); इसे प्रधान घटक विश्लेषण (PCA) कहा जाता है। मैं सोच रहा था कि आपसी सूचना मैट्रिक्स के eigenvectors / मूल्यों को देखने …

1
क्या अंतर एन्ट्रापी हमेशा अनंत से कम होती है?
एक मनमाने ढंग से निरंतर यादृच्छिक चर के लिए, कहें , क्या इसका अंतर हमेशा से कम है ? (यह ठीक है अगर यह है ।) यदि नहीं, तो क्या आवश्यक है और इसके लिए पर्याप्त स्थिति से कम है ?XXX∞∞\infty−∞−∞-\infty∞∞\infty

1
एन्ट्रापी स्थान और पैमाने पर कैसे निर्भर करती है?
घनत्व फ़ंक्शन च के साथ एक निरंतर वितरण की एन्ट्रोपी को लॉग ( एफ ) की अपेक्षा के नकारात्मक के रूप में परिभाषित किया गया है , और इसलिए मानदंडचffलॉग( च) ,log⁡(f),\log(f), एचच= - ∫∞- ∞लॉग( च( x ) ) च( X ) घ एक्स ।Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. …

5
क्या प्रतिगमन लागत संदर्भ के संदर्भ में समझ में आता है?
क्या प्रति-प्रवेश लागत प्रतिगमन के संदर्भ में समझ में आता है (वर्गीकरण के विपरीत)? यदि हां, तो आप TensorFlow के माध्यम से एक खिलौना उदाहरण दे सकते हैं? यदि नहीं, तो क्यों नहीं? मैं माइकल नील्सन द्वारा न्यूरल नेटवर्क्स और डीप लर्निंग में क्रॉस-एंट्रोपी के बारे में पढ़ रहा था …

2
सिद्ध करें कि एक निश्चित सहसंयोजक मैट्रिक्स के साथ अधिकतम एन्ट्रापी वितरण एक गाऊसी है
मैं निम्नलिखित प्रमाण के चारों ओर अपना सिर लाने की कोशिश कर रहा हूं कि गॉसियन में अधिकतम एन्ट्रॉपी है। तारांकित कदम कैसे समझ में आता है? एक विशिष्ट सहसंयोजक केवल दूसरे क्षण को ठीक करता है। तीसरे, चौथे, पाँचवे क्षणों आदि का क्या होता है?

1
निहारिका का उद्धार करना। फँस गया हूँ
तो, यह सवाल कुछ हद तक शामिल है, लेकिन मैंने श्रमसाध्य रूप से इसे सीधे-सीधे संभव बनाने की कोशिश की है। लक्ष्य: लंबी कहानी संक्षेप में, नकारात्मकता की एक व्युत्पत्ति है जिसमें उच्च आदेश सहकर्मी शामिल नहीं हैं, और मैं यह समझने की कोशिश कर रहा हूं कि यह कैसे …


1
विभेदक एन्ट्रापी
गाऊसी आर.वी. का अंतर एन्ट्रापी है । इस पर निर्भर हैσ, जो मानक विचलन है।लॉग2( σ2 πइ---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma अगर हम रैंडम वेरिएबल को नॉर्मल कर देते हैं ताकि इसमें यूनिट वैरिएंट की डिफरेंशियल एन्ट्रापी ड्रॉप्स हो जाएं। मेरे लिए यह प्रति-सहज ज्ञान युक्त है क्योंकि एंट्रोपी में कमी की …

5
बहुत बड़ी संख्या में डेटा बिंदुओं में मानों की प्रतिरूपण कैसे करें?
मेरे पास एक बहुत बड़ा डेटासेट है और लगभग 5% यादृच्छिक मूल्य गायब हैं। ये चर एक दूसरे के साथ सहसंबद्ध हैं। निम्नलिखित उदाहरण R डाटासेट केवल एक खिलौना उदाहरण है जिसमें डमी सहसंबद्ध डेटा है। set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

3
मुझे 1 से अधिक एन्ट्रापी की जानकारी क्यों मिल रही है?
एन्ट्रापी की गणना करने के लिए मैंने निम्नलिखित फ़ंक्शन लागू किया: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum परिणाम: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using …

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.