एन्ट्रॉपी और एसएनआर के बीच संबंध

Question

सामान्य तौर पर किसी भी रूप में एनरोपी को अनिश्चितता या यादृच्छिकता के रूप में परिभाषित किया जाता है। शोर वातावरण में, शोर में वृद्धि के साथ, मेरा मानना ​​है कि जब हम वांछित संकेत की सूचना सामग्री के बारे में अधिक अनिश्चित होते हैं, तो एंट्रोपी बढ़ जाती है। एन्ट्रॉपी और एसएनआर के बीच क्या संबंध है? शोर राशन के लिए संकेत में वृद्धि के साथ, शोर शक्ति कम हो जाती है लेकिन इसका मतलब यह नहीं है कि संकेत की सूचना सामग्री बढ़ जाती है !! सूचना सामग्री समान हो सकती है, तो क्या इसका मतलब है कि एन्ट्रापी अप्रभावित है?

Answer 1

जब आप कहते हैं कि "सूचना सामग्री समान रह सकती है," तो क्या आपका मतलब कुल सिग्नल की जानकारी या वांछित सिग्नल की जानकारी से है? उम्मीद है कि यह दोनों मामलों का जवाब देगा। मुझे पता है कि शैनन एन्ट्रापी कोलमोगोरोव की तुलना में बहुत बेहतर है इसलिए मैं इसका उपयोग करूंगा, लेकिन उम्मीद है कि तर्क अनुवाद करेगा।

मान लें कि आपका कुल सिग्नल ( X ) है, जिसमें आपके वांछित सिग्नल S और आपके शोर घटक N का योग शामिल है । चलो एन्ट्रापी एच कहते हैं । जैसा कि आपने कहा, शोर इसकी जटिलता को बढ़ाकर एक प्रणाली में प्रवेश को जोड़ता है। हालाँकि, यह केवल आवश्यक नहीं है क्योंकि हम सिग्नल की सूचना सामग्री के बारे में अधिक अनिश्चित हैं , लेकिन क्योंकि सिग्नल में कुल अनिश्चितता अधिक है। यदि एसएनआर प्रकार के उपाय हम कितने निश्चित हैं कि हम एस क्या हैं , तो एच ( एक्स ) प्रकार के उपाय हम कितनी अच्छी तरह से भविष्य के एक्स की भविष्यवाणी कर सकते हैं$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$ की वर्तमान स्थिति के आधार पर । शोर या गैर-शोर की संरचना की परवाह किए बिना, एंट्रॉपी पूरे संकेत को कितना जटिल है, इस संबंध में है।$X$

यदि आप शोर को हटाकर एसएनआर बढ़ाते हैं ( ), तो आप कुल सिग्नल एक्स की जटिलता और इस प्रकार इसकी एन्ट्रापी को कम करते हैं। आपने एस द्वारा की गई कोई भी जानकारी नहीं खोई है , केवल (संभवतः अर्थहीन) एन द्वारा की गई जानकारी । यदि N यादृच्छिक शोर है, तो स्पष्ट रूप से यह सार्थक जानकारी नहीं रखता है, लेकिन यह N की स्थिति का वर्णन करने के लिए कुछ निश्चित जानकारी लेता है , जो कि उन राज्यों की संख्या से निर्धारित होता है जो N में हो सकते हैं, और इसमें होने की संभावना है। उन राज्यों में से प्रत्येक। यही एन्ट्रापी है।$N$$X$$S$$N$$N$$N$

हम दो गॉसियन डिस्ट्रीब्यूशन को अलग-अलग वर्जन के साथ देख सकते हैं, कहते हैं कि एक का वेरिएशन और दूसरे का वेरिएशन 100 है । बस एक गाऊसी वितरण के लिए समीकरण को देखते हुए, हम देखते हैं कि वी एक आर = 100 वितरण अधिकतम संभावना है कि केवल है $1$$100$$Var=100$ वीं के मूल्यवीएकआर=1distr की संभावना। इसके विपरीत, इस का अर्थ है कि अधिक से अधिक संभावना है कि यह है किवीएकआर=100distr मतलब के अतिरिक्त अन्य मान ले जाएगा, या एक से अधिक निश्चित है कि है कि वहाँवीएकआर=1वितरण मतलब के पास मान ले जाएगा। तो,वीएकआर=1वितरण की तुलना में कम एन्ट्रापी हैवीएकआर=100वितरण।$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

हमने स्थापित किया कि उच्च विचरण का अर्थ है उच्च एन्ट्रापी। त्रुटि प्रसार को देखते हुए, यह भी सच है कि (स्वतंत्र X , Y के बराबर )। यदि एक्स = एस + एन , तो एन्ट्रापी एच , एच ( एक्स ) = एच ( एस + एन ) के लिए । जबसे$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ (अप्रत्यक्ष रूप से) विचरण का एक कार्य है, हम H ( V a r [ X ] ) = H ( V ( a r [ S + N ] )) कहने के लिए चीजों को थोडा कम कर सकते हैं। सरल बनाने के लिए, हम कहते हैं कि S और N स्वतंत्र हैं, इसलिए H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ । बेहतर SNR का मतलब अक्सर शोर शक्ति को कम करना है। उच्च SNR के साथ यह नया संकेत तब X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$,k>1 के लिए। Entropy तो हो जाता हैएच(वीएकआर[एक्स])=एच(वीएकआर[एस]+(1/कश्मीर)2*वीएकआर[एन])। k1से अधिक है, इसलिएVएकr[N]घटेगा जब N को एटेन किया जाएगा। यदिV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ कम हो जाता है, इसलिए वी एक आर [ एस + एन ] करता है , और इसलिए वी एक आर [ एक्स ] , जिसके परिणामस्वरूप एच ( एक्स ) में कमी होती है।$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

बहुत संक्षिप्त नहीं, क्षमा करें। संक्षेप में, यदि आप एसएनआर बढ़ाते हैं, तो की एन्ट्रापी कम हो जाती है, लेकिन आपने एस की जानकारी के लिए कुछ नहीं किया है । मुझे अभी स्रोत नहीं मिले, लेकिन एक दूसरे से SNR और आपसी जानकारी (एंट्रोपी के समान द्विभाजित माप) की गणना करने की एक विधि है। शायद मुख्य रास्ता यह है कि SNR और एन्ट्रापी एक ही चीज़ को मापते नहीं हैं।$X$$S$

Comments

विवरण के लिए धन्यवाद, यह वास्तव में बहुत अच्छा होता अगर थोड़ा सा बिटोफ़ विश्लेषण के लिए एक संदर्भ होता जो आपने किया था क्योंकि मुझे एक पेपर में एन्ट्रापी और एसएनआर के बीच यह संबंध प्रदान करने की आवश्यकता है और इसलिए प्रशस्ति पत्र।

— रिया जॉर्ज

मेरा विश्लेषण बहुत अनौपचारिक है; यह किसी भी प्रकार की कठोरता का दावा करने के लिए अंतर्ज्ञान / तर्क पर बहुत अधिक निर्भर करता है। कमजोर बिंदु जो मैं तुरंत देख रहा हूं वह दावा है कि एसएनआर में वृद्धि हुई समग्र विचलन में कमी के बराबर है। यह कथन मानता है कि यदि आप एसएनआर बढ़ाकर शोर को बढ़ाते हैं, लेकिन जरूरी नहीं कि यदि आप सिग्नल पावर बढ़ाते हैं (क्योंकि इससे सिग्नल विचरण बढ़ सकता है ==> समग्र विचरण ==> एन्ट्रापी)। इस निष्कर्ष पर पहुंचने का एक और तरीका होने की संभावना है, हालांकि। मुझे लगता है कि MI और SNR के बीच का संबंध श्लोगल 2010 से आया था "BCI रिसर्च में अनुकूली तरीके - एक परिचयात्मक ट्यूटोरियल"

— dpbont

: इस धागे को फिर से चालू करने के लिए क्षमा करें। मुझे एक समस्या तब आई जब मैं एक मॉडल की एन्ट्रापी की त्रुटि ढूंढ रहा था जहाँ त्रुटि = वांछित_साइनल - अनुमानित_साइनमेंटल। एसएनआर बढ़ाने पर, मैंने पाया कि त्रुटि का एन्ट्रॉपी बढ़ रहा है। लेकिन, जब मैं एसएनआर बढ़ाने के साथ वांछित सिग्नल की एन्ट्रॉपी की गणना करता हूं तो एक्स की एन्ट्रॉपी कम हो रही है। क्या आप कृपया एसएनआर को बढ़ाने के साथ पूर्व के मामले में कुछ अंतर्दृष्टि फेंक सकते हैं जहां त्रुटि में वृद्धि हुई है? $X$

— रिया जॉर्ज

दो सवाल। 1) जब आप कहते हैं कि एसएनआर बढ़ता है, तो क्या आपका मतलब अनुमानित सिग्नल का एसएनआर है? (मुझे ऐसा लगता है।) 2) त्रुटि के एन्ट्रापी बढ़ने पर आपकी त्रुटि का क्या होता है? सामान्यतया, एन्ट्रापी में वृद्धि का मतलब या तो विचरण में वृद्धि / भविष्यवाणी में कमी है। मैं शायद ऐसी स्थिति की कल्पना कर सकता हूं जहां आपकी त्रुटि भिन्नता बढ़ जाती है, लेकिन आप एक त्रुटि पूर्वाग्रह को हटा देते हैं (जो त्रुटि को बढ़ा सकता है लेकिन त्रुटि को कम कर सकता है)।

— dpbont

आपके शीघ्र उत्तर के लिए धन्यवाद। (1) द्वारा SNR वृद्धि मैं model.So में माप शोर के SNR में वृद्धि मतलब समीकरण में, मैं के SNR वृद्धि एन और मापने के एन्ट्रापी एच 1 (एक्स) और H2 (त्रुटि)। (2) त्रुटियां कम हो जाती हैं और सभी मान कम या ज्यादा समान हो जाते हैं लेकिन शून्य नहीं। जिस तरह से मैं त्रुटि की एन्ट्रापी की गणना करता हूं वह इस प्रकार है: एआर (2) मॉडल को ध्यान में रखते हुए। रिसीवर का अंत, z ( t ) = X ( t ) - ( ए १ एक्स ( टी - १ ) + बी १ एक्स ( टी - $X=S+N$$N$ जहां (A1, B1) अनुमान लगाया जाता है मापदंडों और एक्स ( टी ) की एक विशेष SNR पर टिप्पणियों हैं एन कहते हैं snr1। मान लें कि मेरे पास अनुमानों के 5 जोड़े हैं (a1, b1) और प्रत्येक जोड़ी के लिए मुझे त्रुटि का एन्ट्रापी मिलता है। $z(t) = X(t) - (a1X(t-1) + b1X(t-2))$$X(t)$$N$

— रिया जॉर्ज

Answer 2

[1, p. 186]आपको, ओपी या गूगलर को प्राप्त करने के लिए एक उद्धरण दिया गया है:

बहुत मोटे तौर पर, $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

यहां $\mathcal{H}$ सिग्नल के अपने मॉडल के मापदंडों के पीछे वितरण का नकारात्मक एन्ट्रापी है। सौभाग्य!

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006