क्या अंतर एन्ट्रापी हमेशा अनंत से कम होती है?

Question

एक मनमाने ढंग से निरंतर यादृच्छिक चर के लिए, कहें , क्या इसका अंतर हमेशा से कम है ? (यह ठीक है अगर यह है ।) यदि नहीं, तो क्या आवश्यक है और इसके लिए पर्याप्त स्थिति से कम है ?$X$$\infty$$-\infty$$\infty$

Comments

क्या आपने कोई उदाहरण आजमाया? जैसे, लंबाई अंतराल पर समान वितरण ? $L$

— पायोत्र मिग्डल

वास्तव में, एक समान वितरण (किसी भी परिमित अंतराल पर) का अंतर एन्ट्रापी हमेशा परिमित होता है, अर्थात लॉग (L), इसलिए इसे बाउंड किया जाता है। वास्तव में, मैं निरंतर वितरण के 2 वर्गों की पहचान कर सकता हूं, जिनकी एंट्रोपी हमेशा बंधी रहती है - (1) किसी भी वितरण जिसका समर्थन एक निश्चित अंतराल में निहित है, और (2) किसी भी वितरण जिसका 2 पल परिमित है। पूर्व समान वितरण से घिरा हुआ है; जबकि बाद वाला गौसियन वितरण से घिरा हुआ है।

— syeh_106 2

वास्तव में, मैं अनंत 2 वें पल के साथ एक वितरण का निर्माण भी कर सकता हूं और अभी भी परिमित एंट्रोपी है। उदाहरण के लिए, f (x) = 3 / (x ^ 2), x> 3 पर विचार करें। स्पष्ट रूप से E [X ^ 2] अनंत है, लेकिन h (X) ~ = -3.1 nats। हालाँकि, मैं इस बात की पुष्टि नहीं कर पा रहा हूँ कि क्या यह मनमाने ढंग से निरंतर रैंडम वैरिएबल के लिए सही है या इसका खंडन करने के लिए एक काउंटर उदाहरण के साथ आया है। अगर कोई इसे दिखा सकता है तो मैं वास्तव में इसकी सराहना करूँगा।

— syeh_106

आपकी टिप्पणी और लिंक के लिए धन्यवाद, Piotr। संयोग से, मैंने अपने पाठ्यक्रम सामग्री में से एक की भी जाँच की और बिल्कुल असतत समर्थन के साथ असतत यादृच्छिक चर का एक ही उदाहरण पाया। इससे प्रेरित होकर, एक निरंतर एनालॉग का निर्माण करना मुश्किल नहीं है। तो पहले प्रश्न का उत्तर स्पष्ट है। मैं अन्य लोगों के लिए इसे नीचे संक्षेप में बताऊंगा जिनके पास एक ही प्रश्न हो सकता है। BTW, मुझे ऊपर अपनी दूसरी टिप्पणी में सुधार करने की आवश्यकता है, विशेष रूप से, f (x) = 3 / (x ^ 2) के लिए, h (X) सकारात्मक होना चाहिए, अर्थात 3.1 nats।

— syeh_106

यह सवाल और जवाब अस्पष्ट है क्योंकि वे यह निर्धारित नहीं करते हैं कि किस सीमा पर सीमाएं लागू की जानी हैं। यदि एक आरवी है, तो इसमें एक एन्ट्रापी, अवधि है। यदि यह एक "मनमाना" निरंतर आरवी है, तो (जाहिर है) कोई ऊपरी सीमा संभव नहीं है। आप पर लगाने के लिए क्या अड़चन रखते हैं ? टिप्पणियों और आपके उत्तर से यह प्रतीत होता है कि आप के समर्थन को ठीक करना चाहते हैं हो सकता है कि नहीं? शायद आप को उन चरों पर सीमित करना चाहते हैं जो निश्चित क्षणों में दिए गए हैं? शायद आप को एक पैरामीट्रिक परिवार में रखना चाहते हैं - या शायद नहीं? कृपया स्पष्ट करने के लिए इस प्रश्न को संपादित करें। एक्स एक्स एक्स $X$$X$$X$$X$$X$

— whuber

Answer 1

मैंने इस प्रश्न के बारे में कुछ और सोचा और एक काउंटर-उदाहरण खोजने में कामयाब रहा, धन्यवाद ऊपर के पायोट्र की टिप्पणियों के लिए भी। पहले सवाल का जवाब नहीं है - एक सतत यादृच्छिक चर (आर वी) के अंतर एन्ट्रापी है नहीं हमेशा कम से कम । उदाहरण के लिए, एक सतत आर.वी. एक्स जिसका पीडीएफ है पर विचार के लिए ।f ( x ) = लॉग ( 2 $\infty$ x>

$$f(x) = \frac{\log(2)}{x \log(x)^2}$$ $x > 2$

यह सत्यापित करना कठिन नहीं है कि इसका अंतर एन्ट्रापी अनंत है। यह काफी धीरे-धीरे बढ़ता है (लगभग। लघुगणक)।

दूसरे प्रश्न के लिए, मुझे एक साधारण आवश्यक और पर्याप्त स्थिति के बारे में पता नहीं है । हालांकि, एक आंशिक उत्तर इस प्रकार है। अपने समर्थन के आधार पर निम्नलिखित 3 प्रकारों में से एक निरंतर आरवी को वर्गीकृत करें, अर्थात

टाइप 1: एक सतत आरवी जिसका समर्थन बंधे हुए है, यानी [ए, बी] में निहित है।
टाइप 2: एक सतत आर.वी. जिसका समर्थन आधा घिरा है, यानी में निहित [एक, ) या ( , एक] 3 टाइप करें: एक सतत आर.वी. जिसका समर्थन असीमित है।- $\infty$$-\infty$

तो हमारे पास निम्नलिखित है -

टाइप 1 आरवी के लिए, इसकी एन्ट्रापी हमेशा बिना शर्त के से कम होती है । टाइप 2 आरवी के लिए, इसकी एंट्रोपी से कम है , अगर इसका मतलब ( ) परिमित है। टाइप 3 आरवी के लिए, इसकी एंट्रोपी से कम है , अगर इसका विचरण ( ) परिमित है।∞ μ ∞ σ $\infty$
$\infty$$\mu$
$\infty$$\sigma^2$

टाइप 1 आरवी का अंतर एन्ट्रापी संबंधित वर्दी वितरण की तुलना में कम है, अर्थात , टाइप 2 आरवी, घातांक वितरण का, यानी , और a टाइप 3 आरवी, गॉसियन डिस्ट्रीब्यूशन, यानी ।1 + एल ओ जी ( ! μ - ए - ) $log(b-a)$$1+log(|\mu-a|)$$\frac{1}{2} log(2{\pi}e\sigma^2)$

ध्यान दें कि टाइप 2 या 3 आरवी के लिए, उपरोक्त स्थिति केवल एक पर्याप्त स्थिति है । उदाहरण के लिए, लिए के साथ टाइप 2 आरवी पर विचार करें । स्पष्ट रूप से, इसका मतलब अनंत है, लेकिन इसकी एन्ट्रापी 3.1 नट है। या के साथ एक प्रकार 3 आर.वी. पर विचार के लिए । इसका विचरण अनंत है, लेकिन इसकी एन्ट्रापी 2.6 नट है। तो यह बहुत अच्छा होगा, अगर कोई इस हिस्से के लिए पूर्ण या अधिक सुरुचिपूर्ण उत्तर प्रदान कर सकता है। x>3f(x)=

$$f(x) = \frac{3}{x^2}$$ $x > 3$ | x| > $$f(x) = \frac{9}{|x|^3}$$ $|x| > 3$

Comments

महान! एसई टिप्पणियों पर स्थायी नहीं माना जाता है (यदि प्रासंगिक हो) उत्तर में शामिल किया जाना चाहिए। समान चीजें सामग्रियों के लिंक के लिए जाती हैं (इसलिए या तो कुछ साबित करने या दिखाने के लिए या केवल कहने के बजाय इसे लिंक करें)। BTW: क्षणों के लिए, जैसा कि मैं किसी भी परिमित क्षण (किसी भी ) देखता हूं, वह बाउंड एंट्रॉपी की ओर जाता है (मुझे सिर्फ इसका एहसास हुआ, विचरण के लिए विज्ञापन देखने के बाद)। अल्फा > $\langle x^\alpha \rangle$$\alpha>0$

— पायोत्र मिगदल

एसई नीतियों के बारे में सलाह के लिए धन्यवाद, पायोत्र। (हाँ, मैं यहाँ स्पष्ट रूप से नया हूँ।) परिमित क्षणों के बारे में बंधे हुए अंतःविषय के लिए, क्या आप अपना प्रमाण साझा करेंगे? धन्यवाद!

— syeh_106

@PiotrMigdal मैं अंतिम स्पर्श जोड़ने के बाद इस प्रश्न का उत्तर इसकी वर्तमान स्थिति में छोड़ने की योजना बना रहा हूं। ऊपर Piotr की टिप्पणी से प्रेरित, मुझे लगता है कि अगर परिमित का मतलब परिमित एंट्रोपी था। मैं इसे सामान्य रूप से समाप्त नहीं कर सकता। मैंने जो पाया वह यह था कि अगर आरवी का समर्थन अर्ध-बाध्य है तो यह सच था। कृपया उपरोक्त संशोधित उत्तर देखें। मैं किसी दिन बेहतर उत्तर की प्रतीक्षा कर रहा हूं।

— syeh_106 5

"यह सत्यापित करना कठिन नहीं है कि इसका अंतर एन्ट्रापी अनंत है।" क्या आप यह दिखा सकते हैं कि इसे कैसे सत्यापित किया जाए? यह रीमैन अभिन्न के लिए सही लगता है, लेकिन लेब्सबेग माप के संबंध में अंतर एन्ट्रापी है। मुझे यह सत्यापित करने में समस्या हो रही है कि संगत लेब्सगॉग अभिन्न रूपांतरित नहीं होता है।

— कैंटरहेड

धन्यवाद। क्षणों और एन्ट्रॉपी के बीच संबंध के बारे में, टाइप 3 आरवी का एक और अच्छा उदाहरण मानक कॉची (उर्फ लोरेंज) वितरण के साथ । इस स्थिति में माध्य, , मौजूद नहीं है लेकिन । ई [ एक्स ] एच ( एक्स ) = लॉग ( 4 π $X$$\mathrm{E}[X]$$H(X)=\log(4\pi)$

— कैंटहेड