सूचना सिद्धांत केंद्रीय सीमा प्रमेय

11

सूचना सिद्धांत सीएलटी का सबसे सरल रूप निम्नलिखित है:

चलो आईआईडी मतलब के साथ हो सकता है और विचरण । बता दें कि सामान्यीकृत योग और का मानक गाऊसी घनत्व है। फिर सूचना सिद्धांत सीएलटी कहता है कि, यदि कुछ लिए परिमित है , तो रूप में । $X_1, X_2,\dots$ $0$ $1$ $f_n$ $\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$ $\phi$ $D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$ $n$ $D(f_n\|\phi)\to 0$ $n\to \infty$

निश्चित रूप से यह अभिसरण, एक अर्थ में, साहित्य में अच्छी तरह से किए गए अभिसरण की तुलना में "अधिक मजबूत" है, वितरण में अभिसरण और में अभिसरण $L_1$ , Pinsker की असमानता के लिए धन्यवाद $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ । यही है, केएल-विचलन में अभिसरण का अर्थ है वितरण में अभिसरण और $L_1$ दूरी में अभिसरण ।

मैं दो बातें जानना चाहूंगा।

से परिणाम के बारे में क्या बहुत अच्छा है $D(f_n\|\phi)\to 0$ ?
क्या यह सिर्फ तीसरे पैराग्राफ में कहा गया कारण है कि हम केएल- ( यानी , $D(f_n\|\phi)\to 0$ को मजबूत करते हैं?

NB: मैंने यह सवाल कुछ समय पहले math.stackexchange में पूछा था, जहाँ मुझे कोई जवाब नहीं मिला।

mathematical-statistics information-theory central-limit-theorem

— अशोक
स्रोत

कृपया डुप्लिकेट गणित का लिंक प्रदान करें। प्रश्न।

— कार्डिनल

6

आपका कथन एक घनत्व के अस्तित्व को स्पष्ट रूप से मानता है (लेब्सगेग माप के संबंध में)। आप इस लघु और रमणीय पेपर में रुचि रख सकते हैं : एआर बैरोन (1986), एन्ट्रॉपी और सेंट्रल लिमिट थ्योरम एन। Probab। , वॉल्यूम 14, नहीं। 1, 336-342। ( ओपन एक्सेस )।

— कार्डिनल

2

मैंने उस कागज को पहले ही देख लिया था। उन्होंने पेज 1 के दूसरे पैराग्राफ में सूचना सिद्धांत के परिप्रेक्ष्य में एक प्रेरणा दी है। यह सब उस समय मेरे लिए स्पष्ट नहीं था। अब ठीक लग रहा है। फिर भी, यदि कोई निम्नलिखित स्पष्ट रूप से समझा सकता है और उत्तर के रूप में पोस्ट कर सकता है, तो यह बहुत अच्छा होगा। "सूचना सिद्धांत से, रिश्तेदार एन्ट्रापी , सामान्य वितरण के आधार पर शैनन कोड के अतिरेक (अतिरिक्त औसत विवरण लंबाई) से कम से कम ऊपरी है, जब से नमूनों की मात्रा का वर्णन किया ।" मैंने गणित में उस प्रश्न को हटा दिया है। क्योंकि वहां कोई भी आकर्षित नहीं करता था

D_{n}

$D_n$

f_{n}

$f_n$

— अशोक

@कार्डिनल: अच्छे पेपर के लिए tks।

— ज़ेन

5

एक बात जो इस प्रमेय के साथ बहुत अच्छी है वह यह है कि यह कुछ सेटिंग्स में सीमा प्रमेयों का सुझाव देता है जहां सामान्य केंद्रीय सीमा प्रमेय लागू नहीं होता है। उदाहरण के लिए, उन स्थितियों में जहां अधिकतम एन्ट्रापी-वितरण कुछ गैर-सामान्य वितरण है, जैसे कि सर्कल पर वितरण के लिए, यह एक समान वितरण में अभिसरण का सुझाव देता है।

— kjetil b halvorsen
स्रोत

मुझे समझ नहीं आ रहा है। जैसा कि मैंने पहले ही उल्लेख किया है, केएल विचलन में अभिसरण का तात्पर्य वितरण में अभिसरण है, पता है? इसलिए जहां भी सूचना सिद्धांत सीएलटी लागू होता है, सामान्य सीएलटी भी लागू होता है। इसके अलावा, सूचना सिद्धांत CLT परिमित विचरण को भी मानता है। या क्या मैं कुछ न कुछ भूल रहा हूं?

— अशोक

2

मेरा मतलब है कि एन्ट्रापी विधि बताती है कि सीमा उन स्थितियों में हो सकती है जहां सीमा एक सामान्य वितरण नहीं है। सीमा तो एक वितरण है जो एन्ट्रापी को अधिकतम करता है।

— kjetil b halvorsen

3

चारों ओर देखने के बाद, मुझे सापेक्ष एन्ट्रापी में अभिसरण के बिना वितरण में अभिसरण का कोई उदाहरण नहीं मिला, इसलिए उस परिणाम की "महानता" को मापना कठिन है।

मेरे लिए, ऐसा लगता है कि इस परिणाम में केवल कनवल्शन उत्पादों के सापेक्ष एन्ट्रापी का वर्णन है। इसे अक्सर केंद्रीय सीमा प्रमेय के वैकल्पिक व्याख्या और प्रमाण ढांचे के रूप में देखा जाता है, और मुझे यकीन नहीं है कि इसका प्रायिकता सिद्धांत (भले ही यह सूचना सिद्धांत में है) में प्रत्यक्ष प्रभाव है।

से सूचना सिद्धांत और मध्य सीमा प्रमेय (पेज 19)।

थर्मोडायनामिक्स का दूसरा नियम कहता है कि थर्मोडायनामिक एन्ट्रापी हमेशा समय के साथ बढ़ती है, जिससे गिब्स राज्य में किसी प्रकार का अभिसरण होता है। ऊर्जा के संरक्षण का अर्थ है कि इस समय के दौरान निरंतर बना रहता है, इसलिए हम शुरू से ही बता सकते हैं कि गिब्स राज्य की सीमा क्या होगी। हम केंद्रीय सीमा प्रमेय का उसी तरह से सम्मान करेंगे, जैसा कि हम दिखाते हैं कि गौसियन के लिए अभिसरण के रूप में हम सूचना-सिद्धांत संबंधी प्रवेश को अपने अधिकतम तक बढ़ाते हैं। उचित रूप से सामान्यीकृत करने का अर्थ है कि विचलन के दौरान विचरण स्थिर रहता है इसलिए हम शुरू से ही बता सकते हैं कि गॉसियन की सीमा क्या होगी। $E$

— gui11aume
स्रोत

2

रिश्तेदार एन्ट्रापी में अभिसरण के बिना वितरण में अभिसरण के बहुत से उदाहरण हैं - किसी भी समय में असतत वितरण और CLT लागू होता है।

X_{i}

$X_i$

— मार्क मेकज़

1

$D(f_n\|\phi)\rightarrow 0$ आश्वासन देता है कि यादृच्छिक चर के योग के बीच कोई "दूरी" नहीं है और विचलन की परिभाषा के कारण सिर्फ रूप में गाऊसी घनत्व है , इसलिए यह प्रमाण है अपने आप। शायद मैंने आपके सवाल को गलत समझा। $n\rightarrow\infty$

आपके द्वारा नियुक्त किए गए दूसरे बिंदु के बारे में, आपके पैराग्राफ में इसका जवाब दिया गया है।

— anotheruser
स्रोत

1

सामान्य (लिंडबर्ग) सीएलटी बताता है कि नमूना मतलब एक सामान्य आरवी के वितरण में परिवर्तित होता है। इसका मतलब है कि CDF पॉइंटवाइज़ को कनवर्ट करता है । उस और ओपी के परिणाम के बीच एक सूक्ष्म माप प्रमेय अंतर है जो यहां आपके उत्तर में परिलक्षित नहीं होता है।

Φ

$\Phi$

— एडमो