कोलमोगोरोव जटिलता का उपयोग करके चैनल कोडिंग परिणाम

12

आमतौर पर शैनन एन्ट्रापी का उपयोग चैनल कोडिंग परिणामों को साबित करने के लिए किया जाता है। यहां तक कि स्रोत-चैनल पृथक्करण परिणामों के लिए शैनन एंट्रोपी का उपयोग किया जाता है। जानकारी के लिए शैनन (वैश्विक) बनाम कोलमोगोरोव (स्थानीय) धारणाओं के बीच समानता को देखते हुए, इन परिणामों के लिए कोलमोगोरोव जटिलता का उपयोग करने के लिए एक अध्ययन किया गया है (या स्रोत चैनल परिणामों में स्रोत कोडिंग भाग को बदलने के लिए कम से कम)?

it.information-theory kolmogorov-complexity shannon-entropy

— बनाम
स्रोत

क्या आपने Li & Vitanyi पुस्तक के तीसरे संस्करण पर एक नज़र डाली है ? यदि मैं गलत नहीं हूं, तो पुस्तक में 8. अध्याय को नवीनतम संस्करण में जोड़ा गया है, और सूचना सिद्धांत पर एक अध्याय शामिल है। इसमें शैनन एन्ट्रापी, आपसी जानकारी, दर विकृति आदि का विश्लेषण किया गया है, जो कोलमोगोरोव जटिलता के अर्थ में विश्लेषण किया गया है।

— जुहो

हाय यह सच है। लेकिन शैनन के शोर कोडिंग प्रमेय के लिए कोई आवेदन नहीं है!

— बनाम

8

चैनल क्षमता के लिए, कोनमोगोरोव जटिलता द्वारा शैनन एंट्रोपी को बदलना मुश्किल लगता है। चैनल क्षमता की परिभाषा में एन्ट्रापी का कोई उल्लेख नहीं है। शैनन एंट्रोपी का उपयोग चैनल क्षमता के लिए सही सूत्र देता है (यह शैनन की प्रमेय है)। यदि आपने कोलमोगोरोव जटिलता के फार्मूले द्वारा शैनन एंट्रोपी के साथ सूत्र को प्रतिस्थापित किया है, तो यह संभवतः एक अलग सूत्र होगा, और इसलिए यह गलत उत्तर होगा ।

आप Kolmogorov जटिलता के साथ एक स्ट्रिंग भेजना चाहते हैं क्षमता के साथ एक चैनल के माध्यम से की तुलना में थोड़ा अधिक ही उपयोग करते हुए चैनल का उपयोग करता है, यह बहुत आसान है। स्ट्रिंग बनाने वाली ट्यूरिंग मशीन का विवरण प्राप्त करें। फिर इसे एक त्रुटि-सुधार कोड के साथ एन्कोड करें ताकि यह विवरण शोर चैनल के माध्यम से केवल त्रुटि की एक छोटी संभावना के साथ भेजा जा सके। $K$ $C$ $K/C$

स्रोत-चैनल जुदाई प्रमेय का कठिन हिस्सा यह दिखा रहा है कि आप पहले कम्प्रेसिंग और फिर एन्कोडिंग के स्पष्ट तरीके (पिछले पैराग्राफ में वर्णित) से बेहतर नहीं कर सकते। मुझे नहीं पता कि कोलमोगोरोव जटिलता और चैनल क्षमता के लिए किसी ने भी इसे साबित किया है, लेकिन यह जांच का एक उचित सवाल है।

— पीटर शोर
स्रोत

क्या मुझे कुछ सूक्ष्म याद आ रहा है, या क्या यह कोलमोगोरोव जटिलता की परिभाषा से अनुसरण करता है? यानी

बिट की तुलना में asymptotically स्ट्रिंग के साथ भेजने की कोई भी योजना , निरंतर ओवरहेड के साथ हो सकती है,

तुलना में asymptotically छोटे आकार के TM में बदल गई (जो कि, डिकोडर प्लस संदेश) जो मूल स्ट्रिंग को पुन: उत्पन्न करता है?

K

$K$

K

$K$

— usul

1

@usul: चैनल जो संचारित बिट, के लिए

। दूसरी ओर, मुझे संदेह है कि सूचना सिद्धांत के उपकरणों का उपयोग करके साबित करना आसान होना चाहिए।

C \leq 1

$C \leq 1$

— पीटर शोर

@PeterShor "...... यदि आपने शैनॉन एन्ट्रापी के फार्मूले को कोलमोगोरोव जटिलता के साथ एक सूत्र द्वारा प्रतिस्थापित किया, तो यह संभवतः एक अलग सूत्र होगा ..."। यह सूत्र कितना अलग होगा? आमतौर पर Kolmogorov संपीड़न एक प्रदान करता है

यदि बिट्स के इष्टतम संख्या है संपीड़न में अतिरिक्त गुणक कारक

(उदाहरण के लिए, अभाज्य संख्या की केसी संस्करण प्रमेय देता

कारक हर में)। कहें कि क्षमता

, तो भी केसी ने

दिया

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

, यह दिलचस्प होगा। क्या आपके पास कोई गणना है? इसके अलावा एसई और केसी समान हैं।

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

— टी ....

1

मुझे यकीन नहीं है कि आप शैनन की एन्ट्रापी और कोलमोगोरोव की जटिलता पर स्थानीय / वैश्विक क्वालीफायर का उपयोग करते समय आप किस बारे में बात कर रहे हैं।

अगर मैं गलत हूं तो मुझे सुधारो।

शैनन की एन्ट्रापी गणना योग्य है। कोलमोगोरोव की जटिलता नहीं है। इसलिए वे एक ही समस्या का वर्णन नहीं करते हैं।

आप शैनन की एन्ट्रापी को कोलमग्रोव की जटिलता के ऊपरी हिस्से के रूप में देख सकते थे।

— फिल
स्रोत

शैनन एंट्रॉपी कैसे एक ऊपरी बाध्य है? मेरा मानना है कि यह सिद्ध है कि दोनों एक ही हैं।

— टी ....