जब कोई बड़ी संभावना वाले पत्र न हों तो हफ़मैन कोड कितना अच्छा है?

एक प्रायिकता वितरण के लिए Huffman कोड $p$ न्यूनतम भारित औसत codeword लंबाई के साथ उपसर्ग कोड है $\sum p_i \ell_i$ , जहां $\ell_i$ की लंबाई है $i$ वें codword। यह एक प्रसिद्ध प्रमेय है कि हफमैन कोड के प्रतीक की औसत लंबाई $H(p)$ और $H(p)+1$ , जहाँ $H(p) = -\sum_i \, p_i \log_2 p_i$ प्रायिकता वितरण की शैनन एंट्रोपी है।

विहित बुरा उदाहरण, जहां औसत लंबाई शैनन एन्ट्रापी से लगभग 1 से अधिक है, एक प्रायिकता है जैसे कि $\{.999, .001\}$ , जहां एन्ट्रापी लगभग 0 है, और औसत कोडवर्ड लंबाई 1. है। लगभग के एन्ट्रापी और कोडवर्ड की लंबाई के बीच $1$ ।

लेकिन क्या होता है जब संभावना वितरण में सबसे बड़ी संभावना पर बाध्य होता है? उदाहरण के लिए मान लीजिए कि सभी संभावनाएँ से कम हैं $\frac{1}{2}$ । इस मामले में मुझे जो सबसे बड़ा अंतर मिल सकता है, वह प्रायिकता वितरण जैसे $\{.499, .499, .002\}$ , जहां एन्ट्रापी 1 से थोड़ी अधिक है और औसत कोडवर्ड की लंबाई 1.5 से थोड़ी कम है, जिससे गैप एप्रोच हो रहा है। $0.5$ । क्या यह सबसे अच्छा आप कर सकते हैं? क्या आप उस खाई पर एक ऊपरी सीमा दे सकते हैं जो इस मामले के लिए सख्ती से 1 से कम है?

अब, चलो उस मामले पर विचार करें जहां सभी संभावनाएं बहुत छोटी हैं। मान लीजिए कि आप $M$ अक्षरों पर प्रायिकता वितरण चुनते हैं , प्रत्येक में प्रायिकता $1/M$ । इस स्थिति में, सबसे बड़ा अंतर तब होता है जब आप चुनते हैं $M \approx 2^k \ln 2$ । यहाँ, आपको लगभग

\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.

$\frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607.$ क्या यह सबसे अच्छी स्थिति है जिसमें आप सभी संभावनाएँ छोटी हैं?

यह प्रश्न इस TCS स्टैकएक्सचेंज प्रश्न से प्रेरित था ।

optimization it.information-theory coding-theory

— पीटर शोर
स्रोत

जवाबों:

बहुत सारे पेपर हैं जो आपके द्वारा बताई गई समस्या का सटीक अध्ययन करते हैं। श्रृंखला में पहला गैलर द्वारा एक पेपर है, "हफमैन द्वारा एक थीम पर विविधता", आईईईई-आईटी, वॉल्यूम। 24, 1978, पीपी। 668-674। वह साबित करता है कि एक Huffman कोड की औसत codeword लंबाई और एन्ट्रापी (वह कहता है कि मात्रा "अतिरेक") के बीच का अंतर हमेशा सख्ती से भी कम है , (= प्रायिकता वितरण में सबसे बड़ा संभावना) मामले में , और यह तुलना में कम है , अगर । बेहतर सीमाएं ज्ञात हैं, आप उन्हें कई पत्रों में पा सकते हैं जो गैलेगर के काम का उद्धरण देते हैं। $p$ $p\geq 1/2$ $p+0.086$ $p<1/2$

— युगो
स्रोत

हस्टमैन कोड्स के अतिरेक पर मैनस्टेट्टेन, टाइट बाउंड्स द्वारा इष्टतम बाध्य पाया गया है ।

— युवल फिल्मस

द्वारा पहचानने बाध्य, मेरा मानना है कि आप एक अलग सवाल पूछने के लिए इरादा है ... या तुम सिर्फ निर्दिष्ट नहीं किया है आप कैसे "औसत" ले लो। तो मैं दोनों को जवाब दूंगा। जवाब दोनों सवालों का नहीं है। $H(p) \leq \ldots \leq H(p)+1$

सबसे पहले, यदि आप कोड शब्दों पर एक समान वितरण का उपयोग करके औसत कोड की लंबाई को परिभाषित करते हैं और को किसी एक तत्व की संभावना पर ऊपरी सीमा के रूप में लेते हैं , तो लंबाई के कोड पर विचार करें जहां कोड शब्दों की लंबाई और शेष की लंबाई । इस कोड द्वारा पूरी तरह से एन्कोड किए गए वितरण के लिए, औसत लंबाई तक पहुंचती है , जब तक कि आपके पास एक तत्व की संभावना के लिए कम बाध्य न हो, जबकि एन्ट्रापी $2^{-q}$ $q+k$ $2^{q-1}$ $q$ $2^{q+k-1}$ $q+k$ $q+k$ । $q+\frac{k}{2}$

अब हम "औसत लंबाई" पर विचार करते हैं जिसका अर्थ है कोडन लंबाई जब हफ़मैन कोड को के लिए कोड करने के लिए उपयोग किया जाता है । इधर, बाध्य तंग है, और एक उदाहरण के वितरण की सीमा में यह प्राप्त करने से एक है, जिसमें प्रत्येक तत्व संभावना के साथ होता है के लिए (अंतिम तत्व किसी भी बचे हुए संभावना को सौंपा गया है, लेकिन यह असमान रूप से कोई अंतर नहीं करेगा)। $p$ $2^{q\pm 1/2}$ $q \in {\mathbb Z}.$

उदाहरण के लिए, पर विचार फिर $q = 7.$

$A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$ $A = 52, B = 76$ $52$ $2^{-6.5}$ $76$ $2^{-7.5}$

तब , जबकि हफ़मैन कोड प्राप्त होता है नुकसान। (संयोग से, एन्ट्रापी नुकसान का एक नाम है, चाहे आप हफ़मैन कोडिंग करें या लिए मनमाने ढंग से कोडिंग करें : कुलबबैक-लाइब्लर डाइवर्जेंस । इसका उपयोग करते हुए, मैंने कुछ दिनों पहले पता लगाया, दो तरफा चेरनॉफ सीमा को तंग करता है, जैसा कि आप विकिपीडिया पर चेरनॉफ़ सीमा पर देख सकते हैं।) $H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$ $(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$ $Q$ $D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$

— कार्ल
स्रोत

मैं इस दूसरे उदाहरण से कुछ चकित हूं। यदि आपके पास 128 कोडवर्ड हैं, तो औसत शब्द लंबाई 7 के साथ एक कोड है (वास्तव में, सभी शब्द लंबाई में 7 हैं), जो आपके कथन का खंडन करता है कि एन्ट्रापी 7.09375 है। इस वितरण की एन्ट्रापी (जो आपको और औसतन नहीं) का भारित औसत लेने पर मिलती है , 6.88 है, जबकि हफ़मैन कोड की औसत लंबाई 7. है। यह एक अंतर देता है (या कुल्लबैक-लाइबलर विचलन) लगभग 0.12, जो मेरे उदाहरण से काफी बेहतर लगता है, लेकिन 1 के करीब नहीं है

- \log_{2} p_{i}

$-\log_2 p_i$

— पीटर शोर

और वास्तव में, आप सही हैं। मैं संभावना वितरण तहत अपेक्षित कोडवर्ड लंबाई के बारे में पूछना चाहता था ।

p

$p$

— पीटर शोर

ओह, मैंने बनाम बारे में गलत अनुमान लगाया है । हम अभी भी से थोड़ा कम चाहते हैं, लेकिन जैसे कुछ, कम पंक्ति में कम प्रविष्टियों को मजबूर करने के लिए। इससे

A

$A$

B

$B$

A \sqrt{2} + B / \sqrt{2}

$A\sqrt{2}+B/\sqrt{2}$

2^{k}

$2^k$

A + 2 B = 2^{k}

$A+2B=2^k$

A = \frac{2 - 1 / \sqrt{2}}{\sqrt{2} - 1} B .

$A = \frac{2-1/\sqrt{2}}{\sqrt{2}-1}B.$

— कार्ल

वास्तव में यह ... लेकिन समीकरणों की इस प्रणाली का कोई सकारात्मक समाधान नहीं है - ऐसा लगता है कि हम हर चीज को आधे-पूर्णांक होने के लिए बाध्य नहीं कर सकते । इसलिए और बजाय हम हफमैन कोड के आधे के लिए पर विचार कर सकते हैं और बाकी के लिए, प्रविष्टियाँ दे रहा है ...

2 A + B

$2A+B$

2

$2$

\sqrt{2}

$\sqrt{2}$

1 / \sqrt{2}

$1/\sqrt{2}$

(1 + x) / 2^{k}

$(1+x)/2^k$

(1 - x) / 2^{k + 1}

$(1-x)/2^{k+1}$

3 * 2^{k}

$3*2^k$

— कार्ल

तो, इसे आज़माएं (इष्टतम नहीं - मुझे लगता है कि यह इस बात पर निर्भर करता है कि आप नीचे या ऊपर कैसे गोल करते हैं)। प्रायिकता साथ प्रविष्टियाँ और प्रायिकता साथ प्रविष्टियाँ एन्ट्रापी । इसके बजाय कि प्रविष्टियों की संभावना और प्रविष्टियों की संभावना साथ । इस वितरण की एन्ट्रॉपी जो 6.4023 देता है, जबकि हफ़मैन कोड का एन्ट्रापी 7.5 समान है, औरइसलिए जब तक मैं गलत नहीं होता (और मैं अक्सर करता हूं), इस बारे में एक अंतर देता है

64

$64$

1 / 128

$1/128$

128

$128$

1 / 256

$1/256$

7.5

$7.5$

64

$64$

1 / 128 \sqrt{2}

$1/128\sqrt{2}$

128

$128$

1 / 256 (2 - 1 / \sqrt{2})

$1/256(2-1/\sqrt{2})$

1 / (2 \sqrt{2}) * 7.5 + (1 - 1 / (2 \sqrt{(} 2))) * 5.802

$1/(2\sqrt{2})*7.5+(1-1/(2\sqrt(2)))*5.802$

(1 - 2^{- 1.5}) * 7 + 2^{- 1.5} * 8 = 7.3535.

$(1-2^{-1.5})*7+2^{-1.5}*8 = 7.3535.$

0.95

$0.95$ ।

— कार्ल