कई प्रयासों में कम एन्ट्रापी मूल्य का अनुमान

Question

मान लीजिए कि एलिस का वितरण है $\mu$ एक परिमित (लेकिन संभवतः बहुत बड़ा) डोमेन, जैसे कि (शैनन) एन्ट्रापी $\mu$ ऊपरी तौर पर एक छोटे से स्थिरांक से घिरा होता है $\varepsilon$। ऐलिस एक मूल्य खींचता है$x$ से $\mu$, और फिर बॉब (जो जानता है) से पूछता है $\mu$) अनुमान के लिए $x$।

बॉब के लिए सफलता की संभावना क्या है? यदि वह केवल एक अनुमान की अनुमति देता है, तो कोई इस संभावना को निम्न प्रकार से बाध्य कर सकता है: एन्ट्रापी ऊपरी मिनट-एन्ट्रापी को सीमित करता है, इसलिए एक ऐसा तत्व है जिसमें कम से कम संभावना है$2^{-\varepsilon}$। यदि बॉब इस तत्व को अपने अनुमान के रूप में चुनता है, तो उसकी सफलता की संभावना होगी$2^{-\varepsilon}$।

अब, मान लीजिए कि बॉब को कई अनुमान लगाने की अनुमति है, कहते हैं $t$अनुमान लगाता है, और बॉब जीतता है यदि उसका कोई अनुमान सही है। क्या कोई अनुमान लगाने वाली योजना है जो बॉब की सफलता की संभावना में सुधार करती है? विशेष रूप से, यह दिखाना संभव है कि बॉब की विफलता की संभावना के साथ तेजी से घट जाती है$t$?

Answer 1

बॉब का सबसे अच्छा दांव अनुमान लगाना है $t$ सबसे बड़ी संभावना के साथ मूल्य।

यदि आप इसके बजाय रेनेई एन्ट्रॉपी का उपयोग करने के लिए तैयार हैं, तो Boztaş की Entropies, Guessing और Cryptography में प्रस्ताव 17 बताता है कि त्रुटि की संभावना के बाद$t$ अनुमान सबसे ज्यादा है

$$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$$ कहाँ पे $n$डोमेन का आकार है। दी, निर्भरता पर$t$ बहुत बुरा है, और शायद Boztaş एन्ट्रॉपी के एक अलग शासन पर केंद्रित था।

शैनन एंट्रोपी के लिए, आप दोहरी अनुकूलन समस्या को हल करने का प्रयास कर सकते हैं: एक निश्चित विफलता संभावना दी $\delta$, इस तरह के वितरण की अधिकतम एंट्रोपी खोजें। के उत्तलता का उपयोग करना$-x\log x$, हम जानते हैं कि वितरण $\mu$ का रूप है $a,b,\ldots,b;b,\ldots,b,c$, कहाँ पे $a\geq b\geq c$, $a+(t-1)b = 1-\delta$, तथा $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$। हमारे पास है$t-1+\lfloor\frac{\delta}{b}\rfloor$ मान जो प्रायिकता प्राप्त करते हैं $b$। पर कंडीशनिंग कर रहा है$s = \lfloor\frac{\delta}{b}\rfloor$, हम खोजने की कोशिश कर सकते हैं $b$जो एन्ट्रापी को कम करता है। के सही मूल्य के लिए$s$, यह एक आंतरिक बिंदु होगा (जिस पर व्युत्पन्न गायब हो जाता है)। मुझे यकीन नहीं है कि इस दृष्टिकोण का उपयोग करके असममित अनुमान कैसे प्राप्त करें।

Comments

जवाब के लिए धन्यवाद! मैंने आपके द्वारा सुझाए गए अनुकूलन दृष्टिकोण की कोशिश की, लेकिन अच्छे अनुमान नहीं मिल सके।

— या मीर

हाय युवल, कुछ और काम के बाद, ऐसा लगता है कि यह अनुकूलन दृष्टिकोण समाधान का उत्पादन करता है। दुर्भाग्य से, इस मामले में भी, अनुमानों की संख्या में त्रुटि केवल व्युत्क्रम-लघुगणकीय रूप से घट जाती है। धन्यवाद!

— या मेयर

Answer 2

दुर्भाग्य से आपके सवाल का कोई अच्छा जवाब नहीं है। जॉन प्लियाम [पीएचडी थीसिस, एलएनसीएस श्रृंखला में 2 पेपर] पहले शैनन एंट्रोपी और अनुमानित संख्याओं के बीच असमानता का निरीक्षण करने वाले थे। उनकी थीसिस ऑनलाइन खोजना आसान है। खंड 4.3 में, के लिए एक उपयुक्त संभावना वितरण का चयन करके$X$ (एक मनमाना सकारात्मक पूर्णांक पर निर्भर करता है $N$) जो स्वयं समान हफमैन पेड़ों से आता है वह दर्शाता है कि संभावना के घटते क्रम में अनुमान लगाकर, किसी को अधिक से अधिक करना चाहिए $N+H(X)$ सफलता की संभावना तक पहुँचने से पहले अनुमान लगाता है $1/2$।

यह इस कारण का कारण है कि लोगों ने रेनी एंट्रियों की जांच की।