रेनी प्रवेश की उपयोगिता?

14

हम में से अधिकांश परिचित हैं - या कम से कम के बारे में सुना है - एक यादृच्छिक चर की शान्नोन एन्ट्रापी, , और सभी संबंधित सूचना-सिद्धांत संबंधी उपाय जैसे रिश्तेदार एन्ट्रापी, आपसी जानकारी, और इसी तरह। एन्ट्रॉपी के कुछ अन्य उपाय हैं जो आमतौर पर सैद्धांतिक कंप्यूटर विज्ञान और सूचना सिद्धांत में उपयोग किए जाते हैं, जैसे कि एक यादृच्छिक चर के मिन-एन्ट्रॉपी। $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$

मैंने इन तथाकथित रेनी एंट्रियों को अधिक बार देखना शुरू कर दिया है क्योंकि मैं साहित्य को ब्राउज़ करता हूं। वे शैनन एन्ट्रापी और मिन-एन्ट्रॉपी को सामान्य करते हैं, और वास्तव में एक यादृच्छिक चर के एन्ट्रापिक उपायों का एक पूरा स्पेक्ट्रम प्रदान करते हैं। मैं ज्यादातर क्वांटम जानकारी के क्षेत्र में काम करता हूं, जहां रेनी एन्ट्रॉपी का क्वांटम संस्करण भी अक्सर माना जाता है।

मुझे वास्तव में समझ में नहीं आता है कि वे उपयोगी क्यों हैं। मैंने सुना है कि अक्सर शैनन / वॉन न्यूमैन एन्ट्रापी या मिन-एंट्री की तुलना में विश्लेषणात्मक रूप से काम करना आसान होता है। लेकिन वे शैनन एन्ट्रापी / मिन-एन्ट्रॉपी से भी संबंधित हो सकते हैं।

क्या रेनी एन्ट्रॉपीज़ का उपयोग करते समय कोई भी (शास्त्रीय या क्वांटम) उदाहरण दे सकता है "सही काम करना है"? जब मुझे पता चलता है कि मैं रेनी एन्ट्रॉपियों का उपयोग करना चाहता हूं, तो कुछ "मानसिक हुक" या "टेम्पलेट" की तलाश कर रहा हूं।

धन्यवाद!

it.information-theory quantum-information

— हेनरी यूएन
स्रोत

मेरे जवाब देने के लिए परिशिष्ट: यह प्रतीत q-Renyi उत्क्रम माप (के एक संभाव्य परिभाषा है कि वहाँ

) मैं, ई

q \in Z^{+}

$q \in \mathbb{Z}^+$

। तो फिर

और इस आरएचएस `` शैनन Entropy "कहा जाता है एक भी अन्य सीमा यानी परिभाषित करता है।

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

। इन विचारों से लगता है कि विस्तारक निर्माण में उपयोग किए गए हैं जैसा कि यहाँ देखा गया है। math.rutgers.edu/~sk1233/courses/topics-S13, math.ias.edu/~avi/PUBLICATIONS/MVPAPERS/CRVW01/crvw01.pdf, arxiv। org / pdf / गणित / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

कुछ परिमित सेट ऊपर वितरित एक अज्ञात यादृच्छिक चर लिए परमाणु अनुमान बनाने की कोशिश करने पर विचार करें शैनोन एन्ट्रॉपी में, यह माना जाता है कि आप बिट द्वारा बिट कर सकते हैं, अर्थात, यदि आप पूछ सकते हैं: $X$ $A.$ $A=\{1,\ldots,N\}$

है ? $X\in \{1,\ldots,N/2\}$ (मान भी या फर्श / छत कार्यों का उपयोग करें) $N$

क्रिप्टो और कुछ डिकोडिंग परिदृश्यों में यह यथार्थवादी नहीं है। एक अज्ञात लगता है की कोशिश कर रहा pasword आप परमाणु प्रश्नों, यानी क्वेरी बनाने के लिए अगर जरूरत एक विशिष्ट मूल्य है। $X$

यह पता चला एक यादृच्छिक चर का अनुमान लगाना कि प्रश्नों की अपेक्षित संख्या तो आदेश के Renyi एन्ट्रापी पर कसकर निर्भर करता है तो कुछ उच्च क्षणों है। उदाहरण के लिए $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

और अंश अनिवार्य रूप से आदेश के Renyi एन्ट्रापी के लघुगणक है एक भी शैनन बहुत बड़ी entropy जबकि Renyi एन्ट्रापी और अनुमान की संख्या की अपेक्षा बहुत छोटा है बना सकते हैं। यदि आप सुरक्षा के लिए शैनन एन्ट्रापी पर भरोसा करते हैं तो आप उस स्थिति में परेशानी में पड़ जाएंगे। $1/2.$

कृपया संबंधित प्रश्न को कई प्रयासों में कम एन्ट्रापी मूल्य का अनुमान लगाकर देखें

कुछ संदर्भ:

जो प्लियाम, एंट्रोपिलिटी ऑफ इन्ट्रोपेरी एंड मार्जिनल गेसवर्क इन ब्रूट-फोर्स अटैक्स। INDOCRYPT 2000: 67-79
ई। अरिकन, अनुमान लगाने पर असमानता और अनुक्रमिक डिकोडिंग के लिए इसका अनुप्रयोग। सूचना सिद्धांत पर IEEE लेनदेन 42 (1): 99-105,1996।
एस। बूस्टैस, ऑन रेनी एन्ट्रोपीज और क्रिप्टोग्राफी में हमलों का अनुमान लगाने के लिए उनके आवेदन, इलेक्ट्रॉनिक्स, संचार और कंप्यूटर विज्ञान के बुनियादी ढांचे पर IEICE लेनदेन 97 (12): 2542-2548, 2014।

— kodlu
स्रोत

मैं इस S.Boztas पेपर तक पहुंचने में असमर्थ हूं। आपके पास सार्वजनिक रूप से सुलभ लिंक है?

— आइरिट

@Anirbit RMIT अनुसंधान भंडार, देख researchbank.rmit.edu.au

— kodlu

मैंने उस लिंक के माध्यम से खोज की है। यह केवल मुझे मंडलियों में ले गया। मुझे सार्वजनिक रूप से सुलभ पीडीएफ फाइल कभी नहीं मिली!

— आइरिट

@Anirbit, माफ करना, मुझे लगा कि यह वास्तव में वहाँ जमा है!

— कोडलू

18

$\ell_p$

$a \in \mathbb{R}^n$ $a$

$a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ $a$ $a$

$a$ $\ell_\infty$ $\ell_0$ $a$

$\ell_p$ $p$

$\ell_1$

उदाहरण के लिए, कई बार रेनी -2 एंट्रॉपी उपयोगी होती है क्योंकि यह एक तरफ शैनन की एन्ट्रोपी के करीब होती है, और इस प्रकार वितरण पर सभी तत्वों की जानकारी होती है, और दूसरी ओर सबसे बड़े तत्वों के साथ अधिक जानकारी देता है। संभावना। विशेष रूप से, यह ज्ञात है कि Renyi-2 एन्ट्रापी पर सीमाएँ मिन्ट-एन्ट्रापी पर सीमाएं देती हैं, देखें, उदाहरण के लिए, परिशिष्ट A यहाँ: http://people.seas.harvard.edu/~salin/research/conductors-prelim .ps

— या मीर
स्रोत

11

टकराव की संभावना के विश्लेषण के लिए क्रिप्टोग्राफी में रेनी एन्ट्रॉपी (ऑर्डर 2 का) उपयोगी है।

$X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

यह पता चलता है कि हमें संभावना की माप देता है कि के वितरण के अनुसार दो मान जो खींचे जाते हैं, वही होता है ("टकराना"): यह प्रायिकता ठीक । इस वितरण से बार ड्राइंग करने के बाद , इन ड्रॉ के बीच टकराव की अपेक्षित संख्या । $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

ये तथ्य क्रिप्टोग्राफी में उपयोगी हैं, जहां टकराव कभी-कभी समस्याग्रस्त हो सकते हैं और हमलों को सक्षम कर सकते हैं।

क्रिप्टोग्राफी में अन्य उपयोगों के कुछ विश्लेषण के लिए, मैं निम्नलिखित पीएचडी शोध प्रबंध की सिफारिश करता हूं:

क्रिश्चियन काचिन। क्रिप्टोग्राफी में एन्ट्रापी के उपाय और बिना शर्त सुरक्षा । पीएचडी शोध प्रबंध, ईटीएच ज्यूरिख, मई 1997।

— DW
स्रोत

क्या किसी भी q-Renyi एन्ट्रापी की ऐसी प्रत्यक्ष संभाव्य परिभाषा है? (जैसा कि आप मेरे उत्तर से देख सकते हैं, जिस तरह से मैं इसे मनमाने ढंग से q पर परिभाषित करने का एकमात्र तरीका जानता हूं, यह एक शारीरिक प्रणाली के अनुरूप विभाजन कार्यों को परिभाषित करने के माध्यम से है जो कि इसके

— लैग्रैनिज़ियन

@Airirbit, मुझे पता नहीं है। कोई भी ऐसा नहीं है जिसे मैं याद करता हूं (हालांकि यह संभव है कि क्यू-रेनी एन्ट्रापी अन्य सीमाओं पर सीमाएं हो सकती हैं, जिनकी हम परवाह करते हैं ...)

— डीडब्ल्यू

यह भी लगता है कि "सूचना एन्ट्रापी" मूल रूप से "थर्मोडायनामिक एन्ट्रॉपी" प्रतीत होती है। तो यहां तक (q = 1) -रेनी एन्ट्रॉपी यानी उलझाव एन्ट्रापी इसकी जटिलता व्याख्या के बारे में एक वैचारिक खाई है?

— हवाई

- \infty

$-\infty$

@DW एक संभाव्य व्याख्या प्रतीत होती है। मूल प्रश्न पर मेरी टिप्पणी देखें।

— आइरिट

3

यह अन्य स्टैकएक्सचेंज उत्तर और मूल उदाहरण का त्वरित अनुभव प्राप्त करने के लिए यह ब्लॉग पोस्ट बहुत उपयोगी हो सकता है,

मोटे तौर पर बोलते हुए रेनी एन्ट्रापीज एक क्वांटम प्रणाली के उत्साहित राज्यों के बारे में जानते हैं लेकिन जमीनी राज्यों के बारे में उलझाव एन्ट्रापी जानता है। चेतावनी: यह अंतर्ज्ञान बहुत क्रूड हो सकता है, लेकिन सिर्फ एक अच्छा "मानसिक हुक" हो सकता है: DI यह कहने के लिए एक बेहतर और सटीक तरीका जानने के लिए बहुत खुश होगा!

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

अस्तित्व और भलाई के बारे में हमेशा बहुत सारे मुद्दे होते हैं, जब कोई इन अनैच्छिक निरंतरता को करने की कोशिश करता है - लेकिन मेरे जैसे किसी व्यक्ति के लिए जिसे फेनमैन पथ के दैनिक आहार पर लाया जाता है, जो इससे निपटने के लिए एक बहुत ही आम मुद्दा है और हम इनको संबोधित करने के लिए बहुत सारे उपकरण हैं। इन मुद्दों को देखने के लिए तीन अच्छे कागजात हैं, http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (इन पत्रों में से अंतिम एक आसान प्रारंभिक बिंदु हो सकता है) यह प्रस्तुति भी मदद कर सकती है, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

क्वांटम जटिलता सिद्धांत के संदर्भ में रेनी एन्ट्रॉपी जो कहती है वह एक रोमांचक सवाल हो सकता है! क्या कोई रेनी इंडेक्स को किसी तरह से जटिलता वर्गों के पदानुक्रम के पैरामीटर के रूप में सोच सकता है? अगर सच हो तो मजेदार होना चाहिए! कृपया मुझे बताये :)

— Anirbit
स्रोत

0

रेनी एन्ट्रॉपी ने मात्रात्मक सूचना प्रवाह , एक क्षेत्र या सुरक्षा अनुसंधान की परिभाषाओं में अपना रास्ता खोज लिया है। जी। स्मिथ का सर्वेक्षण पत्र देखें ।

— काई
स्रोत