सूचना थ्योरी साफ जुगलबंदी वाले बयानों का इस्तेमाल करती है?

54

आपके पसंदीदा उदाहरण जहां सूचना सिद्धांत का उपयोग एक सरल तरीके से एक स्वच्छ दहन कथन को सिद्ध करने के लिए किया जाता है?

कुछ उदाहरण मैं की, स्थानीय स्तर पर decodable कोड, उदाहरण के लिए सीमा कम करने के लिए संबंधित हैं में सोच सकते हैं इस कागज: लगता है कि द्विआधारी तार का एक समूह के लिए लंबाई के यह मानती है कि के लिए हर , के लिए विभिन्न जोड़े { }, तब मीटर n में कम से कम घातीय है, जहां घातांक के औसत अनुपात पर रैखिक रूप से निर्भर करता है $x_1,...,x_m$ $n$ $i$ $k_i$ $j_1,j_2$

e_{i} = x_{j_{1}} \oplus x_{j_{2}} .

$e_i = x_{j_1} \oplus x_{j_2}.$

।

k_{i} / m

$k_i/m$

एक और (संबंधित) उदाहरण बूलियन क्यूब पर कुछ isoperimetric असमानताएं हैं (अपने उत्तरों में इस पर विस्तार से बेझिझक)।

क्या आपके पास और अच्छे उदाहरण हैं? अधिमानतः, संक्षिप्त और समझाने में आसान।

co.combinatorics big-list it.information-theory

— दाना मोशकोविट्ज़
स्रोत

क्या कोई "अन्य (संबंधित) उदाहरण पर कोई संदर्भ दे सकता है जो बूलियन क्यूब पर कुछ आइसोपरिमेट्रिक असमानताएं हैं"?

— vzn

40

रचनात्मक Lovasz स्थानीय Lemma का मोजर सबूत । वह मूल रूप से दर्शाता है कि, स्थानीय लेम्मा की शर्तों के तहत, सैट के लिए दूसरा सबसे सरल एल्गोरिदम आप कामों के बारे में सोच सकते हैं। (पहला सबसे सरल काम हो सकता है जब तक कि एक काम न हो जाए, तब तक दूसरा सबसे सरल काम लिया जाता है। एक यादृच्छिक असाइनमेंट लेने के लिए, एक असंतुष्ट खंड ढूंढें, इसे संतुष्ट करें, फिर देखें कि आपने अन्य खंडों को क्या तोड़ा, पुनरावृत्ति किया और जब तक दोहरा नहीं लिया।) यह सबूत कि यह बहुपद समय में चलता है शायद सूचना सिद्धांत (या कोलमोगोरोव जटिलता, जो भी आप इस मामले में इसे कॉल करना चाहते हैं) का सबसे सुरुचिपूर्ण उपयोग है। मैंने कभी देखा है।

— जोशुआ ग्रोचो
स्रोत

1

मोजर के सुंदर कोलमोगोरोव जटिलता प्रमाण को यहां बताया गया है: blog.computationalcomplexity.org/2009/06/… , लेकिन मुझे स्वीकार करना होगा कि मैं एक एन्ट्रापी / पारस्परिक-सूचना / उदाहरण के -calacle के लिए अधिक देख रहा था ...

— दाना मोशकोविट्ज़

इस सवाल के जवाब के रूप में कोलमोगोरोव जटिलता के कुछ बहुत ही दिलचस्प अनुप्रयोग दिए गए हैं: cstheory.stackexchange.com/questions/286

— arnab

टेरी ताओ ने अपने ब्लॉग पर मोजर के तर्क पर भी चर्चा की: terrytao.wordpress.com/2009/08/05/…

— एंथोनी लीवरियर

5

वास्तव में, अपने दूसरे पेपर में (तारदोस के साथ) आपको अब पुनरावृत्ति की आवश्यकता नहीं है। आप बस एक असंतुष्ट खंड की तलाश में हैं, इसके चर और पुनरावृति के लिए एक यादृच्छिक असाइनमेंट चुनें । बस। किसी कारण से सरल एल्गोरिथ्म (एक ही विश्लेषण होने) अटक नहीं है।

— युवल फिल्मस

@DanaMoshkovitz: मुझे नहीं पता कि यह आपकी टिप्पणी के जवाब में मुझे जल्द ही कहने के लिए क्यों नहीं हुआ: कोलमोगोरोव जटिलता और एन्ट्रॉपी, कई मायनों में, अनिवार्य रूप से समकक्ष हैं। उदाहरण के लिए देखें हैमर-रोमाशेंको-शेन-वर्शाचिन: dx.doi.org/10.1006/jcss.1999.1677 । उदाहरण के लिए, [HRSV] पर आधारित, अर्नब के उत्तर में शीयर के लेम्मा के प्रमाण को अनिवार्य रूप से उसी प्रमाण के साथ साबित किया जा सकता है, जो प्रवेश के स्थान पर कोलमोगोरोव जटिलता का उपयोग कर रहा है। अंतर सिर्फ दृष्टिकोण है: कश्मीर वर्णन लंबाई के बारे में है, एच के बारे में है

... कभी कभी एक दूसरे से / आसान और अधिक प्राकृतिक है।

\sum p_{i} \log p_{i}

$\sum p_i \log p_i$

— जोशुआ ग्रोवो

33

इस प्रकार का मेरा पसंदीदा उदाहरण शीयर लेम्मा का एन्ट्रापी-आधारित प्रमाण है। (मैं इस सबूत और जयकुमार राधाकृष्णन की ओर से कई अन्य बहुत सुंदर लोगों के सीखा Entropy और गिनती ।)

दावा: मान लीजिए आपके पास में अंक है कि पर अलग अनुमानों विमान, पर अलग अनुमानों विमान और पर अलग अनुमानों विमान। फिर, । $n$ $\mathbb{R}^3$ $n_x$ $yz$ $n_y$ $xz$ $n_z$ $xy$ $n^2 \leq n_x n_y n_z$

प्रमाण: एक बिंदु समान रूप से बिंदुओं से यादृच्छिक पर चुना जाए । चलो , , पर अपने अनुमानों को निरूपित , और क्रमशः विमानों। $p = (x,y,z)$ $n$ $p_x$ $p_y$ $p_z$ $yz$ $xz$ $xy$

एक तरफ, , , और , एन्ट्रापी के बुनियादी गुणों के द्वारा। $H[p] = \log n$ $H[p_x] \leq \log n_x$ $H[p_y] \leq \log n_y$ $H[p_z] \leq \log n_z$

दूसरी ओर, हमारे पास और भी

H [p] = H [x] + H [y | x] + H [z | x, y]

$H[p] = H[x] + H[y|x] + H[z | x,y]$

H [p_{x}] = H [y] + H [z | y]

$H[p_x] = H[y] + H[z|y]$

अंतिम तीन समीकरणों को जोड़ने से हमें मिलता है:

H [p_{y}] = H [x] + H [z | x]

$H[p_y] = H[x] + H[z|x]$

H [p_{z}] = H [x] + H [y | x]

$H[p_z] = H[x] + H[y|x]$

H [p_{x}] + H [p_{y}] + H [p_{z}] =

$H[p_x] + H[p_y] + H[p_z] =$

2 H [x] + H [y] +

$2H[x] + H[y]+$

H [y | x] +

$H[y|x] +$

, जहां हम (तथ्य यह है कि कंडीशनिंग एन्ट्रापी कम हो जाती है इस्तेमाल किया सामान्य रूप में,

H [z | x]

$H[z|x]$

+ H [z | y]

$+ H[z|y]$

\geq 2 H [x] + 2 H [y | x] + 2 H [z | x, y] =

$\geq 2H[x] + 2H[y|x] + 2H[z|x,y] =$

2 H [p]

$2H[p]$

H [a] \geq H [a | b]

$H[a] \geq H[a|b]$ किसी भी यादृच्छिक चर के लिए

)।

a, b

$a,b$

इस प्रकार, हमारे पास , या । $2 \log n \leq \log n_x + \log n_y + \log n_z$ $n^2 \leq n_x n_y n_z$

— अर्नाब
स्रोत

6

एहुद फ्रीगट द्वारा 'हाइपरग्राफ, एन्ट्रापी, और असमानता' की जाँच करने के लिए एक संबंधित पेपर है। यह दर्शाता है कि कैसे एक एन्ट्रापी परिप्रेक्ष्य, विशेष रूप से एक सामान्यीकृत शीयर लेम्मा, कई मानक असमानताओं को आसानी से ठीक कर सकता है, और कुछ गैर-मानक, जटिल-दिखने वाले भी। मुझे लगता है कि यह एक शानदार परिप्रेक्ष्य देता है। लिंक: ma.huji.ac.il/~ehudf/docs/KKLBKKKL.pdf

— एंडी ड्रकर

26

$p$ $(L\cup R, E)$ $\prod_{v \in L} (d(v)!)^{1/d(v)}$

$M$ $H(M) = \log p$
$v \in L$ $X_v$ $R$ $v$ $M$
$X = (X_v : v \in L)$ $M$ $H(M) = H(X)$
$\leq$ $L$ $H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
${X_u : u < v}, \leq$ $N_v = |N(v) \setminus { X_u : u < v }|$ $v$
$N_v$ $H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
${X_u : u < v}, \leq$ $H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
$N_v$ ${1,\dots, d(v)}$
$H(X_v | N_v)$ $N_v$ $H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
परिणाम सभी असमानताओं को एक साथ जोड़कर और प्रतिपादकों को लेने के बाद आता है।

$G$ $\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

— डेरिक स्टोले
स्रोत

1

H (X_{v} ∣ N_{v})

$H(X_v\mid N_v)$

H (X_{v} ∣ N_{v} = i)

$H(X_v\mid N_v = i)$

\log i

$\log i$

आप बिल्कुल सही हैं और मैंने असमानता का उपयोग करने के लिए उत्तर संपादित किया है।

— डेरिक स्टोले 18

20

कंबाइनटोरियल थ्योरी में पिपंजर एन इंफोर्मेशन-थियोरेटिक विधि द्वारा दो पेपरों में बहुत अच्छे उदाहरण निहित हैं। जे। कंघी। सिद्धांत, सर्। एक 23 (1): 99-104 (1977) और एन्ट्रापी और बूलियन कार्यों की गणना। सूचना सिद्धांत पर IEEE लेनदेन 45 (6): 2096-2100 (1999)। दरअसल, पिप्पेनगर के कई पत्रों में एन्ट्रापी / आपसी सूचनाओं के माध्यम से जुझारू तथ्यों के सुंदर प्रमाण हैं। इसके अलावा, दो पुस्तकें: कंप्यूटर विज्ञान और Aigner में जुकना, एक्सट्रीमल कॉम्बिनेटरिक्स, कॉम्बीनेटरियल सर्च के कुछ अच्छे उदाहरण हैं। मुझे दो पेपर मदीमन वगैरह भी पसंद हैं। Additive Combinatorics, और Terence Tao, Entropy sumset अनुमानों में सूचना-सिद्धांत संबंधी असमानताएं (आप उन्हें Google विद्वान के साथ पा सकते हैं)। आशा है ये मदद करेगा।

— युगो
स्रोत

एक महान पढ़ने की सूची की तरह लग रहा है!

— दाना मोशकोविट्ज़

17

एक और बढ़िया उदाहरण है टेरी ताओ का स्ज़मेरी ग्राफ नियमितता लेम्मा का वैकल्पिक प्रमाण । वह नियमितता लेम्मा के एक मजबूत संस्करण को साबित करने के लिए एक सूचना-सिद्धांत संबंधी दृष्टिकोण का उपयोग करता है, जो हाइपरग्राफ के लिए नियमितता लेम्मा के अपने प्रमाण में बेहद उपयोगी साबित होता है । ताओ का प्रमाण है, अब तक, हाइपरग्राफ नियमितता लेम्मा के लिए सबसे संक्षिप्त प्रमाण।

मुझे इस सूचना-सिद्धांत के परिप्रेक्ष्य में बहुत उच्च स्तर पर समझाने की कोशिश करते हैं।

$G$ $V_1$ $V_2$ $V_1 \times V_2$ $G$ $\rho = |E|/|V_1||V_2|$ $G$ $\epsilon$ $U_1 \subseteq V_1$ $U_2 \subseteq V_2$ $U_1$ $U_2$ $\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$ $V_1$ $x_2$ $V_2$ $\epsilon$ $U_1, U_2$ $\epsilon$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$

$V_1$ $V_2$ $U_1 \subset V_1, U_2 \subset V_2$ $U_1 \times U_2$ $\epsilon$ $x_1$ $x_2$ $E(x_1,x_2)$ $U_1(x_1)$ $U_2(x_2)$ $U_1$ $U_2$ $E$ $x_1 | U_1$ $x_2 | U_2$ $x_1$ $x_2$

— अर्नब
स्रोत

15

मूल रूप से इस प्रश्न के लिए समर्पित एक संपूर्ण पाठ्यक्रम है:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

पाठ्यक्रम अभी भी जारी है। इसलिए यह लिखने के लिए सभी नोट्स उपलब्ध नहीं हैं। साथ ही, पाठ्यक्रम से कुछ उदाहरण पहले ही उल्लेख किए गए थे।

— मोरित्ज़
स्रोत

3

अच्छा सूचक: एक महान वर्ग की तरह दिखता है।

— सुरेश वेंकट

1

जहां तक मैं बता सकता हूं, यह पेशकश आधा पाठ्यक्रम है, जिसमें कुछ उदाहरण हैं जिनमें मेरे प्रश्न के अच्छे उत्तर हैं, और आधा सेमिनार, संचार कम सीमा, चिमटा, समानांतर पुनरावृत्ति, आदि जैसे उदाहरणों को कवर करता है, जिसमें केवल बहुत अधिक की आवश्यकता होती है सूचना सिद्धांत (यहां कोई नोट नहीं हैं, बस मूल कागजात के लिंक हैं)।

— डाना मोशकोविट्ज़

7

$n$ $\ell_2^d$ $1 \pm \epsilon$ $d$ $O(\log n / \epsilon^2)$ $\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$ $\sim \log(1 / \epsilon)$

— ilyaraz
स्रोत

4

ℓ_{1}^{d}

$\ell_1^d$

यह बहुत स्वाभाविक और अच्छा लगता है कि ये विशुद्ध रूप से ज्यामितीय परिणाम TCS के लोगों द्वारा सिद्ध किए गए थे!

— इलियाराज़

6

$m$ $u \in [m]$ $x \in [m]$ $x=u$ $t$ $t$

$O(m^{1/t})$ $\log m$ $u$ $t$ $i \in [t]$ $(\log m)/t$ $i$ $u$

$X$ $[m]$ $H[X] = \log m$ $X_1, \dots, X_t$ $t$ $H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$ $s$ $s \geq m^{1/t}$

$t > 1$

— अर्नब
स्रोत

5

$P$ $P$ $O(\log |X|)$ $X$ $P$

— गिल कलाई
स्रोत

3

जियांग, ली, विटैनी द्वारा कोलमोगोरोव जटिलता का उपयोग करते हुए एल्गोरिदम का औसत-केस विश्लेषण ।

'एल्गोरिदम की औसत-मामले की जटिलता का विश्लेषण करना कंप्यूटर विज्ञान में एक बहुत ही व्यावहारिक लेकिन बहुत कठिन समस्या है। पिछले कुछ वर्षों में हमने प्रदर्शित किया है कि कोलमोगोरोव जटिलता एल्गोरिदम के औसत-मामले की जटिलता का विश्लेषण करने के लिए एक महत्वपूर्ण उपकरण है। हमने अपूर्णता विधि विकसित की है [7]। इस पत्र में हम इस तरह की शक्ति और सादगी को प्रदर्शित करने के लिए कई सरल उदाहरणों का उपयोग करते हैं। हम अनुक्रमिक या समानांतर क्व्यूसोर्ट या स्टैकसॉर्ट को छांटने के लिए आवश्यक स्टैक्स (कतारों) की औसत-केस संख्या पर सीमा साबित करते हैं। '

कोलमोगोरोव कॉम्प्लेक्सिटी और हेइब्रोन प्रकार की त्रिभुज समस्या भी देखें ।

— नील जवान
स्रोत

3

स्कॉट आरोनसन द्वारा नमूना लेने और खोजने की समानता । यहां उन्होंने विस्तारित चर्च-ट्यूरिंग थीसिस की वैधता के संबंध में जटिलता सिद्धांत में नमूनाकरण और खोज समस्या की समानता को दिखाया। मानक सूचना सिद्धांत, एल्गोरिथम सूचना सिद्धांत और कोलमोगोरोव जटिलता का मौलिक रूप से उपयोग किया जाता है।

वह जोर देता है:
" हमें तनाव दें कि हम कोल्मोगोरोव जटिलता का उपयोग केवल तकनीकी सुविधा के रूप में या गिनती तर्क के लिए आशुलिपि के रूप में नहीं कर रहे हैं। बल्कि, खोज समस्या को परिभाषित करने के लिए कोलमोगोरोव जटिलता भी आवश्यक लगती है .. "

— DurgaDatta
स्रोत

0

यह एक सरल और एक अनुमान भी है: 10 ^{9 में} से 10 ⁶ चीजों के कितने संयोजन डुप्लिकेट की अनुमति देते हैं? सही सूत्र है

एन = (१० ^६ + १० ^९ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

लेकिन एक बिलियन बाल्टियों की एक पंक्ति के साथ चलने के निर्देश देने की कल्पना करें, एक मिलियन मार्बल्स को रास्ते में बाल्टी में गिरा दें। अगले बाल्टी "निर्देशों के लिए ~ 10 ⁹ " कदम होगा और 10 ⁶ "एक संगमरमर को छोड़ दें" निर्देश। कुल जानकारी है

लॉग इन करें ₂ (एन) ~ = -10 ⁶ लॉग ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ लॉग ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = १,१४,०९,२००.४३२७४२४२६

जो लगभग (लॉग की) गिनती करने के लिए एक मजेदार, लेकिन बहुत अच्छा तरीका है। मुझे यह पसंद है क्योंकि यह काम करता है अगर मैं भूल जाता हूं कि कॉम्बिनेटरिक्स कैसे करना है। यह कहने के बराबर है

(ए + बी)! / ए! ख! ~ = (ए + बी) ^{(ए + बी)} / ^ए बी ^बी

जो स्टर्लिंग के सन्निकटन का उपयोग करने, रद्द करने और कुछ याद करने जैसा है।

— FutureNerd
स्रोत

2

यदि आप विशिष्ट संख्याओं के बजाय सामान्य बाउंड करते हैं तो यह अधिक पठनीय हो सकता है। मुझे लगता है कि आप एक हेमिंग बॉल की मात्रा के एन्ट्रापी-आधारित अनुमान के बारे में बात कर रहे हैं।

— साशो निकोलेव

0

Linial और Luria द्वारा उच्च-आयामी क्रमपरिवर्तन के लिए ऊपरी सीमा देने के लिए एक बहुत अच्छा हालिया आवेदन यहाँ है: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf

— गिल कलाई
स्रोत