क्या बहुपद की जानकारी योग्य जानकारी के लिए सूचना सिद्धांत का सामान्यीकरण है?

Question

मैं माफी चाहता हूं, यह एक "नरम" सवाल है।

सूचना सिद्धांत में कम्प्यूटेशनल जटिलता की कोई अवधारणा नहीं है। उदाहरण के लिए, SAT की एक आवृत्ति या SAT प्लस का उदाहरण जो संतोषजनकता को दर्शाता है, वही जानकारी ले सकता है।

क्या "बहुपत्नी रूप से जानने योग्य" की अवधारणा को औपचारिक बनाने का एक तरीका है?

इस तरह के ढांचे को उदाहरण के लिए एक यादृच्छिक चर एक्स रिश्तेदार वाई के बीच बहुपद-केएल विचलन की धारणा के रूप में परिभाषित किया जा सकता है क्योंकि बहुपद समय में एक्स की गणना करने के लिए आवश्यक बिट्स की संख्या वाई दी गई है।

इसी तरह, एक यादृच्छिक चर एक्स की एन्ट्रापी को एक्स को एनकोडिंग के लिए आवश्यक बिट्स की संख्या के रूप में परिभाषित किया जा सकता है जिसे बहुपद समय में डिकोड किया जा सकता है।

क्या इस तरह के सामान्यीकरण का अध्ययन किया गया है? क्या इसे सुसंगत बनाया जा सकता है?

Comments

क्या आपने क्रिप्टोग्राफी एसई crypto.stackexchange.com पर यह पूछने की कोशिश की है ?

— Zsbán Ambrus

यह संभव है कि क्रिप्टो लोगों के पास एक उत्तर हो सकता है, लेकिन सवाल पूरी तरह से यहाँ विषय पर है, और मुझे संदेह है कि यहां एक अच्छा उत्तर प्राप्त करने का बेहतर मौका हो सकता है। बस एक त्वरित नोट: कृपया क्रिप्टो पर एक ही सवाल पोस्ट न करें। कई एसई साइटों पर क्रॉस-पोस्टिंग साइट नियमों द्वारा निषिद्ध है।

— डीडब्ल्यू

Answer 1

हाँ। समयबद्ध कोलमोगोरोव जटिलता कम से कम एक ऐसी "सामान्यीकरण" है (हालांकि कड़ाई से यह सामान्यीकरण नहीं है, लेकिन एक संबंधित अवधारणा है)। एक सार्वभौमिक ट्यूरिंग मशीन को ठीक करें$U$। $t(n)$एक स्ट्रिंग के समयबद्ध कोलमोगोरोव जटिलता $x$ एक तार दिया $y$ (के सापेक्ष $U$), निरूपित $K^t_U(x | y)$ (सबस्क्रिप्ट $U$ को अक्सर दबा दिया जाता है) सबसे छोटी स्ट्रिंग के रूप में परिभाषित किया गया है $p$ (एक "कार्यक्रम" के लिए $U$) ऐसा है कि $U(p,y)=x$ और इस तरह की गणना $U(p,y)$ सबसे ज्यादा लेता है $t(|x|)$समय। यदि आप इसे "सशर्त जानकारी" की परिभाषा के रूप में लेते हैं, तो आप सूचना सिद्धांत से सभी सामान्य अवधारणाओं को परिभाषित कर सकते हैं।

हालांकि, इस समयबद्ध सेटिंग में, सूचना सिद्धांत के सभी सामान्य प्रमेयों को रखने के लिए नहीं जाना जाता है। उदाहरण के लिए, जानकारी की समरूपता को कोलमोगोरोव जटिलता (कोई समय सीमा नहीं) के लिए जाना जाता है, लेकिन समयबद्धता के लिए नहीं जाना जाता है। उदाहरण के लिए, ट्रॉय ली की थीसिस का अध्याय 6 देखें ।

यदि आप चिंतित हैं कि यह वितरण के बजाय स्ट्रिंग्स पर लागू होता है, तो मैं निम्नलिखित पत्रों को पढ़ने का सुझाव देता हूं, जो कहते हैं कि वास्तव में कोलमोगोरोव की जटिलता और शैनन के वितरण की जटिलता बहुत निकट से संबंधित हैं:

• ग्रुनवल्ड और विटानि। शैनन सूचना और कोलमोगोरोव जटिलता

• हैमर, रोमाशेंको, शेन, वीरेशैचिन। शैनन एंट्रोपी और कोलमोगोरोव जटिलता के लिए असमानता ।

(दूसरी ओर, कुछ गुण हैं जो दोनों के बीच साझा नहीं किए जाने के लिए जाने जाते हैं, मुचनिक और वीरशैचिन, शैनन एंट्रोपी बनाम कोलमोगोरोव कॉम्प्लेक्सिटी देखें ।)

Comments

मेरी मुख्य चिंता यह होगी कि समय ट्यूरिंग मशीन पर निर्भर है। चूंकि ट्यूरिंग मशीन एक-दूसरे को बहुपद गति या गति-गति के साथ एक-दूसरे का अनुकरण कर सकती हैं, लॉग (लॉग (t) द्वारा जटिलता को दंडित करते हुए उन्हें एक योजक स्थिरांक के बराबर बना दिया जाएगा। हालांकि, लेविन जटिलता लॉग (टी) का उपयोग करता है, मुझे यकीन नहीं है कि क्यों।

— आर्थर बी

@ आर्थर बी: मैं आपकी चिंता को समझता हूं, लेकिन इसके आसपास कई मानक तरीके हैं। आमतौर पर जब आप कोलमोगोरोव जटिलता के बारे में समय-बद्ध करते हैं, तो आप सभी बहुपद समय सीमा के लिए फॉर्म के एक बयान को साबित कर सकते हैं।$t(n)$, ... ", जिस बिंदु पर सार्वभौमिक मशीन को बदलकर किसी भी बहुपद धीमी-गति / गति को अब प्रासंगिक नहीं कहा जाता है, क्योंकि बयान किसी भी मामले में लागू होता है। (मैंने यह नहीं कहा कि आप क्या कह रहे थे। $\log \log t$, लेकिन मुझे लगता है कि इस समस्या को संभालने की कोशिश करने का सिर्फ एक अलग तरीका है ...)

— जोशुआ ग्रोको

Answer 2

एक मुद्दा यह है कि सूचना सिद्धांत में हमारे द्वारा उपयोग किए जाने वाले कई प्रमेय, कम्प्यूटेशनल दुनिया में नहीं हैं। इसलिए, भले ही हमने एन्ट्रापी के एक कम्प्यूटेशनल एनालॉग को औपचारिक रूप दिया, परिणामी सिद्धांत सूचना सिद्धांत की तरह नहीं दिख सकता है।

उदाहरण के लिए, यदि $f$ एक नियतात्मक कार्य है, फिर $H(f(X)) \le H(X)$। हालांकि, एन्ट्रापी के किसी भी प्रशंसनीय कम्प्यूटेशनल धारणा के लिए, यह अब नहीं रहेगा: उदाहरण के लिए, एक छद्म-आयामी जनरेटर के बारे में सोचें, जो एक छोटे बीज को लंबे छद्म-आयामी उत्पादन में फैलाता है। कम्प्यूटेशनल एन्ट्रापी की किसी भी बोधगम्य परिभाषा के द्वारा मैं कल्पना कर सकता हूं, कि लंबे छद्म आयामी उत्पादन में बड़ी कम्प्यूटेशनल एन्ट्रॉपी होगी (यह उन लंबे तारों पर एक समान वितरण से कम्प्यूटेशनल रूप से अप्रभेद्य है), इस प्रकार उल्लंघन करना$H(f(X)) \le H(X)$।

Comments

मैं समझता हूं, मुझे आश्चर्य है कि कितना बचाया या गढ़ा जा सकता है। उस स्थिति में, आप कसना जोड़ सकते हैं कि f बहुपद रूप से उल्टा है, लेकिन ऐसा लगता है कि तदर्थ

— Arthur B

मुझे लगता है कि बीज में उत्पन्न पीडीडो-यादृच्छिक स्ट्रिंग की तुलना में अधिक जानकारी होती है क्योंकि हम बीज से उत्पन्न स्ट्रिंग की गणना कर सकते हैं।

— केव

@Kaveh, यदि आप एक सूचना-सिद्धांत-बोध में बात कर रहे हैं: यदि छद्म आयामी जनरेटर उल्टा है (शायद बहुपद में नहीं है, लेकिन सिद्धांत रूप में), तो इसके इनपुट और आउटपुट में सूचना, सूचना-सैद्धांतिक रूप से समान मात्रा है; अन्यथा, यदि छद्म आयामी व्यक्ति गैर-उल्टा है, तो आप सही हैं।

— डीडब्ल्यू

Answer 3

मैं एक सूचना-थिरेटिक कम्प्यूटेशनल मॉडल के बारे में नहीं जानता, लेकिन कम्प्यूटेशनल जटिलता के लिए सूचना सिद्धांत के स्पष्ट अनुप्रयोग हैं।

उदाहरण के लिए, क्लासिक $n \log n$तुलना-आधारित छँटाई पर कम बाध्य आदानों के सभी संभावित आदेशों के बीच अंतर करने के लिए आवश्यक निर्णय वृक्ष की ऊंचाई के बारे में एक सूचना-सिद्धांत संबंधी तर्क पर आधारित है। आप इसी तरह खोज, क्रम-सांख्यिकी, औसत आदि की कम्प्यूटेशनल जटिलता पर तुच्छ जानकारी-सिद्धांत संबंधी सीमाएँ बना सकते हैं।

आमतौर पर, सूचना-सिद्धांत संबंधी परिणाम कम्प्यूटेशनल जटिलता पर कम सीमा के रूप में काम कर सकते हैं। उदाहरण के लिए, संचार जटिलता {1} पर याओ के "सूचना-सिद्धांत" का परिणाम यह निर्धारित करने पर कम्प्यूटेशनल कम सीमा है कि क्या दो सेट समान हैं। संचार जटिलता के अधिक परिष्कृत अनुप्रयोग ट्यूरिंग मशीनों {2} के लिए समय-स्थान व्यापार प्रदान करते हैं।

---

{१} याओ, एंड्रयू ची-चीह। "वितरण कंप्यूटिंग (प्रारंभिक रिपोर्ट) से संबंधित कुछ जटिलताएं।" कंप्यूटिंग के सिद्धांत पर ग्यारहवें वार्षिक एसीएम संगोष्ठी की कार्यवाही। एसीएम, 1979।

{२} ईयाल कुशिल्वित्ज़: संचार जटिलता। कंप्यूटर में अग्रिम 44: 331-360 (1997)।