संकुचित संवेदन के एनालॉग

Question

में संकुचित संवेदन , लक्ष्य इतना है कि इनपुट संकेत संपीड़न ( "स्केच") से कुशलता से बरामद किया जा सकता विशाल इनपुट संकेतों कि एक विरल प्रतिनिधित्व के लिए जाना जाता के लिए रैखिक संपीड़न योजनाएं मिल रहा है,। अधिक औपचारिक रूप से, मानक सेटअप एक संकेत वेक्टर है कि वहाँ है जिसके लिए , और संकुचित प्रतिनिधित्व के बराबर होती है कुल्हाड़ी जहां एक एक है आर -by- n असली मैट्रिक्स जहां हम R \ ll चाहते हैं । संपीड़ित संवेदन का जादू यह है कि कोई व्यक्ति स्पष्ट रूप से ए का निर्माण कर सकता है ताकि यह किसी भी कश्मीर की तेजी से (लगभग-रैखिक समय) सटीक वसूली कर सके।$x \in \mathbb{R}^n$$\|x\|_0 < k$$Ax$$A$$R$$n$$R \ll n$$A$$k$-Sparse $x$ को R के साथ O (kn ^ {o (1)})$R$ जितना छोटा करें । मेरे पास सबसे अच्छे ज्ञात पैरामीटर नहीं हो सकते हैं लेकिन यह सामान्य विचार है।$O(k n^{o(1)})$

मेरा सवाल है: क्या अन्य सेटिंग्स में समान घटनाएं हैं? मेरा मतलब है कि इनपुट संकेत कुछ "कम जटिलता परिवार" से आ सकता है जटिलता के एक माप के अनुसार जो कि आवश्यक नहीं है। हम तब संपीड़न और विघटन एल्गोरिदम चाहते हैं, जरूरी नहीं कि रेखीय नक्शे, जो कुशल और सही हों। क्या ऐसे परिणाम एक अलग संदर्भ में ज्ञात हैं? संपीड़ित संवेदन के अधिक "सामान्य" सिद्धांत के लिए आपका अनुमान क्या होगा?

(बेशक, संकुचित संवेदन के अनुप्रयोगों में, रैखिकता और विरलता महत्वपूर्ण मुद्दे हैं। मैं जो सवाल यहां पूछता हूं वह "दार्शनिक" है।)

Answer 1

आपका प्रश्न पतों "सटीक" वसूली समस्या (हम एक k-विरल पुनर्प्राप्त करना चाहते हैं $x$ वास्तव में दिए गए $Ax$ )। निम्नलिखित हालांकि मैं "मजबूत" संस्करण है, जहां पर ध्यान दिया जाएगा में $x$ एक मनमाना वेक्टर और वसूली एल्गोरिथ्म का लक्ष्य है मिल रहा है एक $k$ -sparse सन्निकटन $x'$ के लिए $x$ (इस तरह के अंतर वास्तव में नीचे चर्चा से कुछ के लिए मायने रखती है )। औपचारिक रूप से आप निम्नलिखित समस्या चाहते हैं (इसे $P_1$ ):

डिज़ाइन $A$ ऐसा है कि किसी भी $x$ लिए $x'$ जहां \ _ x-x' \ _ _L \ le को पुनर्प्राप्त कर सकता है$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ , जहाँ सभी -sparse वैक्टर से अधिक होता है।$x"$$k$

यहाँ, और बाएँ और दाएँ मान को निरूपित करता है, और "सन्निकटन कारक" है। वहाँ विभिन्न विकल्पों के लिए संभव हैं और । लिए, कोई सोच सकता है कि दोनों या बराबर हैं ; हालांकि यह अधिक गड़बड़ हो सकता है।$\| \cdot \|_L$$\| \cdot \|_R$$C$$\| \cdot \|_L$$\| \cdot \|_R$$\ell_2$$\ell_1$

अब कुछ एनालॉग्स और सामान्यीकरण के लिए।

मनमाना आधार। सबसे पहले, यह देखें कि उपरोक्त परिभाषा को संतुष्ट करने वाली किसी भी योजना का उपयोग अधिक सामान्य समस्या को हल करने के लिए किया जा सकता है, जहां बरामद सिग्नल एक मनमाने ढंग से आधार में विरल है (जैसे, फूरियर का तरंगिका), न कि केवल मानक एक। चलो आधार मैट्रिक्स हो। औपचारिक रूप से, एक वेक्टर है -sparse आधार में अगर जहां है -sparse। अब हम सामान्यीकृत समस्या पर विचार कर सकते हैं (इसे ):$x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

डिज़ाइन करें जैसे कि , एक को पुनर्प्राप्त कर सकता है जहाँ$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ , जहाँ में -sparse वाले सभी वैक्टरों पर निर्भर करता है ।$x"$$k$$B$

एक पहले समस्या को इस समस्या को कम कर सकते हैं , आधार बदल रहा है यानी, एक माप मैट्रिक्स का उपयोग करके । हम के लिए एक समाधान है, तो में आदर्श (यानी, छोड़ दिया और सही नियमों के बराबर ), हम भी करने के लिए एक समाधान मिल में आदर्श। यदि अन्य मानदंडों का उपयोग करता है, तो हम आधार बदलकर उन मानदंडों में को हल करते हैं।$P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

उपरोक्त में एक चेतावनी यह है कि उपरोक्त दृष्टिकोण में, हमें को परिभाषित करने के लिए मैट्रिक्स को जानना होगा । शायद आश्चर्यजनक रूप से, यदि हम यादृच्छिककरण की अनुमति देते हैं ( तय नहीं है, बल्कि यादृच्छिक पर चुना गया है), तो से स्वतंत्र होने वाले निश्चित वितरण से चुना जाना संभव है । यह तथाकथित सार्वभौमिकता संपत्ति है।$B$$A_B$$A_B$$A_B$$B$

शब्दकोश। अगले सामान्यीकरण को को आधार बनाकर आवश्यकता को प्राप्त किया जा सकता है। इसके बजाय, हम को स्तंभों की तुलना में अधिक पंक्तियों की अनुमति दे सकते हैं। इस तरह के मैट्रिस को (अधूरा) शब्दकोश कहा जाता है। एक लोकप्रिय उदाहरण फूरियर मैट्रिक्स के शीर्ष पर पहचान मैट्रिक्स है। एक अन्य उदाहरण एक मैट्रिक्स है जहां पंक्तियाँ {1 ... n} में सभी अंतरालों की विशेषता वैक्टर हैं; इस स्थिति में, सेट { sparse } होता है, जिसमें सभी " -histograms" होते हैं, अर्थात, अधिकांश टुकड़ों के साथ {1 ... n} पर लगातार कार्य करता है ।$B$$B$$Bu: \mbox{u is k-sparse}$$k$$k$

जहां तक ​​मुझे पता है कि इस तरह के मनमाने शब्दकोशों के लिए कोई सामान्य सिद्धांत नहीं है, हालांकि इस विषय पर उचित मात्रा में काम हुआ है। उदाहरण देखें, कैंडेस-एल्डार-नीडेल'10 या डोनो-एलाड-टिमलाकोव, आईईईई सूचना सूचना पर लेनदेन, 2004 ।

हिस्टोग्राम के लिए स्केचिंग की बड़े पैमाने पर स्ट्रीमिंग और डेटाबेस साहित्य में जांच की गई थी, उदाहरण के लिए, गिल्बर्ट-गुहा- इंडीक-कोटिडिस- मुथुकृष्णन-स्ट्रॉस, एसटीओसी 2002 या थैपर-गुहा-इंद्र-कडास, एसआईजीएमओडी 2002 ।

मॉडल के। (अर्नब द्वारा भी उल्लेख किया गया है)। एक अलग सामान्यीकरण स्पार्सिटी पैटर्न पर प्रतिबंध लागू करना है। चलो का एक सबसेट हो की {1 ... n} -subsets। हम कहते हैं कि है -sparse अगर के समर्थन का एक तत्व में शामिल है । अब हम समस्या का निवारण कर सकते हैं (इसे कह सकते हैं ):$M$$k$$u$$M$$u$$M$$P_M$

डिज़ाइन ऐसा है कि किसी भी लिए जहां को पुनर्प्राप्त कर सकता है$A$$x$$x'$$\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ , जहां सभी -sparse वैक्टर पर निर्भर करता है।$x"$$M$

उदाहरण के लिए, के तत्वों फार्म के हो सकता है , जहां प्रत्येक के कुछ लंबाई के {1 ... n} एक "उप ब्लॉक" से मेल खाती है , यानी, की है कुछ लिए फॉर्म {jb + 1 ... (j + 1) b} । यह तथाकथित "ब्लॉक स्पारसिटी" मॉडल है। $M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

मॉडल के लाभ है कि एक सामान्य की तुलना में माप की संख्या पर बचा सकता है, है -sparsity दृष्टिकोण। ऐसा इसलिए है क्योंकि -sparse संकेतों का स्थान सभी -sparse संकेतों के स्थान से छोटा है , इसलिए मैट्रिक्स को कम जानकारी को संरक्षित करने की आवश्यकता है। अधिक जानकारी के लिए, Baraniuk-Cevher-Duarte-Hegde, IEEE Transactions on Information Theory, 2010 या Eldar-Mishali, IEEE Transactions on Information Theory, 2009 देखें ।$k$$M$$k$$A$

उम्मीद है की यह मदद करेगा।

Answer 2

मैट्रिक्स को पूरा करने वाले गैर-कम्यूटिंग सेटिंग को संकुचित संवेदन का सामान्यीकरण है । सटीक सेटिंग में, आपको एक अज्ञात मैट्रिक्स जाता है, जो कि कम जगह पर, कम रैंक लिए जाना जाता है । आपका लक्ष्य इस मैट्रिक्स के एकवचन मान और एकवचन वैक्टर को फिर से संगठित करना है , जो कि सबसे खराब स्थिति में बजाय मैट्रिक्स के केवल गुणांक का नमूना लेते हैं । $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

यदि एकवचन वैक्टर पर्याप्त रूप से "असंगत" है (मोटे तौर पर, बहुत अच्छी तरह से संरेखित नहीं), जिसके आधार पर आप मैट्रिक्स तत्वों का नमूना ले रहे हैं, तो आप मानक संपीड़ित के समान उत्तल कार्यक्रम को हल करके उच्च संभावना के साथ सफल हो सकते हैं। इस स्थिति में, आपको स्कैटन 1-मान को कम करना होगा, अर्थात एकवचन मानों का योग।

इस समस्या के बहुत सारे अनुप्रयोग हैं, उदाहरण के लिए, ऑनलाइन बुक स्टोर के ग्राहक को पुस्तक की सिफारिशें देने के लिए केवल कुछ रेटिंगों को जानने से जो अन्य ग्राहकों ने उत्पन्न की हैं। इस संदर्भ में, की पंक्तियों और स्तंभों को क्रमशः पुस्तकों और ग्राहकों द्वारा लेबल किया जाता है। कुछ दृश्यमान मैट्रिक्स तत्व उन पुस्तकों की ग्राहक रेटिंग हैं जो उन्होंने पहले खरीदी थीं। मैट्रिक्स को निम्न रैंक की उम्मीद है क्योंकि हमारा मानना ​​है कि आमतौर पर केवल कुछ प्राथमिक कारक हमारी प्राथमिकताओं को प्रभावित करते हैं। पूरा करके , विक्रेता सटीक भविष्यवाणी कर सकता है कि आपको कौन सी किताबें चाहिए।$M$$M$$M$

एक अच्छी शुरुआत है कैंडेस और रिचेट द्वारा यह पेपर, उत्तल मैट्रिक्स उत्तीर्ण उत्तल अनुकूलन के माध्यम से । वहाँ भी वास्तव में अच्छा सामान्यीकरण है जहाँ आपको मैट्रिक्स अंतरिक्ष के लिए एक अनियंत्रित आधार पर नमूना लेने की अनुमति है। डेविड ग्रॉस का यह पेपर, किसी भी आधार में कुछ गुणांकों से निम्न-श्रेणी के मैट्रोज़ को पुनर्प्राप्त करना , इस सामान्यीकरण का उपयोग मैट्रिक्स के पूरा होने के प्रमाणों को काफी सरल करता है, और कुछ आधारों के लिए आप असंगतता की धारणा को भी दूर कर सकते हैं। उस पेपर में सैंपलिंग की जटिलता के आधार पर सर्वश्रेष्ठ सीमाएं भी हैं। यह अनियंत्रित रूप से नमूने के लिए अजीब लग सकता है, लेकिन यह क्वांटम यांत्रिकी की सेटिंग में वास्तव में काफी स्वाभाविक है, उदाहरण के लिए इस पेपर को देखें, क्वांटम राज्य टोमोग्राफी के माध्यम से संपीड़ित संवेदन ।

Answer 3

कई गुना-आधारित संकुचित संवेदन है, जिसमें स्पार्सिटी स्थिति को इस स्थिति से बदल दिया जाता है कि डेटा संकेतों के प्राकृतिक स्थान के कम-आयामी उपमान पर स्थित होता है। ध्यान दें कि स्पार्सिटी को विशेष रूप से कई गुना (वास्तव में, एक अलग किस्म) पर झूठ बोलने के रूप में चित्रित किया जा सकता है।

उदाहरण के लिए, इस पत्र और इसके परिचय में संदर्भ देखें । (मैं इस बात को नहीं जानता कि यह पेपर क्षेत्र का प्रतिनिधि है या नहीं - मैं कई गुना अधिक वर्ग-आधारित क्लासिफायर के संबंधित विषय से परिचित हूं जो एक ला नियोगी-स्मेल-वेनबर्गर है ।)

Comments

दिलचस्प कागज। मुझे इस काम की जानकारी नहीं थी।

— सुरेश वेंकट

संयोग से, जैसा कि कैंडेस ने अपने सोडा 10 में आमंत्रित बात में बताया, कम-आयामी होने के नाते स्पार्सिटी समान नहीं है। इसके बिना एक दूसरे के लिए काफी आसान है

— सुरेश वेंकट

धन्यवाद! लिंक किए गए पेपर द्वारा उद्धृत एक दिलचस्प काम "मॉडल-आधारित संपीड़ित संवेदन" है। यह दिखाता है, मुझे लगता है कि नियमित सीएस की तुलना में माप की संख्या को और भी कम किया जा सकता है यदि इनपुट सिग्नल को के-डायमेंशनल सबस्पेस के कुछ छोटे सेट से आने का वादा किया जाता है।

— arnab

Answer 4

मुझे लगता है कि सामान्यता के स्तर पर, जिसमें मैंने सवाल उठाया है , ट्रेविसन, वडन और ज़करमैन (2004) द्वारा "नमूना स्रोतों का संपीड़न" कागज़ भी एक संभावित उत्तर के रूप में योग्य है। वे दिखाते हैं कि कई मामलों में, यदि इनपुट स्ट्रिंग्स का स्रोत कम जटिलता का है (जैसे, लॉगस्पेस मशीनों द्वारा नमूना), तो कोई व्यक्ति पोलीमोनियल समय में स्रोत के एन्ट्रापी से दूर एक योजक स्थिरांक को लंबा कर सकता है, और विघटित कर सकता है।

मैं वास्तव में नहीं जानता कि अगर संपीड़ित संवेदन को संपीड़न के कुछ बड़े सिद्धांत में रखा जा सकता है।

Answer 5

कंप्रेसिव सेंसिंग का एक एनालॉग मशीन लर्निंग में है जब आप बहुत छोटे सैंपल साइज़ से हाई डायमेंशनल वेट वेक्टर (जैसे, क्लासिफिकेशन / रिग्रेशन में) का अनुमान लगाने की कोशिश करते हैं। इस तरह की सेटिंग्स में रेखीय समीकरणों की पूर्वनिर्धारित प्रणालियों से निपटने के लिए, आमतौर पर सीखे जा रहे वेट वेक्टर पर स्पार्सिटी (l0 या l1 पेनल्टी के माध्यम से) लागू की जाती है। कनेक्शन देखने के लिए, मशीन सीखने से निम्नलिखित वर्गीकरण / प्रतिगमन समस्या पर विचार करें:

NxD मैट्रिक्स X के रूप में प्रत्येक D (D >> N) के आयामों के N उदाहरणों का प्रतिनिधित्व करें। Nx1 वेक्टर Y के रूप में N प्रतिक्रियाओं (प्रत्येक उदाहरण के लिए एक) का प्रतिनिधित्व करें। लक्ष्य निम्नलिखित समीकरण के माध्यम से Dx1 वेक्टर थीटा के लिए हल करना है। : Y = X * थीटा

अब यहाँ इस समस्या को संक्षिप्त संवेदीकरण (CS) की उपमा दी गई है: आप उस थीटा का अनुमान लगाना / मापना चाहते हैं जो एक डायमेंशनल वेक्टर (CS में अज्ञात "सिग्नल" की तरह है)। यह अनुमान लगाने के लिए, आप मैट्रिक्स X (CS में डिज़ाइन मैट्रिक्स के समान) और N 1-D माप Y (CS में संपीड़ित संकेत के लिए D >> N) का उपयोग करते हैं।

Answer 6

देखें: http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS_.pdf