उपक्त्रेटिक समय में समान वैक्टर पा रहे हैं

Question

चलो $d:\{0,1\}^k\times \{0,1\}^k \to \mathbb{R}$एक ऐसा फंक्शन होना चाहिए जिसे हम समानता फंक्शन के रूप में देखें । समानता फ़ंक्शन के उदाहरण कॉशन दूरी हैं,$l_2$ मानदंड, हैमिंग दूरी, जैकार्ड समानता, आदि।

विचार करें $n$ लंबाई के बाइनरी वैक्टर $k$: $\vec{v} \in (\{0,1\}^k)^n$।

हमारा लक्ष्य समूह वैक्टरों के लिए है जो समान हैं। औपचारिक रूप से, हम एक समानता ग्राफ की गणना करना चाहते हैं जहां नोड्स वैक्टर हैं और किनारों वैक्टर का प्रतिनिधित्व करते हैं जो समान हैं ($d(v,u) \leq \epsilon$)।

$n$ तथा $k$ बहुत बड़ी संख्या है, और दो लंबाई की तुलना है $k$ वैक्टर महंगा है, हम सभी क्रूर बल नहीं कर सकते $O(n^2)$संचालन। हम काफी कम संचालन के साथ समानता ग्राफ की गणना करना चाहते हैं।

क्या यह संभव है? यदि नहीं तो हम ग्राफ़ के एक सन्निकटन की गणना कर सकते हैं जिसमें समानता के ग्राफ में सभी किनारों के साथ-साथ संभवतः सबसे अधिक है$O(1)$ अन्य किनारों

Comments

क्या यह होना चाहिए $\leq \epsilon$ बजाय $\geq \epsilon$?

— usul

आपकी टिप्पणी के लिए @usul धन्यवाद :) यहां, हम समूह आइटमों के लिए रुचि रखते हैं जो अत्यधिक समान हैं। मैंने प्रश्न संपादित किया है, मुझे उम्मीद है कि यह अब स्पष्ट है।

— राम

मुझे लगता है कि आप समस्या के आयाम को कम करने के लिए समानता संरक्षण योग्य Hashing ( arxiv.org/pdf/1311.7662v1.pdf ) का उपयोग कर सकते हैं ।

— आरबी

यह प्रश्न बिल्कुल भी परिभाषित नहीं है, कृपया अधिक विवरण प्रदान करें। जैसे, अगर$d$ एक ओरेकल द्वारा दिया जाता है, तो आप स्पष्ट रूप से इससे बेहतर नहीं कर सकते ${n\choose 2}$।

— डोमोटर

क्या आप ट्विटर के लिए काम करते हैं? blog.twitter.com/2014/all-pairs-similarity-via-dimsum गंभीरता से, भले ही यह पता चले कि इस ग्राफ में बढ़त है (यानी कि यह स्वतंत्र सेट नहीं है) तेजी से करने के लिए बहुत कठिन होने जा रहा है$O(n^2)$एक मनमाना समानता समारोह के लिए।

— रेयान विलियम्स

Answer 1

इस समस्या में जॉनसन-लिंडेनस्ट्रस प्रमेय को सींग करने का एक तरीका हो सकता है। अनिवार्य रूप से, जेएल बताता है कि आप उच्च आयामी डेटा को निचले आयामी स्थानों में इस तरह से प्रोजेक्ट कर सकते हैं कि जोड़ीदार दूरी लगभग संरक्षित हो। व्यावहारिक रूप से, Achlioptas में डेटाबेस-फ्रेंडली रैंडम प्रोजेक्शन नामक एक पेपर होता है : बाइनरी सिक्कों के साथ जॉनसन-लिंडेनस्ट्रस जो इस प्रक्षेपण को यादृच्छिक तरीके से करता है, जो अभ्यास में बहुत अच्छा काम करता है।

अब, निश्चित रूप से, आपकी समानता कार्य बिल्कुल वैसा नहीं है जैसा कि जेएल प्रमेय में फिट होगा। हालांकि, यह एक दूरी समारोह की तरह दिखता है और शायद ऊपर दिए गए कुछ सिद्धांत मदद कर सकते हैं।