आयामीता का अभिशाप क्या है?

Question

विशेष रूप से, मैं संदर्भों (कागजात, किताबें) की तलाश कर रहा हूं जो कठोरता के अभिशाप को दिखाएंगे और समझाएंगे। यह प्रश्न तब सामने आया जब मैंने लैफ़र्टी और वासरमैन द्वारा इस श्वेत पत्र को पढ़ना शुरू किया। तीसरे पैराग्राफ में वे एक "अच्छी तरह से ज्ञात" समीकरण का उल्लेख करते हैं, जिसका अर्थ है कि अभिसरण की सर्वोत्तम दर ; अगर कोई उस पर (और उसे समझा सकता है) उजागर कर सकता है, तो यह बहुत मददगार होगा।$n^{-4/(4-d)}$

इसके अलावा, क्या कोई मुझे एक संदर्भ के लिए इंगित कर सकता है जो "अच्छी तरह से ज्ञात" समीकरण प्राप्त करता है?

Comments

मैं विस्तार नहीं कर सकता, लेकिन मेरा मानना ​​है कि मैंने सुना है कि श्राप के तीन अलग-अलग संस्करणों की तरह क्या ध्वनि है: 1) उच्च आयामों का मतलब है एक तेजी से काम की मात्रा बढ़ रही है, और 2) उच्च आयामों में आपको किसी भी हिस्से में कम और कम उदाहरण मिलेंगे। आपके नमूने की जगह, और 3) उच्च आयामों में सब कुछ मूल रूप से समान-दूर हो जाता है जिससे किसी भी प्रकार का अंतर करना मुश्किल हो जाता है।

— वेन

आप इसकी व्याख्या ज्यामितीय रूप से कर सकते हैं। कहें कि आपके पास त्रिज्या r = 1 के साथ डी आयामों में एक क्षेत्र है। फिर आप इस प्रश्न के बारे में पूछ सकते हैं कि त्रिज्या r = 1 और r = 1-e के बीच स्थित गोले के आयतन का क्या अंश है। चूँकि हम जानते हैं कि k (d) * r ^ (d) जैसे एक गोले की मात्रा, जहाँ d आयामों की संख्या है, हम यह प्राप्त कर सकते हैं कि अंश 1- (1-e) ^ d द्वारा दिया गया है। इस प्रकार, उच्च आयामी क्षेत्रों के लिए अधिकांश मात्रा सतह के पास एक पतली खोल में केंद्रित है। इसके बारे में और अधिक बिशप पुस्तक "पैटर्न पहचान और मशीन सीखने" में देखें।

— डॉ। माइक

@Wayne ज़रूर; प्लस 5) अधिक मंदता का मतलब आमतौर पर अधिक शोर होता है।

डॉ। माइक, मैं तर्क का पालन नहीं करता। ऐसा लगता है कि आप कह रहे हैं कि "चूंकि अधिकांश मात्रा उच्च आयामी क्षेत्र की सतह के पास एक पतली खोल में केंद्रित है, तो आप आयामीता के साथ शापित हैं।" क्या आप आगे बता सकते हैं, और शायद मुझे स्पष्ट रूप से दिखा सकते हैं कि आंकड़ों के साथ सादृश्य कैसे जुड़ा हुआ है?

— खोड़ा

Answer 1

Richiemorrisroe पर निम्नलिखित, यहाँ सांख्यिकीय शिक्षा के तत्वों से प्रासंगिक छवि है , अध्याय 2 (pp22-27):

जैसा कि आप ऊपरी दाहिने फलक में देख सकते हैं, 1 आयाम में 1 इकाई दूर 1 आयाम में 2 पड़ोसी दूर 1 इकाई दूर हैं। 3 आयाम और भी बदतर होंगे!

Answer 2

यह सीधे आपके प्रश्न का उत्तर नहीं देता है, लेकिन डेविड डोनोहो का हाई-डायमेंशनल डेटा एनालिसिस पर एक अच्छा लेख है : द कर्सेस एंड ब्लेसिंग ऑफ डायमेंशनलिटी (संबंधित स्लाइड्स यहां हैं ), जिसमें उन्होंने तीन शापों का उल्लेख किया है:

• $D$$(1/\epsilon)^D$$\epsilon$
• $d$$(1/\epsilon)^D$$\epsilon$
• $D$$(1/\epsilon)^D$$\epsilon$

Answer 3

मुझे पता है कि मैं इसका जिक्र करता रहता हूं, लेकिन इसका एक बड़ा विवरण है सांख्यिकीय तत्व , अध्याय 2 (pp22-27)। वे मूल रूप से ध्यान देते हैं कि जैसे-जैसे आयाम बढ़ते हैं, डेटा की मात्रा को इसके साथ (तेजी से) बढ़ाने की आवश्यकता होती है या किसी भी उपयोगी विश्लेषण के लिए बड़े नमूना स्थान में पर्याप्त अंक नहीं होंगे।

वे बेलमैन (1961) द्वारा अपने स्रोत के रूप में एक पेपर का उल्लेख करते हैं, जो उनकी पुस्तक एडेप्टिव कंट्रोल प्रोसेस प्रतीत होता है, जो यहां से उपलब्ध है ।

Comments

+1। ईएसएल में स्पष्टीकरण बहुत अच्छा है, और संबंधित आरेख बहुत मदद करते हैं।

— Zach

Answer 4

हो सकता है कि सबसे अधिक कुख्यात प्रभाव निम्नलिखित सीमा (जो परोक्ष रूप से) उपरोक्त चित्र में दिखाया गया है, द्वारा कब्जा कर लिया गया है:

$$\lim_{dim\rightarrow\infty}\frac{dist_{max}-dist_{min}}{dist_{min}}$$

चित्र में दूरी है $L_2$-एडेड यूक्लिडियन दूरी। सीमा व्यक्त करती है कि दूरी की धारणा आयामीता में वृद्धि के साथ समानता पर कम और कम जानकारी प्राप्त करती है। यह k-NN जैसे एल्गोरिदम को प्रभावित करता है। के लिए अंशों की अनुमति देकर$k$ में $L_k$वर्णित प्रभावों को संशोधित किया जा सकता है ।

---

चित्रों में डेटा पर आयामीता का प्रभाव