इकाई गेंद से एन नमूनों की उत्पत्ति के लिए निकटतम निकटतम बिंदु के लिए सूत्र की व्याख्या

में सांख्यिकीय लर्निंग के तत्वों , एक समस्या उच्च आयामी रिक्त स्थान का k- nn साथ प्रकाश डाला मुद्दों के लिए शुरू की है। कर रहे हैं डेटा बिंदुओं कि समान रूप से एक में वितरित कर रहे आयामी इकाई गेंद। $N$ $p$

मूल से निकटतम डेटा बिंदु की औसत दूरी अभिव्यक्ति द्वारा दी गई है:

d (p, N) = {(1 - {(\frac{1}{2})}^{\frac{1}{N}})}^{\frac{1}{p}}

$d(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p}$

जब , सूत्र गेंद के आधे त्रिज्या तक टूट जाता है, और मैं देख सकता हूं कि कैसे निकटतम बिंदु सीमा को रूप में देखता है , इस प्रकार उच्च आयामों में घुटने के पीछे अंतर्ज्ञान बनाते हैं। लेकिन मैं समझ नहीं पा रहा हूं कि फार्मूला एन पर निर्भरता क्यों है। क्या कोई स्पष्ट कर सकता है? $N=1$ $p \rightarrow \infty$

साथ ही पुस्तक इस मुद्दे को आगे बताते हुए कहती है: "... प्रशिक्षण नमूने के किनारों के पास भविष्यवाणी बहुत अधिक कठिन है। एक को पड़ोसी नमूना बिंदुओं से अलग करना चाहिए, न कि उनके बीच में अंतर करना चाहिए"। यह एक गहन कथन की तरह लगता है, लेकिन मैं इसका मतलब समझ नहीं सकता। क्या कोई फिर सकता है?

self-study proof k-nearest-neighbour

— user64773
स्रोत

आपको अपने प्रदर्शित समीकरण को थोड़ा संपादित करना होगा। क्या यह घातांक में केवल लिए लागू होता है जिस तरह से यह अब दिखता है, या क्या आप चाहते थे कि यह संपूर्ण पर लागू हो ?

\frac{1}{N}

$\frac 1N$

1

$1$

\frac{1}{2}

$\frac 12$

— दिलीप सरवटे

यह "हाइपरस्फेयर" (जो कि है को अलग करने में मदद करेगा "यूनिट बॉल" (जिसमें आयाम ) से आयाम का एक गुना होता है । हाइपरस्फेयर गेंद की सीमा है। यदि, जैसा कि आपका शीर्षक कहता है, सभी बिंदु हाइपरस्फियर से नमूने लिए गए हैं , तो - परिभाषा के अनुसार - इन सभी की उत्पत्ति से दूरी है , औसत दूरी , और सभी समान रूप से मूल के करीब हैं।

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

p

$p$

1

$1$

1

$1$

— whuber

@DilipSarwate यह पूरे । पुस्तक में एक उदाहरण है जहाँ इतना

\frac{1}{2}

$\frac{1}{2}$

N = 500, p = 10

$N=500, p=10$

d (p, N) \approx 0.52

$d(p, N) \approx 0.52$

— user64773

जवाबों:

एक की मात्रा त्रिज्या के आयामी hyperball करने के लिए एक मात्रा आनुपातिक है । $p$ $r$ $r^p$

अतः मूल से दूरी से अधिक आयतन का अनुपात । $kr$ $\frac{r^p-(kr)^p}{r^p}=1-k^p$

संभावना है कि अनियमित रूप से चुने अंक एक दूरी से अधिक हैं मूल से है । मध्य दूरी को निकटतम यादृच्छिक बिंदु पर लाने के लिए, इस संभाव्यता को बराबर सेट करें । So $N$ $kr$ $\left(1-k^p\right)^N$ $\frac12$

{(1 - k^{p})}^{N} = \frac{1}{2}

$\left(1-k^p\right)^N=\tfrac12$

⟹ k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p} .

$\implies k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}.$

Intuitively इस अर्थ में किसी प्रकार का बना देता है: अधिक यादृच्छिक अंक देखते हैं, करीब आप मूल के सबसे नजदीक एक, होना करने के लिए, ताकि आप की उम्मीद करनी चाहिए की उम्मीद के एक कम समारोह होने के लिए । यहाँ के एक कम समारोह है , तो का एक बढ़ा हुआ कार्य है इस प्रकार, और है का घटता फलन इसकी वीं जड़ है। $k$ $N$ $2^{1/N}$ $N$ $\tfrac1{2^{1/N}}$ $N$ $1-\tfrac1{2^{1/N}}$ $N$ $p$

— हेनरी
स्रोत

आह, इसे देखने का अच्छा तरीका है। क्या आप मेरे दूसरे प्रश्न में बोली को फिर से व्याख्यायित कर पाएंगे?

— user64773

मुझे संदेह है कि यह सुझाव दे सकता है कि उच्च आयामों में, भविष्यवाणी के बिंदु प्रभावी रूप से प्रशिक्षण डेटा से एक लंबा रास्ता तय करते हैं, जैसे कि एक गोले के किनारे पर, इसलिए आप वास्तव में प्रक्षेप नहीं कर रहे हैं, बल्कि अतिरिक्त रूप से, और इसलिए अनिश्चितताएं बहुत अधिक हैं। लेकिन मैं वास्तव में नहीं जानता।

— हेनरी

मुझे यह नहीं मिला - मैं समझता हूं कि यह अभिव्यक्ति सभी बिंदुओं के लिए kr से अधिक दूर होने की संभावना है, लेकिन इस संभावना को 1/2 पर सेट करने से माध्य दूरी क्यों मिलती है ??

— इदानी

@ihadanny: मान त्रिज्या का वह अंश देता है, जहाँ प्रायिकता सभी बिंदुओं से दूर है। , और इसलिए जहां कम से कम एक बिंदु की संभावना करीब है , इसलिए निकटतम बिंदु की दूरी के वितरण का माध्यिका है।

k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p}

$k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}$

N

$N$

\frac{1}{2}

$\frac12$

1 - \frac{1}{2} = \frac{1}{2}

$1-\frac12=\frac12$

k r

$kr$

— हेनरी

मध्यमा की परिभाषा, आधी बड़ी है और आधी छोटी है।

— ग्रांट इज़मिरलियन

और अब बिना हाथ लहराए

rv के किसी भी क्रम के लिए, जहां सामान्य CDF है
$P (min_{1 \leq i \leq N} Y_{i} > y) = (1 - F (y))^{N},$ $P( \min_{1\le i\le N} Y_i > y ) = (1-F(y))^N,$ $F$
इस प्रकार अगर हम है समान रूप से वितरित आईआईडी इकाई गेंद में में आयाम है, तो जहां दूरी के आम CDF है, । आखिरकार, में यूनिट बॉल में समान रूप से वितरित बिंदु के लिए सीडीएफ, क्या है ? इकाई त्रिज्या की गेंद के भीतर त्रिज्या r की गेंद पर बिंदु की संभावना वॉल्यूम के अनुपात के बराबर होती है: $N$ $X_i$ $p$
$P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - F (r))^{N},$ $P( \min_{1\le i\le N} ||X_i|| > r ) = (1-F(r))^N,$ $F$ $||X_i||, i=1,2,\ldots,N$ $F$ $R^p$

F (r) = P (| | X_{i} | | \leq r) = C r^{p} / (C 1^{p}) = r^{p}

$F(r) = P ( ||X_i|| \le r ) = C r^p/( C 1^p) = r^p$

इस प्रकार करने के लिए समाधान

1 / 2 = P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N}

$1/2 = P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N$

है

r = (1 - (1 / 2)^{1 / N})^{1 / p} .

$r = (1 - (1/2)^{1/N})^{1/p}.$

इसके अलावा नमूने के आकार पर निर्भरता के बारे में आपका प्रश्न, । लिए , जैसा कि गेंद अधिक बिंदुओं से भर जाती है, स्वाभाविक रूप से मूल की न्यूनतम दूरी छोटी हो जानी चाहिए। $N$ $p$

अंत में, आपके वॉल्यूम के अनुपात में कुछ गड़बड़ है। ऐसा लगता है कि को में यूनिट बॉल का वॉल्यूम होना चाहिए । $k$ $R^p$

— अनुदान इज़मिरलियन
स्रोत

संक्षिप्त रूप में लेकिन शब्दों में:

हम आयामों में इकाई त्रिज्या के मूल में समान रूप से वितरित बिंदुओं में मूल के निकटतम बिंदु की औसत दूरी खोजना चाहते हैं । संभावना है कि सबसे छोटी दूरी से अधिक है , (इस मात्रा अभिव्यक्ति को बुलाओ [1]) की संभावना है कि एक समान रूप से वितरित बिंदु से अधिक है , क्योंकि सांख्यिकीय स्वतंत्रता। उत्तरार्द्ध एक न्यूनतम संभावना है कि एक समान रूप से वितरित बिंदु से कम है । उत्तरार्द्ध इकाई त्रिज्या, या की गेंद के त्रिज्या की गेंद के संस्करणों का अनुपात है । हम अब अभिव्यक्ति [1] के रूप में लिख सकते हैं $N$ $p$ $r$ $N^{th}$ $r$ $r$ $r$ $r^p$

P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N} .

$P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N.$

न्यूनतम दूरी के वितरण के माध्यिका को खोजने के लिए, उपरोक्त संभावना को सेट करें और उत्तर प्राप्त करते हुए लिए हल करें । $1/2$ $r$

— अनुदान इज़मिरलियन
स्रोत