यदि कर्नेल डेंसिटी एस्टीमेशन करते समय एपेनिकिकोव कर्नेल सैद्धांतिक रूप से इष्टतम है, तो इसे अधिक सामान्यतः क्यों नहीं उपयोग किया जाता है?

मैंने पढ़ा है (उदाहरण के लिए, यहां ) कि एपीनेक्निकोव कर्नेल इष्टतम है, कम से कम एक सैद्धांतिक अर्थ में, जब कर्नेल घनत्व अनुमान लगाते हैं। यदि यह सच है, तो गॉसियन इतनी बार डिफ़ॉल्ट कर्नेल के रूप में क्यों दिखाता है, या कई मामलों में घनत्व अनुमान पुस्तकालयों में एकमात्र कर्नेल है?

nonparametric kernel-smoothing

— जॉन रूसर
स्रोत

दो प्रश्न यहां दिए गए हैं: आमतौर पर अधिक उपयोग क्यों नहीं किया जाता है? गॉसियन अक्सर डिफ़ॉल्ट / केवल कर्नेल क्यों होता है? यह तुच्छ लग सकता है, लेकिन नाम Epanechnikov उस भाषा में धाराप्रवाह नहीं लोगों के लिए वर्तनी और उच्चारण सही ढंग से लग सकता है। (मुझे भी यकीन नहीं है कि ई। रूसी था; मैं किसी भी जीवनी संबंधी विवरण को खोजने में विफल रहा हूं।) इसके अलावा, अगर मैं एक बायवेट दिखाता हूं, तो उसके बेल आकार, किनारों पर परिमित चौड़ाई और व्यवहार पर टिप्पणी करें, ऐसा प्रतीत होता है बेचने में आसान। स्टैट्स में एपेनेक्निकोव डिफ़ॉल्ट है kdensity।

— निक कॉक्स

मैं यह जोड़ना चाहूंगा कि इस सैद्धांतिक अनुकूलता का व्यवहार में बहुत कम असर पड़ता है यदि कोई हो।

— शीआन

यह एक जाना पहचाना नाम है। यदि यह एक कर्नेल का उपयोग करने के लिए समझ में आता है जिसमें एक परिमित समर्थन नहीं है, तो आपको इसे पसंद करना चाहिए। जहाँ तक मेरा अनुभव है, इसका कोई मतलब नहीं है, इसलिए चुनाव सामाजिक प्रतीत होता है, न कि तकनीकी।

— निक कॉक्स

@NickCox, हाँ, ई एक रूसी दोस्त था, यह एक संक्षिप्त नाम नहीं है :) वह गूढ़ व्यक्ति था, यह सब आप कभी भी उसके बारे में पा सकते हैं। मुझे यह भी याद है कि एक बहुत ही उपयोगी पुस्तक किसी ने अपने नाम के साथ प्रोग्रामेबल कैलकुलेटर पर लिखी थी, हाँ, यह उस समय की एक बड़ी बात थी

— अक्सकाल

@amoeba उन्होंने Институт радиотехники и ктлектроники Российской Академии Наук им पर काम किया । Котельникова, मैंने शर्त लगाई कि उन्होंने वर्गीकृत शोध किया है, पूरा नाम епанечников Виктор Александрович

— Aksakal

जवाबों:

Epanechnikov कर्नेल सार्वभौमिक रूप से अपनी सैद्धांतिक इष्टतमता के लिए उपयोग नहीं किया जाता है इसका कारण यह है कि Epanechnikov कर्नेल वास्तव में सैद्धांतिक रूप से इष्टतम नहीं है । Tsybakov स्पष्ट रूप से इस तर्क की आलोचना करता है कि Epanechnikov गिरी "सैद्धांतिक रूप से इष्टतम" pp। 16-19 में Nonparametric Estimation (खंड 1.2.4) का परिचय है ।

कर्नेल और एक निश्चित घनत्व पर कुछ मान्यताओं के तहत संक्षेप में बताने की कोशिश की जा रही है, जिसका अर्थ है कि एकीकृत वर्ग त्रुटि है, प्रपत्र का $K$ $p$

\begin{matrix} (1) & \frac{1}{n h} \int K^{2} (u) d u + \frac{h^{4}}{4} S_{K}^{2} \int (p^{″} (x))^{2} d x . \end{matrix}

$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$

Tsybakov की मुख्य आलोचना गैर-नकारात्मक गुठली पर कम से कम हो रही है, क्योंकि यह अक्सर बेहतर प्रदर्शन करने वाले अनुमानक प्राप्त करना संभव है, जो गैर-नकारात्मक गुठली तक सीमित न होकर, नकारात्मक भी हैं।

एपेनेनिकोव कर्नेल के लिए तर्क का पहला चरण सभी से अधिक और सभी गैर-नकारात्मक कर्नेल (एक व्यापक वर्ग के सभी कर्नेल के बजाय) के लिए "इष्टतम" बैंडविड्थ प्राप्त करने से शुरू होता है $(1)$ $h$ $K$

h^{M I S E} (K) = {(\frac{\int K^{2}}{n S_{K}^{2} \int (p^{″})^{2}})}^{1 / 5}

$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$

और "इष्टतम" कर्नेल (एपेनेनिकिकोव)

K^{*} (u) = \frac{3}{4} (1 - u^{2})_{+}

$K^*(u) = \frac{3}{4}(1-u^2)_+$

जिसका मतलब एकीकृत वर्ग त्रुटि है:

h^{M I S E} (K^{*}) = {(\frac{15}{n \int (p^{″})^{2}})}^{1 / 5} .

$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$

हालांकि ये संभव पसंद नहीं हैं, क्योंकि वे अज्ञात घनत्व ज्ञान ( माध्यम से ) पर निर्भर करते हैं - इसलिए वे "मात्रा" की मात्रा हैं। $p''$ $p$

Tsybakov द्वारा दिए गए एक प्रस्ताव का तात्पर्य है कि एपानेक्निकोव के लिए असममित MISE है:

\begin{matrix} (2) & lim_{n \to \infty} n^{4 / 5} E_{p} \int (p_{n}^{E} (x) - p (x))^{2} d x = \frac{3^{4 / 5}}{5^{1 / 5} 4} {(\int (p^{″} (x))^{2} d x)}^{1 / 5} . \end{matrix}

$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$

Tsybakov कहते हैं (2) अक्सर सबसे अच्छा प्राप्त करने का दावा किया जाता है, लेकिन फिर पता चलता है कि व्यक्ति क्रम 2 की गुठली का उपयोग कर सकता है (जिसके लिए ) कर्नेल आकलनकर्ताओं का निर्माण करने के लिए, प्रत्येक , ऐसा $S_K =0$ $\varepsilon >0$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int ({\hat{p}}_{n} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$

भले ही आवश्यक रूप से गैर-नकारात्मक नहीं है, फिर भी सकारात्मक भाग अनुमानक, लिए एक ही परिणाम है (जो इसकी गारंटी है) यदि नहीं है तो भी गैर-नकारात्मक : $\hat{p}_n$ $p_n^+ := \max(0, \hat{p}_n)$ $K$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int (p_{n}^{+} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$

इसलिए, पर्याप्त रूप से लिए, वहाँ सही आकलनकर्ता मौजूद हैं जिनके पास एपेनैक्निकोव ओरेकल की तुलना में छोटे स्पर्शोन्मुख मीज़ हैं , यहां तक कि अज्ञात घनत्व पर समान मान्यताओं का उपयोग करते हुए । $\varepsilon$ $p$

विशेष रूप से, एक के परिणामस्वरूप यह होता है कि सभी कर्नेल आकलनकर्ताओं (या कर्नेल अनुमानकर्ताओं के सकारात्मक भागों) पर एक निश्चित लिए असममित एमईईएस का अंतर । इसलिए एपेनैक्निकोव ओरेकल भी इष्टतम होने के करीब नहीं है, यहां तक कि जब सच्चे अनुमानकों की तुलना में। $p$ $0$

लोगों ने पहले स्थान पर एपानेक्निकोव के लिए तर्क को उन्नत करने का कारण यह बताया कि अक्सर यह तर्क दिया जाता है कि कर्नेल स्वयं गैर-नकारात्मक होना चाहिए क्योंकि घनत्व स्वयं गैर-नकारात्मक है। लेकिन जैसा कि त्योबाकोव बताते हैं, किसी को यह मानने की जरूरत नहीं है कि कर्नेल गैर-नकारात्मक घनत्व अनुमानक प्राप्त करने के लिए गैर-नकारात्मक है, और अन्य कर्नेल को अनुमति देकर गैर-नकारात्मक घनत्व अनुमानक लगा सकते हैं जो (1) ऑरेकल नहीं हैं और (2) निश्चित लिए $p$ एपानेकिकोव ओरेकल से बेहतर प्रदर्शन करते हैं । Tsybakov इस विसंगति का उपयोग यह तर्क देने के लिए करता है कि यह निश्चित संदर्भ में इष्टतमता के लिए बहस करने का कोई मतलब नहीं है , लेकिन केवल इष्टतमता गुणों के लिए जो एक वर्ग में समान हैं $p$ घनत्व के। वह यह भी बताते हैं कि तर्क अभी भी काम करता है जब एमएसई के बजाय एमएसईई का उपयोग करते हैं।

संपादित करें: कोरोलरी 1.1 भी देखें। p.25 पर, जहाँ एक और कसौटी के आधार पर एपानेकिकोव कर्नेल को असावधान दिखाया गया है। Tsybakov वास्तव में Epanechnikov कर्नेल को पसंद नहीं करता है।

— Chill2Macht
स्रोत

एक दिलचस्प पढ़ने के लिए +1, लेकिन यह जवाब नहीं देता है कि गाऊसी कर्नेल का उपयोग एपानेनिकोव कर्नेल की तुलना में अधिक बार क्यों किया जाता है: वे दोनों गैर-नकारात्मक हैं।

— अमीबा का कहना है कि मोनिका

@amoeba यह सच है। बहुत कम से कम यह शीर्षक में प्रश्न का उत्तर देता है, जो केवल एपनेनिकोव कर्नेल के बारे में है। (यानी यह प्रश्न के आधार को संबोधित करता है और दिखाता है कि यह गलत है।)

— चिल्ल

(+1) त्सबकोव की संभवतः नकारात्मक कर्नेल अनुमान के सकारात्मक भाग को लेने की योजना से सावधान रहने की एक बात - जो कि उनके सुझाव की कम से कम मेरी स्मृति है - हालांकि परिणामी घनत्व अनुमानक सही घनत्व के लिए बेहतर एमएसई अभिसरण दे सकता है। घनत्व अनुमान सामान्य रूप से वैध घनत्व नहीं होगा (क्योंकि आप द्रव्यमान काट रहे हैं, और यह अब 1 से एकीकृत नहीं होता है)। यदि आप वास्तव में केवल MSE के बारे में परवाह करते हैं, तो इससे कोई फर्क नहीं पड़ता, लेकिन कभी-कभी यह एक महत्वपूर्ण समस्या होगी।

— डगल

गॉसियन कर्नेल का उपयोग डेरिवेटिव के माध्यम से घनत्व के अनुमान में किया जाता है:

\frac{d^{i} f}{d x^{i}} (x) \approx \frac{1}{b a n d w i d t h} \sum_{j = 1}^{N} \frac{d^{i} k}{d x^{i}} (X_{j}, x)

$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$

ऐसा इसलिए है क्योंकि गॉसियन के विपरीत, जो कि अनन्त रूप से कई (नॉनजेरो) डेरिवेटिव्स के विपरीत, एपेनेनिकिकोव कर्नेल में 3 व्युत्पन्न है, यह पहचान से शून्य है। अधिक उदाहरणों के लिए अपने लिंक में अनुभाग 2.10 देखें।

— एलेक्स आर।
स्रोत

एपनेनिकोव का पहला व्युत्पन्न (दूसरे एन नोट , वैसे) कर्नेल निरंतर नहीं है जहां फ़ंक्शन कर्नेल की अपनी सीमा को पार करता है; यह एक मुद्दे का अधिक हो सकता है।

— Glen_b -Reinstate मोनिका

i

$i$

@AlexR। जबकि आप जो कहते हैं वह सच है, मुझे समझ में नहीं आता है कि यह कैसे बताता है कि गॉसियन साधारण घनत्व के अनुमान में इतना सामान्य क्यों है (जैसा कि घनत्व के व्युत्पन्न का आकलन करने के लिए विरोध किया गया है)। और डेरिवेटिव का आकलन करते समय भी, खंड 2.10 बताता है कि गॉसियन कभी पसंदीदा कर्नेल नहीं है।

— जॉन रौसर

@ जॉनरॉज़र: ध्यान रखें कि आपको उच्चतर क्रम के लिए एपेनाइनिकोव गुठली का उपयोग करने की आवश्यकता है। आमतौर पर लोग एक गाऊसी का उपयोग करते हैं क्योंकि इसके साथ काम करना आसान होता है और इसमें अच्छे गुण होते हैं।

— एलेक्स आर।

@ एलेक्स मैं "[यू] के लोगों पर एक गौसियन का उपयोग करना चाहता हूं" क्या आपके पास उपयोग की आवृत्ति पर कोई व्यवस्थित डेटा है या यह आपके द्वारा देखे गए काम के आधार पर सिर्फ एक छाप है? मुझे अक्सर बिवेट्स दिखाई देते हैं, लेकिन मैं इससे ज्यादा का दावा नहीं करता।

— निक कॉक्स