KNN "मॉडल-आधारित" क्यों नहीं है?

Question

ईएसएल अध्याय 2.4 रैखिक प्रतिगमन को "मॉडल-आधारित" के रूप में वर्गीकृत करने के लिए लगता है, क्योंकि यह मानता है$f(x) \approx x\cdot\beta$, जबकि के-निकटतम पड़ोसियों के लिए कोई समान सन्निकटन नहीं बताया गया है। लेकिन दोनों तरीकों के बारे में धारणा नहीं बना रहे हैं$f(x)$?

बाद में 2.4 में यह भी कहता है:

• कम से कम वर्गों का अनुमान है कि ग्लोबली रैखिक फ़ंक्शन द्वारा अच्छी तरह से अनुमानित है।$f(x)$
• k-निकटतम पड़ोसी मानता है एक स्थानीय रूप से स्थिर फ़ंक्शन द्वारा अच्छी तरह से अनुमानित है।$f(x)$

KNN धारणा लगता है जैसे कि यह भी औपचारिक रूप दिया जा सकता है (हालांकि नहीं यकीन है कि अगर ऐसा करने से होगा नेतृत्व रास्ता संभालने में KNN एल्गोरिथ्म के लिए रेखीय प्रतीपगमन करने के लिए रेखीय सुराग है)।$f$

तो अगर KNN वास्तव में मॉडल-आधारित नहीं है, तो क्यों? या मैं ईएसएल का गलत प्रचार कर रहा हूं?

Answer 1

केएनएन और लीनियर रिग्रेशन की सीधे तुलना करना काफी कठिन है क्योंकि वे बहुत अलग चीजें हैं, हालांकि, मुझे लगता है कि यहां प्रमुख बिंदु "मॉडलिंग " और " बारे में मान्यताओं के बीच का अंतर है।"$f(x)$$f(x)$ ।

रैखिक प्रतिगमन करते समय, एक विशेष रूप से मॉडल करता है , अक्सर जहां एक गाऊसी शोर शब्द होता है, की तर्ज पर कुछ होता है । आप यह पता लगा सकते हैं कि अधिकतम संभावना मॉडल न्यूनतम राशि के वर्ग त्रुटि मॉडल के बराबर है।$f(x)$$f(x) = \mathbf{wx} + \epsilon$$\epsilon$

KNN, दूसरी ओर, जैसा कि आपका दूसरा बिंदु बताता है, मानता है कि आप उस फ़ंक्शन को स्थानीय रूप से स्थिर फ़ंक्शन द्वारा अनुमानित कर सकते हैं - बीच कुछ दूरी माप$x$ द्वारों के , विशेष रूप से पूरे वितरण को मॉडलिंग किए बिना।

दूसरे शब्दों में, रैखिक प्रतिगमन के मूल्य का एक अच्छा विचार अक्सर होगा $f(x)$ कुछ अनदेखी के लिए $x$ के मूल्य से $x$, जबकि केएनएन के बारे में भविष्यवाणियां करने के लिए कुछ अन्य जानकारी (यानी के पड़ोसियों) की आवश्यकता होगी $f(x)$, क्योंकि का मूल्य $x$, और सिर्फ मूल्य ही, कोई जानकारी नहीं देगा, क्योंकि इसके लिए कोई मॉडल नहीं है $f(x)$।

EDIT: इस क्लीयर को पुनः व्यक्त करने के लिए इसे नीचे दोहरा रहे हैं (टिप्पणियां देखें)

यह स्पष्ट है कि रेखीय प्रतिगमन और निकटतम पड़ोसी दोनों तरीकों का लक्ष्य मूल्य का अनुमान लगाना है $y=f(x)$ एक नए के लिए $x$। अब दो दृष्टिकोण हैं। रैखिक प्रतिगमन यह मानकर चलता है कि डेटा एक सीधी रेखा (प्लस माइनस कुछ शोर) पर गिरता है, और इसलिए y का मान मान के बराबर होता है$f(x)$रेखा का ढलान। दूसरे शब्दों में, रैखिक अभिव्यक्ति मॉडल एक सीधी रेखा के रूप में डेटा।

अब निकटतम पड़ोसी तरीकों को इस बात की परवाह नहीं है कि डेटा कैसा दिखता है (डेटा को मॉडल नहीं करता है), अर्थात, वे परवाह नहीं करते हैं कि क्या यह एक पंक्ति है, एक परबोला, एक चक्र, आदि। यह सब मान लेता है, यह है कि $f(x_1)$ तथा $f(x_2)$ समान होगा, यदि $x_1$ तथा $x_2$समान है। ध्यान दें कि यह धारणा मोटे तौर पर किसी भी मॉडल के लिए लगभग सच है, ऊपर वर्णित सभी लोगों सहित। हालांकि, एक एनएन विधि यह नहीं बता सकती थी कि इसका मूल्य कितना है$f(x)$ से संबंधित $x$ (क्या यह एक पंक्ति है, परबोला, आदि), क्योंकि इसमें इस संबंध का कोई मॉडल नहीं है, यह सिर्फ यह मानता है कि इसे निकट-बिंदुओं में देखकर अनुमान लगाया जा सकता है।

Comments

"एक विशेष रूप से एफ (एक्स) मॉडल" यह क्या मतलब है? ऐसा लगता है कि कोई इस धारणा को औपचारिक रूप दे सकता है कि च स्थानीय रूप से स्थिर है। क्या यह सिर्फ इतना ही है कि केएनएन को इस तरह की किसी औपचारिकता से प्राप्त नहीं किया जा सकता है?

— एलेक

"लीनियर रिग्रेशन में अक्सर x के मान से कुछ अनदेखी x के लिए f (x) के मूल्य का एक अच्छा विचार होगा" निश्चित रूप से आप इस से क्या मतलब है ... आपको अभी भी रैखिक मॉडल के मापदंडों की आवश्यकता नहीं है, बस जैसा कि आपको KNN के लिए मापदंडों की आवश्यकता होगी (हालाँकि इसके पैरामीटर अधिक शामिल हैं)

— एलेक

अच्छे अंक, मैंने इसे स्पष्ट करने के लिए अपने उत्तर को संपादित करने की कोशिश की और उम्मीद है कि आपके बिंदुओं का जवाब दें (टिप्पणियों के लिए वर्ण सीमा कम है)।

— शाऊलियस लुकासकस

+1, यह अच्छी तरह से समझाया गया है। "मॉडलिंग एफ (एक्स)" और "एफ (एक्स)" के बारे में मान्यताओं के बीच का अंतर, विचार को बहुत अच्छी तरह से पकड़ लेता है, आईएमओ। इसे लगाने का एक और तरीका यह है कि डेटा बनाने की प्रक्रिया के बारे में धारणा बनाने के लिए मॉडलिंग f (x) की मात्रा पर विचार करें , जबकि knn ऐसा नहीं करता है, लेकिन सिर्फ आंकड़े देते हैं कि किसी दिए गए डेटम का मान पास के मान के समान हो सकता है डेटा।

— गूँग - मोनिका

हम्म, ठीक है। आपका संपादन निश्चित रूप से इसे थोड़ा स्पष्ट करता है, लेकिन मुझे अभी भी औपचारिक अंतर देखने में परेशानी हो रही है। ऐसा लगता है कि "मॉडलिंग" से आपका मतलब है "विश्व स्तर पर एफ के आकार के लिए एक अच्छा विचार प्राप्त करना", जबकि केएनएन केवल स्थानीय व्यवहार की परवाह करता है। तो यह वैश्विक बनाम स्थानीय में यह अंतर है जो रैखिक प्रतिगमन मॉडलिंग और KNN नहीं बनाता है?

— एलेक

Answer 2

रैखिक प्रतिगमन मॉडल-आधारित है क्योंकि यह एक मॉडल उत्पन्न करने के लिए डेटा की संरचना के बारे में धारणा बनाता है। जब आप किसी डेटा को एक सांख्यिकीय कार्यक्रम में लोड करते हैं और एक रेखीय प्रतिगमन को चलाने के लिए इसका उपयोग करते हैं तो आउटपुट वास्तव में एक मॉडल होता है:$\hat{f}(X)=\hat{\beta} X$। आप इस मॉडल में नया डेटा फीड कर सकते हैं और एक अनुमानित आउटपुट प्राप्त कर सकते हैं क्योंकि आपने यह अनुमान लगाया है कि आउटपुट चर वास्तव में कैसे उत्पन्न होता है।

केएनएन के साथ वास्तव में एक मॉडल नहीं है - केवल एक धारणा है कि अवलोकन जो एक दूसरे के पास हैं $X$-स्पेस संभवतः आउटपुट चर के संदर्भ में इसी तरह का व्यवहार करेगा। आप 'KNN मॉडल' में एक नया अवलोकन नहीं करते हैं, आप बस यह निर्धारित करते हैं कि कौन से मौजूदा अवलोकन एक नए अवलोकन के समान हैं और प्रशिक्षण डेटा से नए अवलोकन के लिए आउटपुट चर की भविष्यवाणी करते हैं।

Comments

जबकि सहज रूप से मैं समझता हूं कि आप क्या मतलब है, भेद अभी भी मेरे लिए अस्थिर लगता है ... क्या आप KNN को R ^ d के विभाजन द्वारा मापे जाने के रूप में नहीं देख सकते हैं और विभाजन को असाइन किया गया वज़न?

— एलेक

यदि कोई आपसे आपकी भविष्यवाणियों को सही ठहराने के लिए कहे तो आप ऐसा कर सकते हैं यदि आपने इनपुट और आउटपुट के बीच संबंधों को समझाकर रैखिक प्रतिगमन का उपयोग किया है। एक मॉडल संबंध बी / डब्ल्यू इनपुट और आउटपुट को समझाने का प्रयास करता है। KNN संबंध b / w इनपुट और आउटपुट को समझाने का प्रयास नहीं करता है, इसलिए कोई मॉडल नहीं है।

— tjnel

Answer 3

क्लस्टरिंग विधियों पर चर्चा करते समय मॉडल-आधारित शब्द "वितरण-आधारित" का पर्याय है। रैखिक प्रतिगमन वितरण संबंधी धारणाएं बनाता है (कि त्रुटियां गॉसियन हैं)। KNN किसी भी वितरण संबंधी धारणा नहीं बनाता है। वह भेद है।

Comments

यह औपचारिक अंतर के संदर्भ में मेरे लिए अब तक सबसे अधिक समझ में आता है, हालांकि ईएसएल वास्तव में इस तरह से रैखिक प्रतिगमन पेश नहीं करता था। उन्होंने पहले चुकता-त्रुटि लागत फ़ंक्शन को पेश किया, एक प्रकार का मनमाना (एक गौसियन के लिए एक MLE करने के बजाय), इसका इस्तेमाल यह खोजने के लिए किया कि हमें f (x) = E (Y | X = x) की भविष्यवाणी करनी चाहिए, बताया गया कि KNY सन्निकट कैसे होता है? कुछ मान्यताओं के तहत यह, और तब मान लिया गया था कि रैखिक रैखिक प्रतिगमन प्राप्त करने के लिए रैखिक था।

— एलेक

दिलचस्प प्रस्ताव, लेकिन अगर हम इस बारे में कुछ संदर्भ देते तो बहुत बेहतर होता।

— ivanmp

Answer 4

kNN उदाहरण-आधारित है

एक नए अवलोकन के लिए एक भविष्यवाणी करने के लिए, आपको सभी प्रशिक्षण डेटासेट रखने होंगे, क्योंकि, डेटासेट के बारे में कोई मॉडल नहीं है ।

यह कैसे kNN काम करता है: एक नया अवलोकन दिया गया है, हम इस नए अवलोकन और प्रशिक्षण डेटासेट में अन्य सभी टिप्पणियों के बीच की दूरी की गणना करेंगे। फिर आपको पड़ोसी (जो नए अवलोकन के सबसे करीब हैं) मिलते हैं।

अगर $k=5$, तो हम 5 निकटतम प्रेक्षणों को देखते हैं। "स्थानीय रूप से निरंतर कार्य" का अर्थ है कि इन 5 अवलोकनों को चुनने के बाद, हम दूरियों की परवाह नहीं करते हैं। वे समान हैं, भविष्यवाणी के लिए उनका समान महत्व है।

एक मॉडल कैसे मिल सकता है?

अब, यदि हम एक ऐसा फ़ंक्शन खोजने की कोशिश करते हैं जो "स्थानीय रूप से स्थिर" नहीं है, तो यह एक सामान्य वितरण होगा। इस मामले में, आपको एक एल्गोरिथ्म कॉल मिलेगा लाइनर डिस्क्रिमिनेंट एनालिसिस या नैवे बेस (कुछ अन्य मान्यताओं के आधार पर)।