KNN एक भेदभावपूर्ण सीखने का एल्गोरिथ्म है?

17

ऐसा लगता है कि KNN एक भेदभावपूर्ण शिक्षण एल्गोरिथ्म है, लेकिन मैं इसकी पुष्टि करने वाले किसी भी ऑनलाइन स्रोत को खोजने के लिए प्रतीत नहीं कर सकता।

machine-learning classification k-nearest-neighbour

— jpmuc
स्रोत

19

KNN एक भेदभावपूर्ण एल्गोरिथ्म है क्योंकि यह किसी दिए गए वर्ग से संबंधित नमूने की सशर्त संभावना को मॉडल करता है । यह देखने के लिए कि कोई व्यक्ति kNN के निर्णय नियम को कैसे प्राप्त करता है।

एक क्लास लेबल बिंदुओं के एक सेट से मेल खाती है जो कि फीचर स्पेस में कुछ क्षेत्र से संबंधित हैं $R$ । आप वास्तविक संभावना वितरण से नमूना अंक, आकर्षित तो $p(x)$ , स्वतंत्र रूप से, तो उस वर्ग से एक नमूना निकलने की संभावना है,

P = \int_{R} p (x) d x

$P = \int_{R} p(x) dx$

यदि आपके पास $N$ अंक हैं तो क्या होगा ? इस बात की संभावना कि $K$ अंक $N$ के क्षेत्र में आते $R$ हैं, द्विपद वितरण का अनुसरण करते हैं,

P r o b (K) = (\binom{N}{K}) P^{K} (1 - P)^{N - K}

$Prob(K) = {{N} \choose {K}}P^{K}(1-P)^{N-K}$

जैसा कि यह वितरण तेजी से चरम पर है, ताकि संभावना को इसके माध्य मान द्वारा अनुमानित किया जा सके । एक अतिरिक्त सन्निकटन यह है कि पर प्रायिकता वितरण लगभग स्थिर रहता है, जिससे व्यक्ति से अभिन्न रूप से अनुमानित कर सकता है, जहाँ की कुल मात्रा है क्षेत्र। इस सन्निकटन के तहत । $N \to \infty$ $\frac{K}{N}$ $R$

P = \int_{R} p (x) d x \approx p (x) V

$P = \int_{R} p(x) dx \approx p(x)V$

V

$V$

p (x) \approx \frac{K}{N V}

$p(x) \approx \frac{K}{NV}$

अब, यदि हमारे पास कई कक्षाएं हैं, तो हम प्रत्येक के लिए एक ही विश्लेषण दोहरा सकते हैं, जो हमें देगा, जहां वर्ग से बिंदुओं की मात्रा है जो उस क्षेत्र में आती है और वर्ग से संबंधित बिंदुओं की कुल संख्या है । सूचना ।

p (x | C_{k}) = \frac{K_{k}}{N_{k} V}

$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$

K_{k}

$K_{k}$

k

$k$

N_{k}

$N_{k}$

C_{k}

$C_k$

\sum_{k} N_{k} = N

$\sum_{k}N_{k}=N$

द्विपद वितरण के साथ विश्लेषण को दोहराते हुए, यह देखना आसान है कि हम पूर्व अनुमान लगा सकते हैं । $P(C_{k}) = \frac{N_{k}}{N}$

नियम का उपयोग करते हुए, जो kNN के लिए नियम है।

P (C_{k} | x) = \frac{p (x | C_{k}) p (C_{k})}{p (x)} = \frac{K_{k}}{K}

$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$

— jpmuc
स्रोत

2

संदर्भ में KNN पर कोई जानकारी शामिल नहीं है। क्या यह सही है?

— बायरज

1

मेरा मतलब यह था कि भेदभावपूर्ण एल्गोरिथ्म बनाम जेनरेटिव के लिए क्या समझा जाए।

— jpmuc

5

@Jpmuc द्वारा उत्तर सटीक प्रतीत नहीं होता है। पीढ़ीगत मॉडल अंतर्निहित वितरण P (x / Ci) को मॉडल करते हैं और फिर बाद में संभावित संभावनाओं को खोजने के लिए बेयस प्रमेय का उपयोग करते हैं। यह वही है जो उस उत्तर में दिखाया गया है और फिर सटीक विपरीत निष्कर्ष निकालता है। : हे

KNN के लिए एक सामान्य मॉडल होने के लिए, हमें सिंथेटिक डेटा उत्पन्न करने में सक्षम होना चाहिए। ऐसा लगता है कि यह तब संभव है जब हमारे पास कुछ प्रारंभिक प्रशिक्षण डेटा हो। लेकिन बिना प्रशिक्षण डेटा के शुरू करना और सिंथेटिक डेटा बनाना संभव नहीं है। तो KNN जेनेरिक मॉडल के साथ अच्छी तरह से फिट नहीं है।

एक तर्क दे सकता है कि KNN एक भेदभावपूर्ण मॉडल है क्योंकि हम वर्गीकरण के लिए भेदभावपूर्ण सीमा खींच सकते हैं, या हम पीछे P (Ci / x) की गणना कर सकते हैं। लेकिन ये सभी जेनरेटर मॉडल के मामले में भी सही हैं। एक सच्चा विवेकशील मॉडल अंतर्निहित वितरण के बारे में कुछ नहीं बताता है। लेकिन KNN के मामले में हम अंतर्निहित वितरण के बारे में बहुत कुछ जानते हैं, infact हम पूरे प्रशिक्षण सेट का भंडारण कर रहे हैं।

तो ऐसा लगता है कि KNN जनरेटिव और भेदभावपूर्ण मॉडल के बीच का रास्ता है। संभवत: यही कारण है कि प्रतिष्ठित लेखों में केएनएन को किसी भी जनरेटिव या भेदभावपूर्ण मॉडल के तहत वर्गीकृत नहीं किया गया है। चलो उन्हें सिर्फ गैर पैरामीट्रिक मॉडल कहते हैं।

— बिनु जसीम
स्रोत

मैं इससे सहमत नहीं हूँ। "जेनेटिक क्लासीफायर, इनपुट x और लेबल y के संयुक्त संभाव्यता, p (x, y) का एक मॉडल सीखते हैं, और p (ylx) की गणना करने के लिए Bayes नियमों का उपयोग करके अपनी भविष्यवाणियां करते हैं, और फिर सबसे संभावित लेबल y को उठाते हैं। । विभेदक क्लासीफायर सीधे पश्च पी (ylx) को मॉडल करते हैं, या इनपुट एक्स से क्लास लेबल तक एक सीधा मानचित्र सीखते हैं "। "

— विवेकशील बनाम जनरेटिव

3

मैं एक किताब जो विपरीत (कहते हैं करवाते आ गए हैं यानी एक उत्पादक nonparametric वर्गीकरण मॉडल)

यह ऑनलाइन लिंक है: मर्फी द्वारा मशीन लर्निंग ए प्रोबेबिलिस्टिक पर्सपेक्टिव , केविन पी। (2012)

यहाँ पुस्तक से अंश:

— गूरोल कैनबक
स्रोत

गलती होनी चाहिए ..

1

मैं मानता हूं कि kNN भेदभावपूर्ण है। कारण यह है कि यह स्पष्ट रूप से एक (संभावनावादी) मॉडल को स्टोर करने या सीखने की कोशिश नहीं करता है, जो डेटा की व्याख्या करता है (जैसा कि विरोध किया जाता है, उदाहरण के लिए बेव बेयस)।

Juampa भ्रमित मेरे द्वारा जवाब के बाद से, मेरी समझ के लिए, एक उत्पादक वर्गीकारक एक प्रयास (एक मॉडल का उपयोग कर जैसे) कैसे डेटा उत्पन्न होता है समझाने के लिए कि है, और है कि इसका जवाब कहना है कि यह है विवेकशील इस कारण की वजह से ...

— अमीर
स्रोत

1

जेनेरिक मॉडल P (Ck, X) सीखता है, इसलिए आप उस संयुक्त वितरण का उपयोग करके अधिक डेटा उत्पन्न कर सकते हैं। इसके विपरीत, एक विवेकशील मॉडल P (Ck | X) सीखेगा। यही @ जंपा KNN की ओर इशारा कर रही है।

— झूबर्ब

1

वर्गीकरण के समय, भविष्यवाणियां करने के लिए सशर्त संभावनाओं का उपयोग करते हुए जनरेटिव और भेदभावपूर्ण दोनों समाप्त होते हैं। हालांकि, जेनेरिक क्लासिफायर संयुक्त संभावना को सीखता है और बेयस नियम से यह सशर्त की गणना करता है, जबकि विभेदक में एक क्लासिफायर या तो सीधे सशर्त की गणना करता है, या इसके लिए एक सन्निकटन प्रदान करता है जितना कि यह अच्छा हो सकता है।

— रपायो