(हैमनर का जवाब बहुत अच्छा है, इसलिए पूर्णता के लिए मेटाऑप्टाइज़ से मेरे उत्तर को बस पोस्ट करें।)
मैं जेनेरिक एल्गोरिदम के बारे में सोचता हूं कि वास्तव में डेटा कैसे उत्पन्न होता है, इसका एक मॉडल प्रदान करता है (मुझे लगता है कि आप उन्हें और दोनों का मॉडल देंगे , बजाय , हालांकि मुझे लगता है कि यह समान है), और भेदभावपूर्ण एल्गोरिदम बस वर्गीकरण विभाजन प्रदान करते हैं (और जरूरी नहीं कि एक संभाव्य तरीके से)।P(X|Y)P(Y)P(X,Y)
उदाहरण के लिए, गाऊसी मिश्रण मॉडल और k-mean क्लस्टरिंग की तुलना करें। पूर्व में, हमारे पास एक अच्छा संभाव्य मॉडल है कि कैसे अंक उत्पन्न होते हैं (कुछ संभावना के साथ एक घटक चुनें, और फिर घटक के गौसियन वितरण से नमूना करके एक बिंदु का उत्सर्जन करें), लेकिन ऐसा कुछ भी नहीं है जिसे हम वास्तव में बाद के बारे में कह सकते हैं।
ध्यान दें कि उत्पादक एल्गोरिदम विवेकशील गुण होते हैं, जब से तुम मिल सकता है एक बार आपके पास और , (Bayes के सिद्धांत के आधार पर) हालांकि विवेकशील एल्गोरिदम वास्तव में नहीं है उत्पादक गुण होते हैं।P(Y|X)P(X|Y)P(Y)
1: भेदभावपूर्ण एल्गोरिदम आपको अंकों को वर्गीकृत करने की अनुमति देता है, बिना यह मॉडल प्रदान किए कि अंक वास्तव में कैसे उत्पन्न होते हैं। तो ये भी हो सकते हैं:
- संभाव्य एल्गोरिदम सीखने की कोशिश करते हैं (जैसे, लॉजिस्टिक प्रतिगमन);P(Y|X)
- या गैर-संभाव्य एल्गोरिदम जो सीधे बिंदुओं से कक्षाओं तक मैपिंग सीखने की कोशिश करते हैं (उदाहरण के लिए, परसेप्ट्रोन और एसवीएम बस आपको एक अलग हाइपरप्लेन देते हैं, लेकिन नए अंक उत्पन्न करने का कोई मॉडल नहीं)।
तो हाँ, भेदभावपूर्ण क्लासिफायर किसी भी क्लासिफायरियर हैं जो जेनरेटर नहीं हैं।
इसके बारे में सोचने का एक और तरीका यह है कि जेनेरिक एल्गोरिदम आपके मॉडल पर कुछ प्रकार की संरचना धारणाएं बनाते हैं, लेकिन भेदभावपूर्ण एल्गोरिदम कम धारणाएं बनाते हैं। उदाहरण के लिए, Naive Bayes आपकी सुविधाओं की सशर्त स्वतंत्रता को मानता है, जबकि लॉजिस्टिक रिग्रेशन (Naive Bayes का भेदभावपूर्ण "प्रतिपक्ष) नहीं करता है।
2: हाँ, Naive Bayes उदार है क्योंकि यह और पकड़ लेता है । उदाहरण के लिए, यदि हम जानते हैं कि और , अंग्रेजी और फ्रेंच शब्द संभावनाओं के साथ है, तो अब हम पहले दस्तावेज़ की भाषा चुनकर एक नया दस्तावेज़ तैयार कर सकते हैं ( संभाव्यता 0.7 के साथ अंग्रेजी, संभाव्यता 0.3 के साथ फ्रेंच), और फिर चुने हुए भाषा के शब्द संभावनाओं के अनुसार शब्द उत्पन्न करना।P(X|Y)P(Y)P(Y=English)=0.7P(Y=French)=0.3
हां, मुझे लगता है कि आप उस फैशन में लॉजिस्टिक रिग्रेशन जेनरेट कर सकते हैं, लेकिन यह केवल इसलिए है क्योंकि आप लॉजिस्टिक रिग्रेशन में कुछ जोड़ रहे हैं जो पहले से ही है। यही कारण है, जब आप एक अनुभवहीन Bayes वर्गीकरण प्रदर्शन कर रहे हैं, तो आप सीधे कंप्यूटिंग रहे (दाईं ओर शर्तों, और , वे हैं जो आपको एक नया दस्तावेज़ बनाने की अनुमति देते हैं); लेकिन जब आप लॉजिस्टिक प्रतिगमन में गणना कर रहे हैं, तो आप इन दो चीजों की गणना नहीं कर रहे हैं, आप बस एक लॉजिस्टिक फ़ंक्शन को एक डॉट उत्पाद पर लागू कर रहे हैं।पी ( एक्स | Y ) पी ( वाई ) पी ( Y | एक्स )P(Y|X)∝P(X|Y)P(Y)P(X|Y)P(Y)P(Y|X)
3: जेनेरिक मॉडल अक्सर छोटे डेटासेट पर भेदभावपूर्ण मॉडल को पछाड़ते हैं क्योंकि उनकी जेनरिक धारणाएं आपके मॉडल पर कुछ संरचना रखती हैं जो ओवरफिटिंग को रोकती हैं । उदाहरण के लिए, आइए Naive Bayes बनाम लॉजिस्टिक रिग्रेशन पर विचार करें। Naive Bayes धारणा निश्चित रूप से शायद ही कभी संतुष्ट है, इसलिए लॉजिस्टिक प्रतिगमन Naive Bayes को बेहतर बनाने की ओर अग्रसर होगा क्योंकि आपका डेटासेट बढ़ता है (चूंकि यह निर्भरता को कैप्चर कर सकता है जो Naive Bayes नहीं कर सकता है)। लेकिन जब आपके पास केवल एक छोटा सा डेटा सेट होता है, तो लॉजिस्टिक रिग्रैसिएशन उन नकली पैटर्न पर हो सकता है जो वास्तव में मौजूद नहीं हैं, इसलिए Naive Bayes आपके मॉडल पर एक तरह के रेग्युलर के रूप में काम करता है जो ओवरफिटिंग को रोकता है। एंड्रयू बनाम और माइकल जॉर्डन द्वारा भेदभावपूर्ण बनाम जनरेटिव क्लासीफायर पर एक पेपर है जो इस बारे में अधिक बात करता है।
4: मुझे लगता है कि इसका मतलब यह है कि जेनरेटर मॉडल वास्तव में डेटा की अंतर्निहित संरचना को सीख सकते हैं यदि आप अपने मॉडल को सही ढंग से निर्दिष्ट करते हैं और मॉडल वास्तव में रखता है, लेकिन अगर आपकी जेनरल धारणाएं संतुष्ट नहीं होती हैं तो भेदभावपूर्ण मॉडल बेहतर प्रदर्शन कर सकते हैं (क्योंकि भेदभावपूर्ण एल्गोरिदम हैं) कम एक विशेष संरचना से बंधा हुआ है, और वास्तविक दुनिया गड़बड़ है और धारणाएं शायद ही कभी पूरी तरह से संतुष्ट हैं)। (यदि वे भ्रमित कर रहे हैं तो मैं शायद इन उद्धरणों को अनदेखा करूंगा।)