मैंने एक मशीन लर्निंग बुक में पढ़ा कि रेखीय प्रतिगमन के मापदंडों का अनुमान ढाल के वंश द्वारा (अन्य तरीकों के बीच) लगाया जा सकता है, जबकि लॉजिस्टिक प्रतिगमन के मापदंडों का अनुमान आमतौर पर अधिकतम संभावना अनुमान द्वारा लगाया जाता है।
क्या नौसिखिए (मुझे) को समझाना संभव है कि हमें रैखिक / लॉजिस्टिक प्रतिगमन के लिए अलग-अलग तरीकों की आवश्यकता क्यों है। उर्फ रैखिक प्रतिगमन के लिए MLE क्यों नहीं और लॉजिस्टिक प्रतिगमन के लिए ढाल वंश क्यों नहीं?
जवाबों:
आप संतरे के साथ सेब को भ्रमित कर रहे हैं। यह ठीक है, क्योंकि वे दोनों स्वादिष्ट हैं।
अधिकतम संभावना अनुमान के बारे में है कि आप क्या कम करते हैं, ग्रेडिएंट वंश इस बारे में है कि आप इसे कैसे कम करते हैं।
रैखिक प्रतिगमन के लिए MLE क्यों नहीं?
वास्तव में, रैखिक प्रतिगमन अधिकतम संभावना अनुमान के साथ हल किया जाता है। मानक "चुकता त्रुटियों का योग कम करें" विधि सशर्त रूप से सामान्य वितरण का उपयोग करके अधिकतम संभावना अनुमान के बराबर गणितीय है।
लॉजिस्टिक रिग्रेशन के लिए ग्रेडिएंट डिसेंट क्यों नहीं?
आप क्रमिक वंश का उपयोग करके संभावना फ़ंक्शन को कम करके लॉजिस्टिक प्रतिगमन को पूरी तरह से हल कर सकते हैं। यह वास्तव में एक महान अभ्यास है, और मैं हर किसी को कम से कम एक बार ऐसा करने की सलाह दूंगा।
ग्रेडिएंट डिसेंट हालांकि मानक विधि नहीं है। यह पुरस्कार पुन: भारित रूप से कम से कम वर्ग / न्यूटन की विधि के लिए जाता है , जो कि ढाल वंश के लिए एक वृद्धि है जो दूसरे व्युत्पन्न को भी ध्यान में रखता है। यह विधि केवल ढाल वंश की तुलना में बहुत बेहतर गुण है, लेकिन समझने और लागू करने के लिए मुश्किल है।