भविष्यवाणियों की हैंडलिंग (बेस शिक्षार्थियों, जैसे स्टंप्स) और बूस्टिंग में नुकसान फ़ंक्शन से निपटने को भ्रमित न करें। यद्यपि AdaBoost को बेस लर्निंग के संयोजन के रूप में माना जा सकता है कि मिसकॉलिफिकेशन त्रुटि को कम करने के लिए, "Additive लॉजिस्टिक रिग्रेशन" पेपर आपको बताता है कि यह घातीय नुकसान फ़ंक्शन को कम करने के लिए भी तैयार किया जा सकता है। इस अंतर्दृष्टि ने मशीन-लर्निंग की समस्याओं की एक विस्तृत श्रेणी के लिए अप्रोचिंग दृष्टिकोण को खोल दिया जो कि ग्रेडिएंट बूस्टिंग के माध्यम से, अलग-अलग नुकसान कार्यों को कम करता है । प्रत्येक चरण में फिट होने वाले अवशिष्ट, छद्म अवशिष्ट होते हैं जिनकी गणना हानि फ़ंक्शन की प्रवणता से की जाती है। यहां तक कि अगर भविष्यवाणियों को बाइनरी स्टंप के रूप में मॉडल किया जाता है, तो इस प्रकार मॉडल के आउटपुट को बाइनरी पसंद नहीं होना चाहिए।
जैसा कि एक अन्य उत्तर में कहा गया है, रैखिक आधार शिक्षार्थी बढ़ावा देने के लिए काम नहीं कर सकते हैं, लेकिन मानक या तार्किक अर्थों में "संवर्धित प्रतिगमन" के लिए रैखिक आधार शिक्षार्थियों की आवश्यकता नहीं होती है। निश्चित रूप से गैर-रैखिक स्टंप को उचित नुकसान कार्यों को कम करने के लिए धीमे आधार शिक्षार्थियों के रूप में जोड़ा जा सकता है। इसे अभी भी "बढ़ा हुआ प्रतिगमन" कहा जाता है, भले ही यह भविष्यवाणियों के गुणांक में एक मानक प्रतिगमन मॉडल रैखिक से दूर हो। नुकसान का कार्य कार्यात्मक रूप से रैखिक मॉडल और भविष्यवाणियों के रूप में स्टंप या पेड़ों के साथ "बढ़ाया प्रतिगमन" मॉडल के लिए समान हो सकता है। ISLR का अध्याय 8 इसे बहुत स्पष्ट करता है।
इसलिए यदि आप एक लॉजिस्टिक-रिग्रेशन को बढ़ावा देने वाले रिग्रेशन के बराबर चाहते हैं, तो बेस लर्नर के बजाय लॉस फ़ंक्शन पर ध्यान दें। यही कारण है कि आप कागज़ में LogitBoost दृष्टिकोण क्या करता है: adaboost में निहित घातीय हानि के बजाय एक लॉग-नुकसान को कम करें। विकिपीडिया AdaBoost पेज इस अंतर का वर्णन करता है।
इस साइट में कई प्रतिभागियों का तर्क होगा कि एक लॉग-ऑड / संभावना आधारित भविष्यवाणी एक सख्त हाँ / नहीं वर्गीकरण भविष्यवाणी के लिए अत्यधिक बेहतर है, क्योंकि पूर्व में आमतौर पर झूठी-सकारात्मक और झूठी-नकारात्मक भविष्यवाणियों की अतिरिक्त लागतों के बीच विभिन्न ट्रेडऑफ़ के लिए अनुमति मिलती है। । जैसा कि आपके संबंधित प्रश्न का उत्तर इंगित करता है, AdaBoost से प्राप्त मजबूत क्लासिफ़ायर से अनुमानित संभावनाओं को प्राप्त करना संभव है, लेकिन LogitBoost बेहतर प्रदर्शन दे सकता है।
वर्गीकरण के लिए ढाल बढ़ाने के कार्यान्वयन अंतर्निहित संभावनाओं पर जानकारी प्रदान कर सकते हैं। उदाहरण के लिए, ग्रेडिएंट बूस्टिंग पर यह पेज दिखाता है कि कैसे sklearnकोड लॉजिस्टिक रिग्रेशन के लिए डिडक्शन लॉस और एडॉबस्ट के लिए घातीय नुकसान के बीच एक विकल्प की अनुमति देता है, और ग्रेडिएंट-बूस्टेड मॉडल से संभावनाओं की भविष्यवाणी करने के लिए दस्तावेज़ कार्य करता है।