ग्रैडिएंट बूस्टिंग के साथ वर्गीकरण: भविष्यवाणी को कैसे रखें [0,1]

17

प्रश्न

मैं यह समझने के लिए संघर्ष कर रहा हूं कि कैसे ग्रैडिएंट बूस्टिंग के साथ द्विआधारी वर्गीकरण करते समय भविष्यवाणी अंतराल के भीतर रखी जाती है । $[0,1]$

मान लें कि हम एक द्विआधारी वर्गीकरण समस्या पर काम कर रहे हैं, और हमारे उद्देश्य समारोह लॉग नुकसान हुआ है, , जहां लक्ष्य चर रहा है और हमारे वर्तमान मॉडल है। $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ $y$ $\in \{0,1\}$ $H$

अगले कमजोर शिक्षार्थी प्रशिक्षित करते समय हमारा नया मॉडल , वह कौन सा तंत्र है जो को रखने वाला है ? या, शायद एक अधिक प्रासंगिक प्रश्न, क्या ऐसा कोई तंत्र है? $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

मैं क्या कर रहा हूँ पर अधिक जानकारी

मैं रिग्रेशन ट्री का इस्तेमाल करते हुए ग्रेडिएंट बूस्टिंग को लागू करने की कोशिश कर रहा हूं। क्या मैं इसे से बचने के लिए करते हैं कि एक गुणा है एक पहलू से , ऐसा है कि शून्य से नीचे या ऊपर जाना नहीं है, और मैं चयन इस श्रेणी में है कि कम करता है नुकसान समारोह। $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

यह निम्नलिखित समस्या लाता है: कुछ राउंड के बाद, मेरे पास एक बिंदु है जो पूरी तरह से वर्गीकृत है, और ग्रेडिएंट को ढाल की दिशा में धकेलने के लिए सबसे अच्छा विभाजन उपलब्ध है जो इस बिंदु को एक से ऊपर धकेलना चाहता है, जो मुझे यकीन नहीं होता है सेटिंग । इस प्रकार सभी अगले पुनरावृत्ति समान विभाजन और समान चयन करेंगे । $c = 0$ $c = 0$

मैंने सामान्य नियमितीकरण की कोशिश की

गुणा करके सीखने दर घटाना द्वारा । यह सिर्फ समस्या को दूर करता है। $c$ $\mu = 0.01$
फीचर स्पेस को सब्स्क्राइब करना, लेकिन कुछ बिंदुओं को वर्गीकृत करना बहुत आसान है, वे लगभग हर बॉक्स को "क्या यह सकारात्मक है?" फार्म, और लगभग हर "अच्छा विभाजन" इस व्यवहार को दर्शाता है।

मुझे लगता है कि यह मापदंडों की समस्या नहीं है, और इसे ठीक करने के लिए अधिक ध्वनि तरीका होना चाहिए । मैं इस संभावना को खारिज नहीं कर रहा हूं कि मेरा कार्यान्वयन टूट गया है, लेकिन मैंने इस समस्या को स्वीकार नहीं किया है।

लॉजिस्टिक लॉस के संदर्भ में हम जो हेरफेर कर रहे हैं, वह एक संभावना होनी चाहिए, तो हम इससे कैसे बचें?

मेरा अंतर्ज्ञान उस मॉडल को बनाने का होगा, जो , एक सिग्मोइड फ़ंक्शन में ऐसा है कि यह से घिरा है , और मुझे लगता है कि यह काम करेगा, लेकिन मैं जानना चाहता हूं कि क्या अन्य समाधान हैं। चूंकि धीरे-धीरे बूस्टिंग का उपयोग वर्गीकरण कार्यों में सफलतापूर्वक किया जाता है, इसलिए एक "सही" (यानी, औचित्य के साथ) समाधान मौजूद होना चाहिए। $H$ $[0,1]$

logistic classification boosting

— विंक्स
स्रोत

आप की आवश्यकता हो सकती है कि

गुणक है, उस में

आपके अन्य विशेषज्ञों के साथ additively व्यवहार करता है।

H

$H$

\ln (H)

$\ln(H)$

— एलेक्स आर।

22

मुझे रैखिक मॉडल के मामले के साथ समानता में यह सोचना पसंद है, और जीएलएम (सामान्यीकृत रैखिक मॉडल) के लिए उनका विस्तार।

एक रैखिक मॉडल में, हम अपनी प्रतिक्रिया की भविष्यवाणी करने के लिए एक रेखीय कार्य करते हैं

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

अन्य स्थितियों को सामान्य बनाने के लिए, हम एक लिंक फ़ंक्शन शुरू करते हैं, जो प्रतिक्रिया के पैमाने पर मॉडल के रैखिक हिस्से को बदल देता है (तकनीकी रूप से यह एक उलटा लिंक है, लेकिन मुझे लगता है कि इस तरह से सोचना आसान है, रैखिक भविष्यवक्ता को बदलना एक प्रतिक्रिया में, एक रैखिक भविष्यवक्ता में प्रतिक्रिया को बदलने से)।

उदाहरण के लिए, लॉजिस्टिक मॉडल सिग्मॉइड (या लॉगिट) फ़ंक्शन का उपयोग करता है

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

और पॉसन प्रतिगमन एक घातीय फ़ंक्शन का उपयोग करता है

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

ग्रेडिएंट बूस्टिंग के साथ एक सादृश्य का निर्माण करने के लिए, हम इन मॉडलों के रैखिक हिस्से को बढ़े हुए पेड़ों के योग से प्रतिस्थापित करते हैं। इसलिए, उदाहरण के लिए, गाऊसी मामला (रैखिक प्रतिगमन के अनुरूप) प्रसिद्ध हो जाता है

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

$h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

और पॉइज़न बूस्टिंग पोइज़न रिग्रेशन के अनुरूप है

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

$\sum_i \beta_i x_i$

उदाहरण के लिए, द्विपद हानि आमतौर पर के रूप में सामना किया जाता है

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

$p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

$L$

केवल बहुत ही अंत में, जब हम उपयोगकर्ता के लिए भविष्यवाणियों का उत्पादन करना चाहते हैं, तो क्या हम भविष्यवाणियों को प्रतिक्रिया के रूप में उसी पैमाने पर रखने के लिए कमजोर शिक्षार्थियों के अंतिम अनुक्रम में लिंक फ़ंक्शन को लागू करते हैं। मॉडल को फिट करते समय, हम आंतरिक रूप से पूरे समय रैखिक पैमाने पर काम करते हैं।

— मैथ्यू पारा
स्रोत

2

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

@ मैथ्यू-ड्र्यू क्या आप कृपया उसी एल्गोरिथ्म के K- वर्ग बहुराष्ट्रीय खंड पर कुछ प्रकाश जोड़ सकते हैं जहां समान विचार इसके लिए काम करने के लिए विस्तारित है?

— मिक्सकैप्ड

6

कुछ शोध के बाद, ऐसा लगता है कि मेरी अंतर्ज्ञान और एलेक्स आर की टिप्पणी सही है।

$[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

इस पत्र में सुझाव दिया गया है Additive रसद प्रतिगमन: बढ़ाने का एक सांख्यिकीय दृश्य , फ्राइडमैन, Hastie और Tibshirani, द्वारा निर्माण करने के लिए LogitBoost (विकिपीडिया) , का एक रूपांतर AdaBoost (विकिपीडिया) उपस्कर घटाने के लिए।

बहुत ही मूल शब्दों में, यदि एक सिग्मॉइड के अतिरिक्त रैखिक प्रतिगमन से लॉजिस्टिक रिग्रेशन तक जाना संभव है, तो यह रिग्रेशन बूस्टिंग को वर्गीकरण बूस्टिंग में बदलने के लिए भी काम करता है।

— विंक्स
स्रोत