Xgboost के अनुमानित विभाजन बिंदु प्रस्ताव को समझने में सहायता की आवश्यकता है

Question

पृष्ठभूमि:

में xgboost यात्रा की कोशिश करता एक पेड़ फिट करने के लिए च टी सब कुछ खत्म n उदाहरण जो उद्देश्य निम्नलिखित को कम करता है:$t$$f_t$$n$

$$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$$

जहां पहले के आदेश और हमारे पिछले श्रेष्ठ अनुमान से अधिक दूसरा आदेश डेरिवेटिव हैं y (पुनरावृत्ति से टी - 1 ):$g_i, h_i$$\hat{y}$$t-1$

• $g_i=d_{\hat{y}}l(y_i, \hat{y})$
• $h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

और हमारे नुकसान का कार्य है।$l$

---

प्रश्न (अंत में):

जब निर्माण और एक विशिष्ट सुविधा पर विचार कश्मीर एक विशिष्ट विभाजन में, वे केवल कुछ विभाजन उम्मीदवारों का आकलन करने के लिए निम्न अनुमानी का उपयोग: वे तरह उनके द्वारा सभी उदाहरणों एक्स कश्मीर , क्रमबद्ध सूची के ऊपर से गुजरती हैं और उनके दूसरा व्युत्पन्न योग ज मैं । वे एक विभाजन उम्मीदवार पर विचार केवल जब योग से अधिक में परिवर्तन ε । ऐसा क्यों है???$f_t$$k$$x_k$$h_i$$\epsilon$

वे स्पष्टीकरण मुझे देते हैं:

वे दावा करते हैं कि हम पिछले समीकरण को फिर से लिख सकते हैं:

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$$

और मैं बीजगणित का पालन करने में विफल रहता हूं - क्या आप दिखा सकते हैं कि यह समान क्यों है?

और फिर वे दावा करते हैं कि "यह लेबल और वेट h i के साथ बिल्कुल भारित वर्गीय नुकसान है " - एक कथन जिससे मैं सहमत हूं, लेकिन मुझे समझ में नहीं आता कि यह विभाजित उम्मीदवार एल्गोरिदम से कैसे संबंधित है जो वे उपयोग कर रहे हैं। ..$gi/hi$$h_i$

धन्यवाद और क्षमा करें यदि यह इस मंच के लिए बहुत लंबा है।

Answer 1

मैं विवरण में नहीं जाऊंगा, लेकिन निम्नलिखित को आपको विचार को समझने में मदद करनी चाहिए।

वे यह निर्धारित करने के लिए क्वांटाइल्स (विकिपीडिया) का उपयोग करते हैं कि कहां विभाजन करना है। आप 100 संभव विभाजन बिंदु हैं तो (क्रमबद्ध), तुम कोशिश कर सकते 10 -quantiles अंक विभाजित { x 10 , x 20 , ⋯ , x 90 } और एक अच्छा सन्निकटन पहले से ही है। यह क्या है ε पैरामीटर कर रही है। वे एक विभाजन बिंदु है जब विभाजन है पर विचार ~ ε एन पिछले विभाजन बिंदु की तुलना में यह अधिक अंक के नीचे। यदि ε = $\{x_1, \cdots, x_{100}\}$$10$$\{x_{10}, x_{20}, \cdots, x_{90}\}$$\epsilon$$\sim \epsilon N$$\epsilon = 0.01$, आप के साथ खत्म हो जाएगा , विभाजन अंक की तुलना में बड़ा किया जा रहा है { 1 % , 2 % , । । । , अन्य बिंदुओं का 99 % } । वे एक नया विभाजन पर विचार नहीं है जब "योग से अधिक बदल जाता है ε " लेकिन वर्तमान बिंदु के तहत अंक की संख्या से बड़ा है जब ε पिछले एक की तुलना में।$\sim 100$$\{1\%, 2\%, ..., 99\%\}$$\epsilon$$\epsilon$

अब, यदि आपके पास बहुत सारे निरंतर बिंदु हैं जो पहले से ही अच्छी तरह से वर्गीकृत हैं, तो उनके बीच विभाजन करना बेकार हो सकता है। आप अपने डेटा सेट के हिस्सों को विभाजित करना चाहते हैं जो बहुत गलत हैं, जिन्हें सीखना मुश्किल है। ऐसा करने के लिए, वे भारित मात्राओं का उपयोग करते हैं। यह वह जगह है जहाँ भार एक भूमिका निभाता है। पहला -क्वेंटाइल पहला बिंदु नहीं होगा जो 10 % अंकों से बड़ा हो , लेकिन पहला बिंदु जो 10 % से अधिक वजन का हो।$10$$10\%$$10\%$

Comments

मैंने आपको केवल एक वोट देने के लिए लॉग इन किया। आसान व्याख्या के लिए धन्यवाद।

— पाकपोम तिवकोर्नकिट

Answer 2

बस बीजगणितीय भाग को @ पेय उत्तर में जोड़ना है:

दूसरे समीकरण में इसका चिन्ह उल्टा होना चाहिए, जैसे:

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$$

अंतिम शब्द वास्तव में स्थिर है: याद रखें कि और h i पिछले पुनरावृत्ति द्वारा निर्धारित किए जाते हैं, इसलिए जब वे f t सेट करने का प्रयास कर रहे होते हैं तो वे स्थिर होते हैं ।$g_i$$h_i$$f_t$

तो, अब हम दावा कर सकते हैं "लेबल के साथ वास्तव में यह दिया जाता है वर्ग हानि और वज़न ज मैं "$-gi/hi$$h_i$

मुझे यह समझाने के लिए मेरी टीम की ओर से श्रेय यारों और एवी को जाता है।

Answer 3

और फिर वे दावा करते हैं कि "यह बिल्कुल gi / higi / hi और weights hihi के लेबल के साथ कम वजन वाला वर्गीय नुकसान है" - एक कथन जिससे मैं सहमत हूं, लेकिन मुझे समझ में नहीं आता है कि यह उन विभाजित उम्मीदवार एल्गोरिदम से कैसे संबंधित है जो वे उपयोग कर रहे हैं .. ।

1. यदि केवल एक नमूना है, और आप t - t h iteration पर $w$ अनुकूलन कर रहे हैं , तो यह देखना आसान है कि मान w - = - g i / h i होगा , समझा ( f t - - - ( g i /) ज i ) ) २$t-t_h$$w* = -gi/hi$$(ft - -(gi/hi))^2$

2. अब आपके पास पूरा डेटा सेट है। एक मामले में जहां नुकसान समारोह एक समान दूसरा व्युत्पन्न है में, $w*$ बन जाएगा $-avg(gi)/const$ के बजाय $-sigma(gi)/sigma(hi)$ । मैं इस तरह से यह लिखा था, क्योंकि उस स्थिति में, $w*$ के अंतर के लिए अप्रासंगिक हो जाएगा $hi$नमूनों के बीच, चूंकि कोई अंतर नहीं है। हालांकि, वास्तव में, जब ध्यान में रखते हुए $gi$ अपरिवर्तित, $w*$ के वितरण के साथ fluctuates $hi$ ।

मुझे लगता है कि यह बताता है कि यह क्यों काम करता है क्योंकि यह $hi$ द्वारा भारित है ।