Xgboost एल्गोरिथ्म में min_child_weight का स्पष्टीकरण


23

Xgboost में min_child_weight पैरामीटर की परिभाषा इस प्रकार दी गई है:

एक बच्चे में आवश्यक वजन का न्यूनतम योग (हेसियन)। यदि वृक्ष विभाजन चरण लीफ नोड में एक परिणाम के साथ होता है, उदाहरण के लिए न्यूनतम वजन min_child_weight से कम होता है, तो निर्माण प्रक्रिया आगे विभाजन को छोड़ देगी। रैखिक प्रतिगमन मोड में, यह बस प्रत्येक नोड में होने के लिए आवश्यक न्यूनतम संख्या से मेल खाती है। जितना बड़ा होगा, एल्गोरिथ्म उतना ही अधिक रूढ़िवादी होगा।

मैंने मूल पेपर सहित xgboost पर काफी कुछ चीजें पढ़ी हैं (देखें सूत्र 8 और समीकरण 9 के ठीक बाद वाला), यह प्रश्न और अधिकांश चीजें xgboost के साथ करने के लिए हैं जो एक Google खोज के पहले कुछ पृष्ठों पर दिखाई देती हैं। ;)

मूल रूप से मैं अभी भी खुश नहीं हूं कि हम हेसियन की राशि पर बाधा क्यों डाल रहे हैं? मूल पेपर से मिनट पर मेरा एकमात्र विचार यह है कि यह वेटेड क्वांटाइल स्केच सेक्शन (और समीकरण 3 वेटेड स्क्वेर्ड लॉस के रूप में सुधार) से संबंधित है, जिसमें प्रत्येक उदाहरण के 'वेट' के रूप में ।hi

एक और सवाल यह है कि यह केवल रैखिक प्रतिगमन मोड में उदाहरणों की संख्या क्यों है? मुझे लगता है कि यह वर्गों के समीकरण के योग के दूसरे व्युत्पन्न से संबंधित है?

जवाबों:


42

एक प्रतिगमन के लिए, नोड में प्रत्येक बिंदु का नुकसान होता है

12(yiyi^)2

yi^1

बाइनरी लॉजिस्टिक रिग्रेशन के लिए, नोड में प्रत्येक बिंदु के लिए हेसियन में जैसे शब्द शामिल होने जा रहे हैं

σ(yi^)(1σ(yi^))

σyi^σ(yi^)

वृक्ष की गहराई को नियमित करने और सीमित करने के लिए हेसियन की एक समझदार चीज है। प्रतिगमन के लिए, यह देखना आसान है कि यदि आप हमेशा केवल 1 अवलोकन के साथ नोड्स में विभाजित कर रहे हैं, तो आप ओवरफिट कैसे कर सकते हैं। इसी तरह, वर्गीकरण के लिए, यह देखना आसान है कि यदि आप प्रत्येक नोड शुद्ध होने तक विभाजित करने पर जोर देते हैं तो आप कैसे ओवरफिट कर सकते हैं।


इस उत्तर के लिए धन्यवाद, मैं कम प्रतिष्ठा के कारण आपको उभार नहीं सकता।
maw501

1
हाय @ maw501: कोई समस्या नहीं, मैं कर सकता हूँ। अच्छा जवाब हहदावग!
कैटलीट्स

तो अत्यधिक असंतुलित डेटा के मामले में, min_child_weight के लिए आपकी प्रस्तावित सीमा क्या है?
महदी बागबानजादे

असंतुलित डेटासेट में, क्या min_child_weight के साथ-साथ वजन भी शामिल होना चाहिए? धन्यवाद! @ शहदाग
हानाकेज
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.