boosting पर टैग किए गए जवाब

इन 3 तरीकों में क्या समानताएं और अंतर हैं: जीतना, बढ़ाने, स्टैकिंग? सबसे अच्छा कौन सा है? और क्यों? क्या आप मुझे प्रत्येक के लिए एक उदाहरण दे सकते हैं?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

फ्रेडमैन द्वारा प्रस्तावित ग्रेडिएंट ट्री बूस्ट बेस शिक्षार्थियों के रूप में निर्णय पेड़ों का उपयोग करता है। मैं सोच रहा हूं कि क्या हमें आधार निर्णय पेड़ को यथासंभव जटिल (पूरी तरह से विकसित) या सरल बनाना चाहिए? क्या पसंद का कोई स्पष्टीकरण है? बेस फ़ॉरेस्ट के रूप में निर्णय …

110 machine-learning  random-forest  cart  boosting  ensemble 

मेरे पास एक वर्ग असंतुलित डेटा है और मैं xgboost का उपयोग करके बढ़े हुए ट्रेस के हाइपरपैरामीटर को ट्यून करना चाहता हूं। प्रशन क्या xgboost के लिए gridsearchcv या randomsearchcv के बराबर है? यदि नहीं, तो xgboost के मापदंडों को ट्यून करने के लिए अनुशंसित दृष्टिकोण क्या है?

68 machine-learning  cross-validation  xgboost  boosting 

बढ़ाने की संक्षिप्त परिभाषा : क्या कमजोर शिक्षार्थियों का एक समूह एक मजबूत शिक्षार्थी बना सकता है? एक कमजोर शिक्षार्थी को एक क्लासिफायरियर के रूप में परिभाषित किया जाता है जो केवल सच्चे वर्गीकरण से थोड़ा संबंधित है (यह यादृच्छिक अनुमान से बेहतर उदाहरणों को लेबल कर सकता है)। यादृच्छिक …

51 machine-learning  random-forest  boosting  bagging 

मैं GBM और Adaboost के बीच के अंतरों को समझने की कोशिश कर रहा हूँ। ये वही हैं जिन्हें मैंने अब तक समझा है: दोनों बूस्टिंग एल्गोरिदम हैं, जो पिछले मॉडल की त्रुटियों से सीखते हैं और अंत में मॉडल का भारित योग बनाते हैं। GBM और Adaboost अपने नुकसान …

48 boosting  gbm  adaboost 

ग्रैडिएंट बूस्टिंग के बारे में सीखते हुए, मैंने किसी "कमजोर क्लासिफायरियर" के गुणों के बारे में किसी भी बाधा के बारे में नहीं सुना है जो कि मॉडल का निर्माण करने और कलाकारों की टुकड़ी का उपयोग करता है। हालांकि, मैं एक जीबी के आवेदन की कल्पना नहीं कर सकता …

35 regression  machine-learning  boosting  ensemble  gradient 

मैं एक लंबे समय से कागल प्रतियोगिताओं का पालन कर रहा हूं और मुझे पता चला है कि कई जीतने वाली रणनीतियों में कम से कम एक "बिग थ्रीज" का उपयोग करना शामिल है: बैगिंग, बूस्टिंग और स्टैकिंग। प्रतिगमन के लिए, एक सर्वोत्तम संभव प्रतिगमन मॉडल बनाने पर ध्यान केंद्रित …

33 predictive-models  boosting  bagging  stacking  model-averaging 

मॉडल के GBDT परिवार के कई कार्यान्वयन मौजूद हैं जैसे: जीबीएम XGBoost LightGBM Catboost। इन विभिन्न कार्यान्वयनों के बीच गणितीय अंतर क्या हैं ? कैटबॉस्ट इस बेंच मार्क के अनुसार केवल अपने डिफ़ॉल्ट मापदंडों का उपयोग करके अन्य कार्यान्वयन को बेहतर बनाने के लिए लगता है , लेकिन यह अभी …

33 boosting  xgboost 

मैं इस बात की व्याख्या कर रहा हूं कि कैसे ग्रेडिएंट बूस्टेड पेड़ों में सापेक्ष परिवर्तनीय महत्व की गणना की जाती है जो सामान्य रूप से सामान्य / सरल नहीं है: उपायों को विभाजित करने के लिए चर का चयन करने की संख्या के आधार पर किया जाता है, प्रत्येक …

33 machine-learning  data-mining  predictive-models  cart  boosting 

GBM का उपयोग करके परीक्षण मापदंडों (यानी इंटरैक्शन डेप्थ, माइनचाइल्ड, सैंपल रेट आदि) के लिए कुछ उपयोगी दिशानिर्देश क्या हैं? मान लें कि मेरे पास 70-100 सुविधाएँ हैं, 200,000 की आबादी है और मैं 3 और 4 की बातचीत की गहराई का परीक्षण करने का इरादा रखता हूं। स्पष्ट रूप …

31 r  hypothesis-testing  cart  boosting 

R में gbm में इंटरेक्शन डेप्थ पैरामीटर पर मेरा एक सवाल था। यह एक नॉब सवाल हो सकता है, जिसके लिए मैं माफी माँगता हूँ, लेकिन पैरामीटर, जो मैं मानता हूं कि एक पेड़ में टर्मिनल नोड्स की संख्या को दर्शाता है, मूल रूप से एक्स-वे का संकेत देता है। …

30 r  machine-learning  boosting  gbm 

उदाहरण के लिए, पर XGBoost मॉडल का उद्देश्य समारोह ले 'वें यात्रा:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) जहां नुकसान समारोह है, है 'वें पेड़ उत्पादन और नियमितीकरण है। तेजी से गणना के लिए (कई) महत्वपूर्ण चरणों में से एक है:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), जहां gigig_i और hihih_i नुकसान फ़ंक्शन के पहले और दूसरे डेरिवेटिव हैं। …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

इसी तरह का सवाल आँकड़े पर भी देखें । में बढ़ाने जैसे एल्गोरिदम AdaBoost और LPBoost यह ज्ञात है कि "कमज़ोर" शिक्षार्थियों केवल, उपयोगी होने के लिए विकिपीडिया से मौका तुलना में बेहतर प्रदर्शन करने के लिए है जोड़ा जा करने के लिए: इसका उपयोग करने वाले क्लासीफायर कमजोर हो …

28 machine-learning  theory  boosting 

बूस्टिंग को समझने का सबसे आसान तरीका क्या है? यह बहुत कमज़ोर क्लासिफ़ायर "अनन्तता" (पूर्णता) को बढ़ावा क्यों नहीं देता है?

23 machine-learning  boosting 

मैं कलाकारों की टुकड़ी सीखने (जैसे बूस्टिंग) में कमजोर शिक्षार्थियों के बारे में कई बारीकी से संबंधित प्रश्न करता हूं। यह गूंगा लग सकता है, लेकिन मजबूत शिक्षार्थियों के विपरीत कमजोर का उपयोग करने के क्या लाभ हैं? (उदाहरण के लिए "मजबूत" सीखने के तरीकों को बढ़ावा क्यों नहीं दिया …

22 machine-learning  boosting  ensemble