xgboost पर टैग किए गए जवाब

मेरे पास एक वर्ग असंतुलित डेटा है और मैं xgboost का उपयोग करके बढ़े हुए ट्रेस के हाइपरपैरामीटर को ट्यून करना चाहता हूं। प्रशन क्या xgboost के लिए gridsearchcv या randomsearchcv के बराबर है? यदि नहीं, तो xgboost के मापदंडों को ट्यून करने के लिए अनुशंसित दृष्टिकोण क्या है?

68 machine-learning  cross-validation  xgboost  boosting 

मॉडल के GBDT परिवार के कई कार्यान्वयन मौजूद हैं जैसे: जीबीएम XGBoost LightGBM Catboost। इन विभिन्न कार्यान्वयनों के बीच गणितीय अंतर क्या हैं ? कैटबॉस्ट इस बेंच मार्क के अनुसार केवल अपने डिफ़ॉल्ट मापदंडों का उपयोग करके अन्य कार्यान्वयन को बेहतर बनाने के लिए लगता है , लेकिन यह अभी …

33 boosting  xgboost 

उदाहरण के लिए, पर XGBoost मॉडल का उद्देश्य समारोह ले 'वें यात्रा:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) जहां नुकसान समारोह है, है 'वें पेड़ उत्पादन और नियमितीकरण है। तेजी से गणना के लिए (कई) महत्वपूर्ण चरणों में से एक है:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), जहां gigig_i और hihih_i नुकसान फ़ंक्शन के पहले और दूसरे डेरिवेटिव हैं। …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

मेरे पास बहुत असंतुलित डेटासेट है। मैं ट्यूनिंग सलाह का पालन करने और उपयोग करने की कोशिश कर रहा हूं scale_pos_weightलेकिन यह सुनिश्चित नहीं है कि मुझे इसे कैसे ट्यून करना चाहिए। मैं देख सकता हूँ कि RegLossObj.GetGradientकरता है: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight इसलिए एक सकारात्मक नमूने …

26 unbalanced-classes  xgboost 

Xgboost में min_child_weight पैरामीटर की परिभाषा इस प्रकार दी गई है: एक बच्चे में आवश्यक वजन का न्यूनतम योग (हेसियन)। यदि वृक्ष विभाजन चरण लीफ नोड में एक परिणाम के साथ होता है, उदाहरण के लिए न्यूनतम वजन min_child_weight से कम होता है, तो निर्माण प्रक्रिया आगे विभाजन को छोड़ …

23 machine-learning  xgboost  hessian 

मैं समझने की कोशिश कर रहा हूं कि XGBoost कैसे काम करता है। मैं पहले से ही समझता हूं कि पाइथन स्केलेर पर पेड़ कैसे तेजी से काम करते हैं। मेरे लिए जो स्पष्ट नहीं है वह यह है कि अगर XGBoost उसी तरह काम करता है, लेकिन तेजी से, …

20 scikit-learn  boosting  gbm  xgboost 

मैं कई एल्गोरिदम के साथ काम कर रहा हूं: रैंडमफॉरस्ट, डिसिजनट्रीज, नाइवेबेज, एसवीएम (कर्नेल = लीनियर और आरबीएफ), केएनएन, एलडीए और एक्सजीबोस्ट। एसवीएम को छोड़कर सभी बहुत तेज थे। यही कारण है कि जब मुझे पता चला कि इसे तेजी से काम करने के लिए फीचर स्केलिंग की जरूरत है। …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

कई ब्लॉग पोस्ट, यूट्यूब वीडियो, आदि के विचारों के बारे में कर रहे हैं जीत या बढ़ाने के पेड़। मेरी सामान्य समझ यह है कि प्रत्येक के लिए छद्म कोड है: जीतना: नमूने के x% और सुविधाओं के y% के N यादृच्छिक नमूने लें अपने मॉडल (जैसे, निर्णय पेड़) को …

17 cart  boosting  xgboost  bagging 

मान लें कि हमारे पास ज्यादातर वर्गीकरण विशेषताओं के साथ एक द्विआधारी वर्गीकरण समस्या है। हम इसे सीखने के लिए कुछ गैर-रैखिक मॉडल (जैसे XGBoost या रैंडम फ़ॉरेस्ट) का उपयोग करते हैं। क्या बहु-संप्रभुता के बारे में अभी भी चिंतित होना चाहिए? क्यों? यदि उपरोक्त उत्तर सही है, तो किसी …

13 classification  random-forest  multicollinearity  xgboost 

हाल ही में मैंने XGBoost एल्गोरिदम की समीक्षा की है और मैंने देखा है कि यह एल्गोरिथ्म प्रशिक्षण चरण में लापता डेटा (बिना आवेग के) को संभाल सकता है। मैं सोच रहा था कि क्या XGboost लापता डेटा (बिना आवेग के) को संभाल सकता है जब इसका उपयोग नई टिप्पणियों …

12 machine-learning  missing-data  data-imputation  xgboost 

मुझे पता है कि XGBoost में रैखिक उद्देश्य फ़ंक्शन और रैखिक बूस्ट को कैसे लागू किया जाए। मेरा ठोस सवाल यह है: जब एल्गोरिथ्म यह अवशिष्ट (या नकारात्मक ढाल) फिट बैठता है तो क्या यह प्रत्येक चरण में एक विशेषता का उपयोग कर रहा है (यानी एकतरफा मॉडल) या सभी …

9 regression  machine-learning  boosting  xgboost