लाइट जीबीएम बनाम एक्सजीबोस्ट

Question

मैं समझने की कोशिश कर रहा हूं कि कौन सा बेहतर है (अधिक सटीक, विशेष रूप से वर्गीकरण समस्याओं में)

मैं लाइट जीबीएम और एक्सजीबोस्ट की तुलना करने वाले लेखों की खोज कर रहा हूं लेकिन केवल दो पाए गए:

1. https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 - जो केवल गति के बारे में है लेकिन सटीकता नहीं है।
2. https://github.com/Microsoft/LightGBM/wiki/Experiments - जो लाइट जीबीएम के लेखकों से है और कोई भी आश्चर्य नहीं है कि जीबीजीएमएम वहां जीता है।

मेरे परीक्षणों में मुझे दोनों एल्गोरिदम के लिए बहुत समान एयूसी मिलता है, लेकिन लाइट जीबीएम 2 से 5 गुना तेजी से बनता है।

अगर LGBM इतनी शांत है, तो मैं यहाँ और कागले पर इसके बारे में इतना क्यों नहीं सुनता :)

Comments

धन्यवाद, लेकिन लाइट जीबीएम में आर और पाइथन के लिए पैकेज भी हैं, जिनका उपयोग अधिकांश कगलरों द्वारा किया जाता है। मैं इसे पायथन के साथ उपयोग कर रहा हूं। मेरे डेटा और इंटरनेट शोधों पर LGBM बहुत सटीक लगती है: बहुत तेज़ और कम सटीक नहीं। लेकिन शायद मैं यहाँ कुछ याद कर रहा हूँ अगर यह अभी तक व्यापक रूप से उपयोग नहीं किया गया है :)

— सर्गेई निज़ेव्यासोव

Answer 1

लाइट जीबीएम एक महान कार्यान्वयन है जो एक्सजीबोस्ट के समान है लेकिन कुछ विशिष्ट तरीकों से भिन्न होता है, विशेष रूप से यह कैसे पेड़ बनाता है।

यह कुछ अलग पैरामीटर प्रदान करता है, लेकिन उनमें से अधिकांश अपने XGBoost समकक्षों के समान हैं।

यदि आप एक ही पैरामीटर का उपयोग करते हैं, तो आपको लगभग हमेशा एक बहुत करीबी स्कोर मिलता है। ज्यादातर मामलों में, प्रशिक्षण हालांकि 2-10 गुना तेज होगा।

---

अधिक लोग इसका उपयोग क्यों नहीं करते हैं?

XGBoost लगभग लंबे समय से है और पहले से ही कई मशीनों पर स्थापित है। लाइट जीबीएम नया है और पहले पायथन रैपर नहीं था। वर्तमान संस्करण को स्थापित करना आसान है और यहां कोई बाधा नहीं है।

कागले और इसी तरह की साइटों पर अधिक उन्नत उपयोगकर्ताओं में से कई पहले से ही लाइट जीबीएम का उपयोग करते हैं और प्रत्येक नई प्रतियोगिता के लिए, यह अधिक से अधिक कवरेज प्राप्त करता है। फिर भी, स्टार्टर स्क्रिप्ट अक्सर XGBoost के आसपास आधारित होते हैं क्योंकि लोग अपने पुराने कोड का पुन: उपयोग करते हैं और कुछ मापदंडों को समायोजित करते हैं। मुझे यकीन है कि एक बार कुछ और ट्यूटोरियल और गाइड का उपयोग करने के बाद यह बढ़ जाएगा (अधिकांश गैर-स्किटलाइट कार्ड वर्तमान में XGBoost या तंत्रिका नेटवर्क पर ध्यान केंद्रित करते हैं)।

Comments

धन्यवाद, जो समझ में आता है। हो सकता है कि शीर्ष kagglers के लिए संगणना शक्ति एक बड़ी समस्या नहीं है, और लिपियों को रखना आसान है।

— सेर्गेई निझिवासोव

Answer 2

XGBoost के पास अब वृक्ष विकास के लिए एक हिस्टोग्राम बिनिंग विकल्प है जो एक लाइट जीबीएम उपयोगों के समान है। यह समान स्तर के स्पीडअप और इसी तरह की सटीकता विशेषताओं के बारे में प्रदान करता है, हालांकि एल्गोरिदम अभी भी बिल्कुल समान नहीं हैं।

यहां कुछ भूखंड और टेबल हैं जो दिखाते हैं कि वे एक दूसरे के ऊपर कैसे सही हैं। https://github.com/dmlc/xgboost/issues/1950

निष्पक्ष होने के लिए, लाइट जीबीएम ने अपने स्वयं के प्रदर्शन परीक्षणों का हवाला देते हुए दिखाया कि वे अभी भी XGBoost (हिस्ट) से बाहर निकल रहे हैं, हालांकि किसी भी अधिक परिमाण के आदेश द्वारा नहीं। https://github.com/Microsoft/LightGBM/blob/master/docs/Experiments.rst#comparison-experiment