SVM से अलग, एल्गोरिदम को फीचर स्केलिंग की क्या आवश्यकता है?

17

मैं कई एल्गोरिदम के साथ काम कर रहा हूं: रैंडमफॉरस्ट, डिसिजनट्रीज, नाइवेबेज, एसवीएम (कर्नेल = लीनियर और आरबीएफ), केएनएन, एलडीए और एक्सजीबोस्ट। एसवीएम को छोड़कर सभी बहुत तेज थे। यही कारण है कि जब मुझे पता चला कि इसे तेजी से काम करने के लिए फीचर स्केलिंग की जरूरत है। तब मुझे आश्चर्य हुआ कि क्या मुझे अन्य एल्गोरिदम के लिए भी ऐसा ही करना चाहिए।

— Aizzaac
स्रोत

संबंधित: कैसे और क्यों सामान्यीकरण और सुविधा स्केलिंग काम करते हैं?

— फ्रेंक डेर्नोनकोर्ट

इसके अलावा: एक मॉडल बनाने से पहले चर को अक्सर समायोजित किया जाता है (जैसे मानकीकृत) - यह एक अच्छा विचार कब है, और यह एक बुरा कब है?

— फ्रेंक डर्ननकोर्ट

21

सामान्य तौर पर, डेटा के नमूने, जैसे कि के-एनएन और एसवीएम के बीच दूरी या समानता (जैसे स्केलर उत्पाद के रूप में) का उपयोग करने वाले एल्गोरिदम सुविधा परिवर्तनों के प्रति संवेदनशील होते हैं।

ग्राफिकल-मॉडल पर आधारित क्लासिफायर, जैसे फिशर LDA या Naive Bayes, साथ ही डिसीजन ट्री और ट्री-बेस्ड एसेम्बल मेथड्स (RF, XGB) स्केलिंग को फीचर करने के लिए अट्रैक्टिव हैं, लेकिन फिर भी यह आपके डेटा को रिस्केल / कलेक्ट करने के लिए एक अच्छा आइडिया हो सकता है। ।

— Yell
स्रोत

3

+1। बस ध्यान दें कि XGBoost वास्तव में रेखीय बूस्टिंग के आधार पर एक दूसरे एल्गोरिथ्म को भी लागू करता है। स्केलिंग से वहां फर्क पड़ेगा।

— us --r11852

2

क्या आप RF और XGB के लिए डेटा के आकार बदलने / स्थायी करने के बारे में अधिक जानकारी प्राप्त कर सकते हैं? मैं यह नहीं देखता कि यह मॉडल की गुणवत्ता को कैसे प्रभावित कर सकता है।

— टोमेक टारसिनेस्की

17

यहाँ एक सूची है जो मुझे http://www.dataschool.io/comparing-supervised-learning-algorithms/ पर मिली है, जो दर्शाता है कि किस वर्ग को फ़ीचर स्केलिंग की आवश्यकता है :

पूर्ण तालिका:

में k-साधन क्लस्टरिंग आप भी अपने इनपुट को सामान्य बनाने की जरूरत है ।

यह विचार करने के अलावा कि क्या क्लासिफायर ने येल बॉन्ड के रूप में दूरी या समानता का शोषण किया है, स्टोचैस्टिक ग्रेडिएंट डिसेंट स्केलिंग फीचर के प्रति संवेदनशील है (चूंकि स्टोचैस्टिक ग्रेडिएंट डिसेंट के अपडेट समीकरण में सीखने की दर हर पैरामीटर {1} के लिए समान है):

संदर्भ:

{१} एलकान, चार्ल्स। "लॉग-लीनियर मॉडल और सशर्त यादृच्छिक क्षेत्र।" CIKM 8 (2008) पर ट्यूटोरियल नोट्स। https://scholar.google.com/scholar?cluster=5802800304608191219&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/b971/0868004ec688c4ca87aa1fec7ffb7a2d01d8.pdf

— फ्रेंक डर्नोनकोर्ट
स्रोत

इस जवाब से क्या कमी है, इसका कुछ पता क्यों है !! उसके लिए मेरा जवाब देखें।

— kjetil b halvorsen

2

@kjetilbhalvorsen अच्छी तरह से मैं k- साधन और SGD के लिए समझाया, लेकिन कई अन्य एल्गोरिदम और मॉडल हैं। स्टैक एक्सचेंज पर 30k-char सीमा है :)

— फ्रेंक डर्नोनकोर्ट

कुछ हद तक संबंधित: आंकड़े.स्टैकएक्सचेंज.com

— kjetil b halvorsen

@FranckDernoncourt क्या मैं आपसे इस पर प्रश्न पूछ सकता हूं? मेरे पास स्पष्ट और निरंतर डेटा दोनों का डेटासेट है, जिसके लिए मैं एक एसवीएम बना रहा हूं। निरंतर डेटा अत्यधिक तिरछा (लंबी पूंछ) है। निरंतर परिवर्तन के लिए मुझे ए log transformation / Box-Coxऔर फिर भी करना चाहिए normalise the resultant data to get limits between 0 and 1? इसलिए मैं लॉग मानों को सामान्य करूंगा। फिर निरंतर और श्रेणीबद्ध (0-1) डेटा पर एसवीएम की गणना एक साथ करें? किसी भी मदद के लिए चीयर्स आप प्रदान कर सकते हैं।

— चक

7

Y_{i} = β_{0} + β_{1} x_{i} + β_{2} z_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \epsilon_i$

i = 1, \dots, n

$i=1, \dots, n$

x_{i}^{*} = (x_{i} - \bar{x}) / sd (x) z_{i}^{*} = (z_{i} - \bar{z}) / sd (z)

$x_i^* = (x_i - \bar{x})/\text{sd}(x) \\ z_i^* = (z_i - \bar{z})/\text{sd}(z)$

Y_{i} = β_{0}^{*} + β_{1}^{*} x_{i}^{*} + β_{2}^{*} z_{i}^{*} + ϵ_{i}

$Y_i = \beta_0^* + \beta_1^* x_i^* + \beta_2^* z_i^* + \epsilon_i$

β_{1, 2}^{*}

$\beta_{1,2}^*$

{\hat{β}}_{1, 2}

$\hat{\beta}_{1,2}$

β_{0} = β_{0}^{*} - \frac{β_{1}^{*} \bar{x}}{sd(x)} - \frac{β_{2}^{*} \bar{z}}{sd(z)}, β_{1} = \frac{β_{1}^{*}}{sd(x)}, β_{2} = \frac{β_{2}^{*}}{sd(z)}

$\beta_0=\beta_0^* - \frac{\beta_1^* \bar{x}}{\text{sd(x)}} -\frac{\beta_2^*\bar{z}}{\text{sd(z)}},\quad \beta_1 =\frac{\beta_1^*}{\text{sd(x)}},\quad \beta_2=\frac{\beta_2^*}{\text{sd(z)}}$

और रैखिक प्रतिगमन के मामले के लिए यह चर्चा आपको बताती है कि आपको अन्य मामलों में क्या देखना चाहिए: क्या इसमें कोई अंतर है, या यह नहीं है? आम तौर पर, जो विधियां भविष्यवक्ताओं के बीच दूरी के उपायों पर निर्भर करती हैं, वे आक्रामक नहीं दिखेंगी , इसलिए मानकीकरण महत्वपूर्ण है। एक और उदाहरण क्लस्टरिंग होगा।

— kjetil b halvorsen
स्रोत

1

क्या आप स्पष्ट रूप से दिखा सकते हैं कि आपके द्वारा लागू किए गए स्केलिंग के इस विशेष उदाहरण में एक दूसरे से बेटों के एक सेट की गणना कैसे करता है?

— मैथ्यूज 24

@kjetil क्या मैं आपसे इस पर प्रश्न पूछ सकता हूं? मेरे पास स्पष्ट और निरंतर डेटा दोनों का डेटासेट है, जिसके लिए मैं एक एसवीएम बना रहा हूं। निरंतर डेटा अत्यधिक तिरछा (लंबी पूंछ) है। निरंतर परिवर्तन के लिए मुझे एक लॉग ट्रांसफॉर्मेशन / बॉक्स-कॉक्स करना चाहिए और फिर परिणामी डेटा को 0 और 1 के बीच सीमा प्राप्त करने के लिए सामान्य करना चाहिए? इसलिए मैं लॉग मानों को सामान्य करूंगा। फिर निरंतर और श्रेणीबद्ध (0-1) डेटा पर एसवीएम की गणना एक साथ करें? किसी भी मदद के लिए चीयर्स आप प्रदान कर सकते हैं

— चक

1

क्या आप इसे एक नए प्रश्न के रूप में जोड़ सकते हैं? यहाँ संदर्भ के साथ!

— kjetil b halvorsen