लॉजिस्टिक रिग्रेशन में रैंकिंग सुविधाएँ

मैंने लॉजिस्टिक रिग्रेशन का इस्तेमाल किया। मेरे पास छह विशेषताएं हैं, मैं इस क्लासिफायर में महत्वपूर्ण विशेषताओं को जानना चाहता हूं जो अन्य विशेषताओं की तुलना में परिणाम को प्रभावित करते हैं। मैंने जानकारी प्राप्त की, लेकिन ऐसा लगता है कि यह प्रयुक्त क्लासिफ़ायर पर निर्भर नहीं करता है। क्या विशिष्ट वर्गीकरण (जैसे लॉजिस्टिक रिग्रेशन) के आधार पर उनके महत्व के अनुसार सुविधाओं को रैंक करने की कोई विधि है? किसी भी मदद को बहुत सराहा जाएगा।

— BlueGirl
स्रोत

लॉजिस्टिक रिग्रेशन एक क्लासिफायरियर नहीं है। कृपया अपने प्रश्न को फिर से लिखें, यह दर्शाने के लिए कि लॉजिस्टिक रिग्रेशन एक प्रत्यक्ष संभावना आकलन मॉडल है।

— फ्रैंक हरेल

एक तरफ बिंदु FrankHarrell द्वारा उठाए गए, अपने आप को देखो था अपनी अनुमानित गुणांकों के -values? यह निश्चित रूप से रैंकिंग सुविधाओं का सबसे अच्छा तरीका नहीं है, लेकिन यह आपको एक प्रारंभिक बिंदु दे सकता है।

p

$p$

— us --r11852

ज़रूर, लॉजिस्टिक प्रतिगमन संभावनाओं का आकलन कर रहा है और चीजों को स्पष्ट रूप से वर्गीकृत नहीं कर रहा है, लेकिन कौन परवाह करता है? उद्देश्य अक्सर यह तय करने के लिए होता है कि कौन सा वर्ग सबसे अधिक संभावना है, और इसे एक क्लासिफायर कहलाने में कुछ भी गलत नहीं है यदि आप इसका उपयोग कर रहे हैं।

— dsaxton

जवाबों:

मुझे लगता है कि आप जिस उत्तर की तलाश कर रहे हैं वह बोरुटा एल्गोरिथ्म हो सकता है। यह एक आवरण विधि है जो सीधे "सभी प्रासंगिकता" अर्थों में सुविधाओं के महत्व को मापता है और एक आर पैकेज में कार्यान्वित किया जाता है , जो अच्छे प्लॉट का उत्पादन करता है जैसे कि किसी भी सुविधा का महत्व y- अक्ष पर है और इसकी तुलना एक के साथ की जाती है यहाँ नीले रंग में प्लॉट किया गया है। यह ब्लॉग पोस्ट दृष्टिकोण का वर्णन करता है और मैं आपको इसे बहुत स्पष्ट परिचय के रूप में पढ़ने की सलाह दूंगा।

— babelproofreader
स्रोत

अच्छा सुझाव (+1)। मुझे लगता है कि यह इस आवेदन के लिए थोड़ा अधिक है, लेकिन फिर भी अच्छा है। मैं निश्चित रूप से सराहना करता हूं कि यह स्थितियों में अच्छा करेगा । क्या आप किसी भी तुलनात्मक समीक्षा अध्ययन के बारे में जानते हैं जहाँ इसकी तुलना अन्य वर्गीकरण एल्गोरिदम से की गई थी?

p >> n

$p >> n$

— us --r11852

@ us @r11852 नहीं, मैं नहीं। मैं केवल पिछले सप्ताह या तो इस पर खुद आया हूं।

— babelproofreader

हम्मम ... ठीक है, बोरुटा बहुत ही होनहार लगती है लेकिन मैं हमेशा महान नए एल्गोरिदम के बारे में संदेह करता हूं जब तक कि मैं उन्हें अधिक से अधिक अध्ययन के हिस्से के रूप में नहीं देखता और उन मामलों को देखता हूं जहां वे उत्कृष्टता प्राप्त करने में विफल रहते हैं ( कोई मुफ्त लंच प्रमेय नहीं )।

— us --r11852

दिलचस्प विचार लेकिन लॉजिस्टिक प्रतिगमन से संबंधित नहीं है।

— फ्रैंक हैरेल

"बोरुता एक फीचर सिलेक्शन मेथड है, न कि फीचर रैंकिंग मेथड" एफएक्यू ऑन पैकेज होमपेज देखें

— स्टेबिशफिश

$R^2$

लॉजिस्टिक रिग्रेशन मॉडल में फीचर महत्व को रैंक करने के लिए लोकप्रिय दृष्टिकोणों की एक सूची है:

$R^2$
पर्याप्तता: पूर्ण मॉडल लॉग का अनुपात hood संभावना है जो प्रत्येक भविष्यवक्ता द्वारा व्यक्तिगत रूप से समझाया जा सकता है
सहमति: सकारात्मक और नकारात्मक प्रतिक्रिया चर के बीच अंतर करने के लिए एक मॉडल की क्षमता को इंगित करता है। प्रत्येक भविष्यवक्ता के लिए एक अलग मॉडल का निर्माण किया जाता है और महत्व स्कोर अकेले उस भविष्यवक्ता के आधार पर वास्तविक सकारात्मकता की अनुमानित संभावना है।
सूचना मूल्य: सूचना मूल्य एक भविष्यवक्ता से प्राप्त परिणाम के बारे में जानकारी की मात्रा निर्धारित करता है। यह बदले में प्रत्येक भविष्यवक्ता के विश्लेषण पर आधारित है, अन्य भविष्यवक्ताओं को ध्यान में रखे बिना।

संदर्भ:

— संदीप एस संधू
स्रोत

min_{w, b} \sum_{i = 1}^{n} \log (1 + \exp (- y_{i} f_{w, b} (x_{i}))) + λ {‖ w ‖}^{2}

$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$

x_{i}

$x_i$

y_{i}

$y_i$

i

$i$

w

$\mathbf{w}$

b

$b$

f_{w, b} (x_{i})

${{f_{w,b}}({x_i})}$

यह मानते हुए कि आपके सभी को सामान्यीकृत किया जाता है, उदाहरण के लिए के परिमाण के अनुसार , यह देखने में काफी आसान है कि कौन से चर अधिक महत्वपूर्ण हैं: जो अन्य लोगों की तुलना में बड़े हैं या नकारात्मक पक्ष पर? ) दूसरों को छोटा सीएफ। वे नुकसान को सबसे अधिक प्रभावित करते हैं। $\mathbf{x}$ $\mathbf{x}$

आप, चर जो वास्तव में महत्वपूर्ण है और इस प्रक्रिया में कुछ बाहर लात कोई आपत्ति नहीं है कर रहे हैं खोजने के लिए उत्सुक हैं, तो आप कर सकते हैं को नियमित अपने नुकसान समारोह: $\ell_1$

min_{w, b} \sum_{i = 1}^{n} \log (1 + \exp (- y_{i} f_{w, b} (x_{i}))) + λ | w |

$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$

डेरिवेटिव या रेग्यूलर काफी सीधे हैं, इसलिए मैं यहां उनका उल्लेख नहीं करूंगा। नियमितीकरण के इस रूप का उपयोग करना और एक उपयुक्त शून्य / और शून्य नहीं बनने के लिए में कम महत्वपूर्ण तत्वों को लागू करेगा । $\lambda$ $\mathbf{w}$

आशा है कि ये आपकी मदद करेगा। यदि आपके कोई और प्रश्न हों तो पूछें।

— pAt84
स्रोत

LR एक वर्गीकरण योजना नहीं है। उपयोगिता / लागत फ़ंक्शन को परिभाषित करने के बाद वर्गीकरण का कोई भी उपयोग पोस्टस्टिमेशन कदम के रूप में आता है। इसके अलावा, ओपी ने दंडित अधिकतम संभावना अनुमान के बारे में नहीं पूछा। प्रतिगमन में चर के सापेक्ष महत्व के लिए सबूत प्रदान करने के लिए बूटस्ट्रैप का उपयोग करना बहुत आसान है, प्रत्येक भविष्यवक्ता द्वारा प्रदान की गई अनुमानित भविष्यवाणियों की रैंक के लिए विश्वास सीमा प्राप्त करने के लिए। एक उदाहरण प्रतिगमन मॉडलिंग रणनीतियों के अध्याय 4 में दिखाई देता है जिनके ऑनलाइन नोट और आर कोड biostat.mc.vanderbilt.edu/RmS#Materials

— फ्रैंक

प्रो। हैरेल, कृपया। यह स्पष्ट है कि हम इसे दो अलग-अलग पक्षों से ले रहे हैं। आप सांख्यिकीय से और मैं मशीन लर्निंग से हूं। मैं आपका, आपके शोध और आपके करियर का सम्मान करता हूं, लेकिन आप अपना जवाब तैयार करने और ओपी को निर्णय लेने के लिए बहुत स्वतंत्र हैं, जिसे वह अपने प्रश्न का बेहतर उत्तर मानता है। मैं सीखने के लिए उत्सुक हूं, इसलिए कृपया मुझे अपना दृष्टिकोण सिखाएं, लेकिन मुझे अपनी पुस्तक खरीदने के लिए तैयार न करें।

— ptt84

मैं अभी ध्यान देता हूँ कि मशीन रिजनिंग के दशकों पहले 1958 में सांख्यिकीविद् डीआर कॉक्स द्वारा लॉजिस्टिक रिग्रेशन विकसित किया गया था। यह भी ध्यान रखना महत्वपूर्ण है कि "नुकसान समारोह" (बेहतर शायद एक उद्देश्य समारोह कहा जाता है?) जो आपने तैयार किया है, वर्गीकरण के लिए कोई संबंध नहीं है। और क्या आप को पता है कि मेरे व्यापक नोट्स और ऑडियो फाइलें ऑनलाइन उपलब्ध हैं सभी जानकारी के साथ मैंने कुछ भी लागत का उल्लेख किया है?

— फ्रैंक हरेल

मैंने दोनों प्रारंभिक टिप्पणियों को उठाया, क्योंकि दोनों ही मान्य बिंदुओं को बढ़ाते हैं। बाद में मुझे छोटे झगड़े की तरह टिप्पणी की गई ...

— us85r11852

PS यह कहने के लिए अधिक स्पष्ट तरीके की कोशिश कर रहा है कि भविष्यवाणी / अनुमान का अनुकूलन इष्टतम निर्णय की ओर जाता है क्योंकि उपयोगिता फ़ंक्शन को दूसरे चरण में लागू किया जाता है और भविष्यवक्ताओं से असंबंधित होने की अनुमति दी जाती है। अनुकूलन / अनुमान का अनुकूलन वर्गीकरण और इसके विपरीत का अनुकूलन नहीं करता है। हाथ में डेटासेट के अनुरूप एक अजीब उपयोगिता फ़ंक्शन का उपयोग करने के लिए वर्गीकरण मात्रा का अनुकूलन करना और नए डेटासेट पर लागू नहीं हो सकता है। जो लोग वास्तव में वर्गीकरण (अनुशंसित नहीं) का अनुकूलन करना चाहते हैं, वे पूरी तरह से अनुमान / भविष्यवाणी को दरकिनार करने वाली विधि का उपयोग कर सकते हैं।

— फ्रैंक हरेल