लॉजिस्टिक प्रतिगमन में चर का महत्व

Question

मैं शायद एक ऐसी समस्या से निपट रहा हूं जो शायद पहले सौ बार हल हो गई है, लेकिन मुझे यकीन नहीं है कि उत्तर कहां मिलेगा।

रसद प्रतिगमन का उपयोग करते समय, यह देखते हुए कई सुविधाओं और बाइनरी श्रेणीबद्ध मूल्य y की भविष्यवाणी करने की कोशिश कर रहा है, मैं उन विशेषताओं के सबसेट का चयन करने में दिलचस्पी रखता हूं जो वाई अच्छी तरह से भविष्यवाणी करता है ।$x_1,...,x_n$$y$$y$

क्या लसो के समान एक प्रक्रिया है जिसका उपयोग किया जा सकता है? (मैंने केवल लेज़रों को रैखिक प्रतिगमन के लिए इस्तेमाल किया है।)

क्या अलग-अलग विशेषताओं के महत्व के संकेतित मॉडल के गुणांक को देख रहा है?

संपादित करें - कुछ उत्तरों को देखने के बाद स्पष्टीकरण:

1. जब मैं फिट किए गए गुणांक के परिमाण का उल्लेख करता हूं, तो मेरा मतलब उन लोगों से है जो सामान्यीकृत (मतलब 0 और विचरण 1) सुविधाओं से लैस हैं। अन्यथा, जैसा कि @probabilityislogic ने बताया है, 1000x x से कम महत्वपूर्ण दिखाई देगा।

2. मैं केवल सबसे अच्छा k- सबसेट (@ डेविड की पेशकश कर रहा था) खोजने में दिलचस्पी नहीं रखता, बल्कि एक दूसरे के सापेक्ष विभिन्न विशेषताओं के महत्व को मापता हूं। उदाहरण के लिए, एक विशेषता "आयु" और दूसरी विशेषता "आयु> 30" हो सकती है। उनका वृद्धिशील महत्व थोड़ा हो सकता है, लेकिन दोनों महत्वपूर्ण हो सकते हैं।

Answer 1

DWin की प्रतिक्रिया जवाब देती है लेकिन थोड़ी अंतर्दृष्टि है, इसलिए मैंने सोचा कि यह कुछ स्पष्टीकरण प्रदान करने के लिए उपयोगी हो सकता है।

यदि आपके पास दो कक्षाएं हैं तो आप मूल रूप से का अनुमान लगाने की कोशिश कर रहे हैं । यह आप सभी की जरूरत है और रसद प्रतिगमन मॉडल मानता है कि:$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

मुझे क्या लगता है कि आप फीचर के महत्व से मतलब है कि यह कैसे p या दूसरे शब्दों में ∂ p को प्रभावित करता है$j$$p$ ।$\frac{\partial p}{\partial x_{ij}}$

एक छोटे से परिवर्तन के बाद आप इसे देख सकते हैं

।$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$

एक बार जब आप अपने व्युत्पन्न की गणना करते हैं तो आप देखेंगे

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

यह स्पष्ट रूप से अन्य सभी चर के मूल्य पर निर्भर करता है। हालाँकि, आप देख सकते हैं कि गुणांक के SIGN को जिस तरह से आप चाहते हैं, उसकी व्याख्या की जा सकती है: यदि यह नकारात्मक है तो यह सुविधा संभावना p को कम कर देती है।

$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$

जैसा कि आप देख सकते हैं यह आपके गुणांक के संकेत को बदल सकता है ताकि व्याख्या भी अलग हो जाए।

Comments

eq1 के हर में टाइपो?

— फर्नांडो

Answer 2

आपके अंतिम प्रश्न का उत्तर सपाट NO है। गुणांक के परिमाण किसी भी तरह से महत्व का एक उपाय नहीं हैं। लास्यो का उपयोग लॉजिस्टिक रिग्रेशन के लिए किया जा सकता है। आपको इस क्षेत्र में और अधिक अध्ययन करने की आवश्यकता है। जिन तरीकों का आपको अध्ययन करने की आवश्यकता है, वे "दंडित" तरीके शामिल हैं। यदि आप "छायांकित" भविष्यवक्ताओं को उजागर करने वाले तरीकों का पता लगा रहे हैं, तो एक शब्द जिसे कहीं परिभाषित किया जा सकता है लेकिन सामान्य उपयोग में नहीं है, तो आपको उन तरीकों की तलाश करनी होगी जो भविष्यवक्ता के स्थान और बातचीत के भीतर परस्पर क्रिया और गैर-रेखीय संरचना का निरीक्षण करते हैं परिणाम उस स्थान से जुड़ाव। फ्रैंक हैरेल के पाठ "रिग्रेशन मॉडलिंग स्ट्रैटेजीज़" में इन मुद्दों और तरीकों की काफी चर्चा है।

पिछड़े चयन की रणनीति वैध परिणाम देने में विफल रहेगी (हालांकि यह परिणाम वितरित करता है)। यदि आप 100 घटनाओं के लिए 20 यादृच्छिक भविष्यवाणियों के एक मामले को देखते हैं, तो आप संभवतः 2 या 3 पाएंगे जो एक पिछड़े चयन प्रक्रिया के साथ चुने जाएंगे। वास्तविक दुनिया में पिछड़े चयन की व्यापकता सावधानीपूर्वक सांख्यिकीय सोच को नहीं दर्शाती है, बल्कि एसएएस और एसपीएसएस में इसकी आसान उपलब्धता और उन उत्पादों के उपयोगकर्ता आधार के परिष्कार की कमी को दर्शाती है। आर उपयोगकर्ता आधार में ऐसे तरीकों और उपयोगकर्ताओं तक पहुंचने में कठिन समय होता है जो डाक सूचियों और एसओ पर अनुरोध पोस्ट करते हैं और वे आम तौर पर पिछड़े (या आगे) चयन विधियों के साथ शामिल समस्याओं की सलाह देते हैं।

Comments

मुझे पता है कि मुझे करना चाहिए - मुझे कुछ पॉइंटर्स की सराहना करनी चाहिए जहां से शुरू करना है।

— गाय अदिनी

$x_{n+1}=1000x_{1}$$x_{n+1}$$1000$$x_{1}$

कृपया मेरी टिप्पणियाँ ऊपर देखें (सामान्यीकृत सुविधाओं का उपयोग करके)। धन्यवाद।

— गाइ अदिनी

धन्यवाद। मुझे इस पर गौर करना होगा। क्या आप कुछ सामान्य एल्गोरिदम का उपयोग कर सकते हैं जो कि "भविष्यवक्ता स्थान के भीतर बातचीत और गैर-रेखीय संरचना के निरीक्षण" में उपयोग किए जाते हैं, या क्या यह बहुत ही मामला-दर-मामला है?

— गाइ अदिनी

आप गैर-रैखिकता की खोज करने के लिए प्रतिगमन विभाजन का उपयोग कर सकते हैं और वर्तनी की शर्तों को "पार" किया जा सकता है, जो उन प्रभावों की पहचान करने की अनुमति देता है जो 2 डी भविष्यवाणी स्थान के एक क्षेत्र तक सीमित हैं। आप स्थानीय प्रतिगमन विधियों का उपयोग भी कर सकते हैं। आर में सबसे अधिक इस्तेमाल किया जाने वाला स्थानीय प्रतिगमन विधि संभवतः 'एमजीसीवी' पैकेज है, लेकिन पुराने 'लोफिट' पैकेज अभी भी उपलब्ध है।

— डीडिन

Answer 3

अंग्रेजी मेरी मूल भाषा नहीं है इसलिए मुझे समझ में नहीं आया कि आपकी समस्या क्या है, लेकिन यदि आपको सबसे अच्छा मॉडल ढूंढने की आवश्यकता है तो आप सभी कोवरिएट्स के साथ एक मॉडल के साथ शुरू करके एक बैकवर्ड प्रक्रिया (और अंत में अंतराल जोड़कर) का उपयोग कर सकते हैं। तब आप दोनों अवशिष्टों_vs_predicted मूल्यों और qq- प्लॉट ग्राफ़ को यह देखने के लिए देख सकते हैं कि मॉडल आपकी घटना का वर्णन कर रहा है या नहीं

Comments

धन्यवाद! मुझे लगता है कि आप जो सुझाव दे रहे हैं वह आकस्मिक रूप से सबसे सहसंबद्ध विशेषता है। यह समझ में आता है, लेकिन मुझे यह समझने में मदद नहीं करता है कि फीचर बी की तुलना में "ए" कितना महत्वपूर्ण है। उदाहरण के लिए, मान लें कि मेरे पास एक फीचर x है, और दूसरा फीचर x + <छोटा शोर> है। फिर दोनों वास्तव में उपयोगी विशेषताएं हैं, लेकिन एक दूसरे से छाया हुआ है। मैं एक ऐसी विधि चाहता हूं जो महत्वपूर्ण होने के लिए x + <शोर भी दिखाए।

— गाइ अदिनी

नहीं, एक पिछड़ी हुई प्रक्रिया सभी सहसंयोजकों के साथ एक मॉडल के साथ शुरू होती है और फिर एक सहसंयोजक (जिसका गुणांक महत्वपूर्ण नहीं है) को चरण दर चरण हटा देती है (जब तक कि आपके पास केवल महत्वपूर्ण गुणांक वाले मॉडल नहीं हैं, आमतौर पर)। मुझे लगता है कि एक ही लक्ष्य को प्राप्त करने के लिए और अधिक परिष्कृत तरीके हैं, लेकिन मैं सिर्फ एक स्नातक छात्र हूं!

— दाविद