लॉजिस्टिक रिग्रेशन एक रैखिक क्लासिफायरियर क्यों है?

Question

चूंकि हम इनपुट के रैखिक संयोजन को गैर-रेखीय आउटपुट में बदलने के लिए लॉजिस्टिक फ़ंक्शन का उपयोग कर रहे हैं, इसलिए लॉजिस्टिक रिग्रेशन को रैखिक क्लासिफायरियर कैसे माना जा सकता है?

रेखीय प्रतिगमन छिपी हुई परत के बिना एक तंत्रिका नेटवर्क की तरह है, इसलिए तंत्रिका नेटवर्क को गैर-रैखिक क्लासिफायरियर माना जाता है और लॉजिस्टिक प्रतिगमन रैखिक है?

Comments

"इनपुट के एक रैखिक संयोजन को एक गैर-रैखिक आउटपुट में बदलना" एक रैखिक क्लासिफायर की परिभाषा का एक मूल हिस्सा है । इस सवाल को दूसरे भाग में कम कर देता है, जो यह दर्शाता है कि न्यूरल नेटवर्क्स को आम तौर पर रैखिक क्लासिफायरियर के रूप में व्यक्त नहीं किया जा सकता है।

— whuber

: आप इस तथ्य की व्याख्या कैसे करते हैं कि एक लॉजिस्टिक रिग्रेशन मॉडल एक गैर-रेखीय सीमा का उत्पादन करने के लिए बहुपद भविष्यवक्ता चर (जैसे ) ले सकता है? क्या यह अभी भी एक रैखिक क्लासिफायरफ़ाइल है? $w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@Stack "रैखिक क्लासिफायरियर" की अवधारणा एक रेखीय मॉडल की अवधारणा के साथ उत्पन्न होती है । एक मॉडल में "रेखीयता" कई रूपों पर ले जा सकती है, जैसा कि आँकड़े.स्टैकएक्सचेंज . com / a / 148713 पर वर्णित है । हम स्वीकार करते हैं रैखिक classifiers के विकिपीडिया लक्षण वर्णन है, तो अपने बहुपद उदाहरण के रूप में देखी जा होगा nonlinear दिया "सुविधाओं" के मामले में और लेकिन यह होगा रैखिक सुविधाओं के मामले में और । यह भेद रैखिकता के गुणों के दोहन का एक उपयोगी तरीका प्रदान करता है। x $x_1$$x_2$ x 3 $x_1^2$$x_2^3$

— whuber

मैं अभी भी थोड़ा उलझन में हूं कि सवाल लॉजिस्टिक क्लासिफायरियर लीनियर की निर्णय सीमा है? मैंने कोर्टेरा पर एंड्रयू एनजी मशीन सीखने के पाठ्यक्रम का पालन किया है और उन्होंने निम्नलिखित का उल्लेख किया है: [यहाँ छवि विवरण दर्ज करें ] ( i.stack.imgur.com/gHxfr.png ) इसलिए वास्तव में ऐसा लगता है कि इसका कोई जवाब नहीं है निर्णय सीमा की रैखिकता या गैर-रैखिकता पर निर्भर करता है, जो हेट्टा (एक्स) के रूप में परिभाषित हाइपोथीसिस फ़ंक्शन पर निर्भर करता है जहां एक्स इनपुट है और थीटा हमारी समस्या का चर है। क्या यह आपके लिए समझ में आता है?

— ब्रोकेन्सवर्ड

Answer 1

लॉजिस्टिक रिग्रेशन इस अर्थ में रैखिक है कि भविष्यवाणियों को " रूप में लिखा जा सकता है। इस प्रकार, भविष्यवाणी को संदर्भ में लिखा जा सकता है , जो का रैखिक कार्य है । (अधिक सटीक रूप से, अनुमानित लॉग-ऑड्स का रैखिक कार्य है ।)Μ एक्स

$$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$$ $\hat{\mu}$$x$$x$

इसके विपरीत, रैखिक कार्य के संदर्भ में तंत्रिका नेटवर्क के आउटपुट को संक्षेप में प्रस्तुत करने का कोई तरीका नहीं है , और इसीलिए तंत्रिका नेटवर्क को गैर-रैखिक कहा जाता है।$x$

इसके अलावा, लॉजिस्टिक प्रतिगमन के लिए, निर्णय सीमा रैखिक है: यह का समाधान है । तंत्रिका नेटवर्क की निर्णय सीमा सामान्य रूप से रैखिक नहीं है।θ ⋅ x = $\{x:\hat{p} = 0.5\}$$\hat{\theta} \cdot x = 0$

Comments

आप जवाब देते हैं कि मेरे लिए अब तक का सबसे स्पष्ट और सरल है। लेकिन मैं थोड़ा उलझन में हूं। कुछ लोगों का कहना है कि अनुमानित लॉग-ऑड का एक रैखिक कार्य है और अन्य लोग कहते हैं कि यह एक फ़ंक्शन है । इसलिए?! $x$$\theta$

— जैक ट्वेन

फिर आपके स्पष्टीकरण द्वारा भी। क्या हम कह सकते हैं कि तंत्रिका नेटवर्क का पूर्वानुमान पिछली छिपी परत की सक्रियता का एक रैखिक कार्य है?

— जैक ट्वैन

भविष्यवाणी की गई लॉग-ऑड्स , दोनों और में रैखिक है । लेकिन आमतौर पर हम इस तथ्य में सबसे अधिक रुचि रखते हैं कि लॉग-ऑड में रैखिक है , क्योंकि इसका मतलब है कि निर्णय सीमा अंतरिक्ष में रैखिक है। θ एक्सएक्स$\hat{\theta} \cdot x$$\hat{\theta}$$x$$x$$x$

— स्टीफन दांव

मैं परिभाषा का उपयोग कर रहा हूं कि एक क्लासिफायरियर रैखिक है यदि इसकी निर्णय सीमा स्थान में रैखिक है। यह में रैखिक होने की अनुमानित संभावनाओं के समान नहीं है (जो कि तुच्छ मामलों से अलग असंभव होगा, क्योंकि संभाव्यता को 0 और 1 के बीच झूठ होना चाहिए)। $x$$x$

— स्टेफन दांव

@Pegah मुझे पता है कि यह पुराना है, लेकिन: लॉजिस्टिक रिग्रेशन में एक रैखिक निर्णय सीमा होती है। Ouptut स्वयं रैखिक नहीं है, इसकी उपस्कर। लाइन के किस तरफ एक बिंदु गिरता है इसके आधार पर, कुल आउटपुट क्रमशः (लेकिन कभी नहीं पहुंचेगा) 0 या 1 तक पहुंच जाएगा। और स्टीफन वैग्नर्स के जवाब में जोड़ने के लिए: अंतिम वाक्य पूरी तरह से सही नहीं है, एक तंत्रिका नेटवर्क गैर-रैखिक है जब इसमें गैर-रैखिक सक्रियण या ouput फ़ंक्शन होते हैं। लेकिन यह रैखिक भी हो सकता है (यदि कोई गैर-रेखीय जोड़ा नहीं गया था)।

— क्रिस

Answer 2

जैसा कि स्टीफन वैगनर नोट करते हैं, लॉजिस्टिक क्लासिफायर के लिए निर्णय सीमा रैखिक है। (क्लासिफायर को इनपुट को रैखिक रूप से अलग करने की आवश्यकता होती है।) मैं इस बात के लिए गणित पर विस्तार करना चाहता था कि यह स्पष्ट नहीं है।

निर्णय सीमा x का समुच्चय है जैसे

$${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$$

बीजगणित का थोड़ा सा पता चलता है कि यह

$${1 = e^{-{\theta \cdot x}}}$$

और, दोनों पक्षों के प्राकृतिक लॉग को लेते हुए,

$$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$$

इसलिए निर्णय सीमा रैखिक है।

एक तंत्रिका नेटवर्क के लिए निर्णय सीमा रैखिक नहीं है, क्योंकि तंत्रिका नेटवर्क में सिग्मॉइड फ़ंक्शन की दो परतें हैं : प्रत्येक आउटपुट नोड्स में से एक और प्रत्येक आउटपुट नोड के परिणामों को संयोजित और दहलीज करने के लिए एक अतिरिक्त सिग्मॉइड फ़ंक्शन है।

Comments

वास्तव में, आप केवल सक्रियण वाली एक परत के साथ एक गैर-रैखिक निर्णय सीमा प्राप्त कर सकते हैं। 2-लेयर फीड-फॉरवर्ड नेटवर्क वाले XOR का मानक उदाहरण देखें।

— जेम्स हिर्सचोर्न

Answer 3

हमारे पास दो वर्ग हैं, और , तब हम सशर्त संभाव्यता को व्यक्त कर सकते हैं, प्रमेय, हर रूप में व्यक्त किया जाता है ।$C_{0}$$C_{1}$

$$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$$ $$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$$ $1+e^{\omega x}$

किन शर्तों के तहत एक लीनियर टर्म के लिए पहला एक्सप्रेशन कम होता है। यदि आप घातीय परिवार (गौ या पोइसोन जैसे घातीय वितरण के लिए एक विहित रूप) पर विचार करते हैं, तो आप एक रैखिक रूप से समाप्त होते हैं,

$$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$$ $$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$$

ध्यान दें कि हम मानते हैं कि दोनों वितरण एक ही परिवार के हैं और एक ही फैलाव पैरामीटर हैं। लेकिन, उस धारणा के तहत, लॉजिस्टिक प्रतिगमन घातांक वितरण के पूरे परिवार के लिए संभावनाओं को मॉडल कर सकता है।