लॉजिस्टिक रिग्रेशन कैसे घटता है जो पारंपरिक कार्य नहीं हैं?

Question

मुझे लगता है कि मुझे इस बारे में कुछ मूलभूत भ्रम है कि लॉजिस्टिक रिग्रेशन में कैसे कार्य होते हैं (या शायद पूरी तरह से कार्य करता है)।

यह कैसे होता है कि फ़ंक्शन h (x) छवि के बाईं ओर देखे गए वक्र का उत्पादन करता है?

मैं देखता हूं कि यह दो चर का एक भूखंड है, लेकिन फिर ये दो चर (X1 और x2) भी फ़ंक्शन के तर्क हैं। मैं एक आउटपुट के लिए एक चर नक्शे के मानक कार्यों को जानता हूं, लेकिन यह फ़ंक्शन स्पष्ट रूप से ऐसा नहीं कर रहा है - और मुझे पूरी तरह से यकीन नहीं है कि क्यों।

मेरा अंतर्ज्ञान यह है कि नीले / गुलाबी वक्र को वास्तव में इस ग्राफ पर प्लॉट नहीं किया गया है, बल्कि एक प्रतिनिधित्व (सर्कल और एक्स) है जो ग्राफ़ के अगले आयाम (3 जी) में मूल्यों के लिए मैप किया जाता है। क्या यह तर्क दोषपूर्ण है और क्या मैं सिर्फ कुछ याद कर रहा हूं? किसी भी अंतर्दृष्टि / अंतर्ज्ञान के लिए धन्यवाद।

Comments

अक्ष लेबल पर ध्यान दें, ध्यान दें कि न तो लेबल किया गया है । $y$

— मैथ्यू

एक "पारंपरिक समारोह" क्या होगा?

— whuber

@matthewDrury मैं समझता हूं कि, और यह 2D X / Os की व्याख्या करता है। मैं पूछ रहा हूँ कि प्लॉट किए गए कर्व कहाँ से आ रहे हैं

— सैम

Answer 1

यह दो विशेषताओं ( x 1 , x 2 ) के साथ एक वर्गीकरण मॉडल के मामले में एंड्रयू एनजी द्वारा एमएल पर कौरसेरा कोर्स पर ओवरफिटिंग का एक उदाहरण है , जिसमें सही मान × और over के प्रतीक हैं , और निर्णय सीमा हैं उच्च क्रम बहुपद शब्दों के उपयोग के माध्यम से निर्धारित प्रशिक्षण के अनुरूप।$(x_1, x_2)$$\color{red}{\large \times}$$\color{blue}{\large\circ},$

समस्या यह है कि यह समझाने की कोशिश करता है कि इस तथ्य से संबंधित है, हालांकि सीमा निर्णय रेखा (नीले रंग में वक्र रेखा) किसी भी उदाहरण का गलत वर्गीकरण नहीं करती है, प्रशिक्षण सेट से बाहर सामान्यीकरण करने की क्षमता से समझौता किया जाएगा। एंड्रयू एनजी बताते हैं कि नियमितीकरण इस प्रभाव को कम कर सकता है, और मैजेन्टा वक्र को प्रशिक्षण सीमा के निर्णय की सीमा के रूप में कम खींचता है, और सामान्य होने की अधिक संभावना है।

---

अपने विशिष्ट प्रश्न के संबंध में:

मेरा अंतर्ज्ञान यह है कि नीले / गुलाबी वक्र को वास्तव में इस ग्राफ पर प्लॉट नहीं किया गया है, बल्कि एक प्रतिनिधित्व (सर्कल और एक्स) है जो ग्राफ़ के अगले आयाम (3 जी) में मूल्यों के लिए मैप किया जाता है।

वहाँ दो श्रेणियों, कर रहे हैं: कोई ऊंचाई (तीसरे आयाम) है और ∘ ) , निर्णय लाइन से पता चलता है कि कैसे मॉडल उन्हें अलग किया जाता है और। सरल मॉडल में$(\large\times$$\large\circ),$

$$h_\theta(x)=g\left(\theta_0 + \theta_1 \, x_1 + \theta_2 \, x_2 \right)$$

निर्णय सीमा रैखिक होगी।

---

शायद आपके मन में कुछ इस तरह का उदाहरण है:

$$5 + 2 x - 1.3 x^2 -1.2 x^2 y + 1 x^2 y^2 + 3 x^2 y^3$$

हालांकि, ध्यान दें कि परिकल्पना में एक फ़ंक्शन है - आपके प्रारंभिक प्रश्न में लॉजिस्टिक सक्रियण। तो x 1 और x 2 के प्रत्येक मूल्य के लिए बहुपद समारोह का कार्य होता है और "सक्रियण" (अक्सर गैर-रैखिक, जैसे कि ओपी में एक सिग्मोइड फ़ंक्शन में होता है, हालांकि आवश्यक नहीं (उदाहरण के लिए RELU)। एक बंधे हुए आउटपुट के रूप में सिग्मॉइड सक्रियण खुद को एक संभाव्य व्याख्या के लिए उधार देता है: एक वर्गीकरण मॉडल में विचार यह है कि किसी दिए गए सीमा पर आउटपुट को × ( या ∘ ) लेबल किया जाएगा । प्रभावी रूप से, एक निरंतर आउटपुट को बाइनरी में स्केच किया जाएगा ( 1 $g(\cdot)$$x_1$$x_2$$\large \times$ $\large($$\large \circ).$ आउटपुट।$(1,0)$

, वजन (या पैरामीटर) और सक्रियण समारोह के आधार पर प्रत्येक बिंदु सुविधा विमान में किसी भी श्रेणी के लिए मैप किया जाएगा × या ∘ । यह लेबलिंग या सही नहीं हो सकता है हो सकता है: वे सही जब नमूने में अंक द्वारा तैयार किया जाएगा × और ∘ भविष्यवाणी लेबल के लिए ओपी अनुरूप पर तस्वीर में विमान पर। विमान के क्षेत्रों के बीच की सीमाओं लेबल × और उन आसन्न क्षेत्रों लेबल ∘ । वे एक लाइन हो सकता है, या एक से अधिक लाइनों "द्वीप" अलग (खुद के साथ खेलते हुए देखना टोनी Fischetti करके इस ऐप्लिकेशन का हिस्सा$(x_1,x_2)$$\large \times$$\large \circ$$\color{red}{\large \times}$$\color{blue}{\large \circ}$$\large \times$$\large \circ$आर ब्लॉगर्स पर इस ब्लॉग प्रविष्टि )।

निर्णय सीमा पर विकिपीडिया में प्रविष्टि पर ध्यान दें :

दो वर्गों के साथ सांख्यिकीय-वर्गीकरण समस्या में, एक निर्णय सीमा या निर्णय सतह एक हाइपरसर्फ है जो अंतर्निहित वेक्टर अंतरिक्ष को दो सेटों में विभाजित करता है, प्रत्येक वर्ग के लिए एक। क्लासिफायर एक वर्ग के निर्णय की सीमा के एक तरफ सभी बिंदुओं को वर्गीकृत करेगा और एक वर्ग के सभी लोगों को दूसरी कक्षा से संबंधित करेगा। एक निर्णय सीमा एक समस्या अंतरिक्ष का क्षेत्र है जिसमें एक क्लासिफायरियर का आउटपुट लेबल अस्पष्ट है।

$∈[0,1]),$

---

$3$

कहाँ पे $y_1 = h_\theta(x)$$\mathbf W$$(\Theta)$$\Theta$

कई न्यूरॉन्स के साथ जुड़कर, इन अलग होने वाले हाइपरप्लेन को जोड़ा जा सकता है और उन्हें टोपीदार आकृतियों के साथ जोड़ा जा सकता है:

यह सार्वभौमिक सन्निकटन प्रमेय से जुड़ता है ।

Comments

+1 हमेशा अपने उत्तर को पढ़ने का आनंद लें। यह और भी बेहतर हो सकता है यदि आप अपने प्लॉट के साथ एक निर्णय विमान प्रतिच्छेद कर सकते हैं। कुछ ऊपर और कुछ नीचे दिखाने के लिए।

— डू

इस लिए आपका बहुत - बहुत धन्यवाद। मुझे अभी भी ऐसा लग रहा है कि मैं स्वयं वक्र के बारे में कुछ याद नहीं कर रहा हूं- क्या यह कहना है कि निर्णय सीमा वास्तव में "तैयार" नहीं हो रही है, बल्कि केवल एंड्रयू एनजी द्वारा X1 और x2 के मूल्य थ्रेसहोल्ड को इंगित करने का तरीका है कि परिकल्पना का कारण × या to होना चाहिए? मुझे लगता है कि मेरे कुछ भ्रम इस बात से उपजे हैं कि पहली बार में वह वक्र कैसे कार्य कर सकता है, लेकिन मुझे अब एहसास हुआ कि यह नहीं है।

— सैम

@AntoniParellada यह महान है, मैं अब भेद देख रहा हूं। सहायता के लिए बहुत - बहुत धन्यवाद।

— सैम

Answer 2

हमें इस प्रश्न का उत्तर देने वाले कुछ भारी-भरकम गणितज्ञ मिले हैं। मैंने यहां कभी भी आपके जैसा चित्रण नहीं देखा है, भविष्यवाणियों X1 और X2 के लिए मूल्यों के साथ और 'निर्णय सीमा' रेखा भविष्यवाणी की गई सकारात्मकता को अनुमानित नकारात्मक से अलग करती है। (या यह भविष्यवाणी बनाम वास्तविक परिणामों का नक्शा है?) लेकिन यह उपयोगी है --- जब तक आपके पास ब्याज के केवल दो भविष्यवाणियां हैं जिन्हें आप मैप करना चाहते हैं।
ऐसा प्रतीत होता है कि मैजेंटा लाइन अनुमानित सकारात्मक को पूर्वानुमानित नकारात्मक से अलग करती है, जबकि गहरे नीले रंग की रेखा में सभी सकारात्मक शामिल हैं। यह आमतौर पर लॉजिस्टिक रिग्रेशन में होता है: मॉडल 100% से कम मामलों के परिणाम का सही अनुमान लगाएगा (और कुछ गलत सकारात्मक और / या गलत नकारात्मक की भविष्यवाणी करेगा)।
लॉजिस्टिक रिग्रेशन चलाना संभव है और प्रक्रिया में डेटासेट में प्रत्येक व्यक्ति के लिए फ़ंक्शन h (x) का उत्पादन होता है। यह प्रत्येक विषय के लिए 0 से 1 तक एक भविष्यवाणी स्कोर का उत्पादन करेगा, जो सभी विषयों का उपयोग करके लॉजिस्टिक रिग्रेशन मॉडल के आधार पर, उस विषय के भविष्यवक्ता चर पर आधारित प्रत्येक विषय के लिए सकारात्मक परिणाम की संभावना या संभावना देता है। 0.5 या उससे अधिक के प्रॉपर्टीज स्कोर कटऑफ के नतीजों के बारे में भविष्यवाणी की जाती है और 0.5 से नीचे वालों को परिणाम नहीं होने की भविष्यवाणी की जाती है। लेकिन आप इस कटऑफ के स्तर को समायोजित कर सकते हैं जैसा कि आप फिट देखते हैं, उदाहरण के लिए आपके लॉगिस्टिक रिग्रेशन विश्लेषण में दर्ज किए गए सभी इनपुट चर के आधार पर कुछ परिणाम का नैदानिक ​​पूर्वानुमान मॉडल बनाने के लिए। आप उदाहरण के लिए कटऑफ को 0.3 पर सेट कर सकते हैं। फिर आप पूर्वानुमानित-बनाम-वास्तविक परिणामों की 2X2 तालिका कर सकते हैं, और इस कटऑफ स्तर के आधार पर मॉडल की संवेदनशीलता, विशिष्टता, झूठी सकारात्मक दर और झूठी नकारात्मक दर निर्धारित कर सकते हैं। यह अधिक जानकारी प्रदान करता है और आपको अपने ग्राफ़ में उपयोग किए जाने वाले 2 चर की सीमा से भी मुक्त करता है। आप कई भविष्यवक्ताओं का उपयोग कर सकते हैं क्योंकि आप मॉडल में उचित रूप से फिट हो सकते हैं और फिर भी वास्तविक-बनाम-अनुमानित परिणाम की 2X2 तालिका बना सकते हैं। चूंकि लॉजिस्टिक रिग्रेशन श्रेणीबद्ध (हाँ-नहीं) परिणामों का उपयोग करता है, 2X2 तालिका में प्रत्येक सेल पंक्ति और स्तंभ मानदंड को पूरा करने वाले विषयों की एक गिनती है। आप कई भविष्यवक्ताओं का उपयोग कर सकते हैं क्योंकि आप मॉडल में उचित रूप से फिट हो सकते हैं और फिर भी वास्तविक-बनाम-अनुमानित परिणाम की 2X2 तालिका बना सकते हैं। चूंकि लॉजिस्टिक रिग्रेशन श्रेणीबद्ध (हाँ-नहीं) परिणामों का उपयोग करता है, 2X2 तालिका में प्रत्येक सेल पंक्ति और स्तंभ मानदंड को पूरा करने वाले विषयों की एक गिनती है। आप कई भविष्यवक्ताओं का उपयोग कर सकते हैं क्योंकि आप मॉडल में उचित रूप से फिट हो सकते हैं और फिर भी वास्तविक-बनाम-अनुमानित परिणाम की 2X2 तालिका बना सकते हैं। चूंकि लॉजिस्टिक रिग्रेशन श्रेणीबद्ध (हाँ-नहीं) परिणामों का उपयोग करता है, 2X2 तालिका में प्रत्येक सेल पंक्ति और स्तंभ मानदंड को पूरा करने वाले विषयों की एक गिनती है।
आपके द्वारा प्रदान किए गए ग्राफ़ में, यह संभवतः 0.5 का कटऑफ मानता है। यह सॉफ़्टवेयर के लिए सामान्य डिफ़ॉल्ट है। यदि आपने इसे उच्चतर (उदाहरण के लिए 0.65) में समायोजित किया है, तो इसमें सभी O लाइन के अंदर शामिल हो सकते हैं, लेकिन आपके पास कुछ झूठी सकारात्मक (X की सोच है कि यह O होना चाहिए) मॉडल के परिणाम का अनुमान लगाने के लिए भविष्यवाणी की जाएगी ब्याज। (या कटऑफ स्कोर कम समायोजित करें और अधिक गलत नकारात्मक हैं)।
आशा है कि ये आपकी मदद करेगा।