लॉजिस्टिक रिग्रेशन और न्यूरल नेटवर्क में क्या अंतर है?

Question

हम दर्शकों को लॉजिस्टिक रिग्रेशन और न्यूरल नेटवर्क के बीच अंतर कैसे समझाते हैं जिनकी सांख्यिकी में कोई पृष्ठभूमि नहीं है?

Comments

क्या कोई पृष्ठभूमि वाला कोई व्यक्ति वास्तव में जानना नहीं चाहेगा? और, क्या अंतर की स्वीकार्य व्याख्या का गठन करेगा? शायद एक रूपक। निश्चित रूप से नीचे दिए गए उत्तर (आज तक) में से कोई भी नहीं, सभी पूरी तरह से "कोई पृष्ठभूमि नहीं" आवश्यकता को याद करते हैं।

— rolando2

प्रश्न: "हम उन दर्शकों के लिए लॉजिस्टिक रिग्रेशन और न्यूरल नेटवर्क के बीच अंतर की व्याख्या कैसे करते हैं जिनकी सांख्यिकी में कोई पृष्ठभूमि नहीं है?" A: सबसे पहले आपको उन्हें आंकड़ों में एक पृष्ठभूमि देनी होगी।

— Firebug

मुझे लगता है कि यह खुला नहीं रहना चाहिए। हमें वस्तुतः "व्याख्या ... कोई पृष्ठभूमि नहीं आँकड़ों में" की आवश्यकता है। स्पष्टीकरण के लिए पूछना आम है जो '5 साल की उम्र' या 'आपकी दादी' के लिए काम करेगा। ये गैर- (या कम से कम कम ) तकनीकी उत्तरों के लिए बोलचाल के तरीके हैं । इसे अधिक स्पष्ट रूप से कहने के लिए, उत्तर हमेशा एक साथ कई बाधाओं को पूरा करने की कोशिश करते हैं, जैसे सटीकता और संक्षिप्तता; यहाँ हम न्यूनतम जोड़ते हैं कि यह कितना तकनीकी है। कोई कारण नहीं है कि हम अंतर बी / टी एलआर और एएनएन के कम तकनीकी स्पष्टीकरण की मांग कर सकते हैं।

— गुंग - को पुनः स्थापित मोनिका

@mbq यह हास्यास्पद है कि नवंबर 2012 में तंत्रिका नेटवर्क को अप्रचलित के रूप में वर्णित करना संभव था।

— छोटू

@littleO यह बहुत ज्यादा अभी भी खड़ा है; NNs12 के साथ NNs12 की तुलना करें और आप देखेंगे कि प्रगति वास्तविक नेटवर्क और वास्तविक न्यूरॉन्स के समान समानता को हटाने से हुई, इसके बजाय स्टोकेस्टिक अनुकूलन के साथ बीजीय संचालन के ensembles में आगे बढ़ रहा है। लेकिन निश्चित रूप से, स्पष्ट रूप से एनएन ट्रेडमार्क इतना शक्तिशाली साबित हुआ कि यह लंबे और समृद्ध रहेगा, चाहे इसका कोई भी मतलब हो।

Answer 1

मुझे लगता है कि आप सोच रहे थे कि क्या हुआ करता था, और शायद अभी भी भयावह नेटवर्क के बारे में आपके प्रश्न में 'बहुपरत अवधारणात्मक' के रूप में संदर्भित किया जाता है। यदि ऐसा है तो मैं लचीलेपन के संदर्भ में निर्णय की सीमा के रूप में लचीलेपन के संदर्भ में पूरी बात समझाऊंगा। विशेष रूप से, इस दर्शकों के लिए, मैं लिंक फ़ंक्शंस / लॉग ऑड्स आदि का उल्लेख नहीं करूंगा। बस इस विचार के साथ रखें कि किसी घटना की संभावना का कुछ टिप्पणियों के आधार पर अनुमान लगाया जा रहा है।

यहाँ एक संभावित अनुक्रम है:

• सुनिश्चित करें कि उन्हें पता है कि एक अनुमानित संभावना क्या है, वैचारिक रूप से बोलना। इसे कुछ परिचित डेटा के संदर्भ में एक चर के कार्य के रूप में दिखाएं । निर्णय का संदर्भ बताएं जो लॉजिस्टिक प्रतिगमन और तंत्रिका नेटवर्क द्वारा साझा किया जाएगा।
• लॉजिस्टिक रिग्रेशन से शुरुआत करें। बताएं कि यह रैखिक मामला है, लेकिन दो व्याख्यात्मक चर के साथ आउटपुट संभावनाओं की गर्मी या समोच्च साजिश का उपयोग करके परिणामी निर्णय सीमा की रैखिकता दिखाते हैं ।
• ध्यान दें कि दो वर्ग उस सीमा को अच्छी तरह से अलग नहीं कर सकते हैं जो वे देखते हैं और अधिक सुडौल सीमा बनाने के लिए अधिक लचीले मॉडल को प्रेरित करते हैं। यदि आवश्यक हो तो कुछ डेटा दिखाएं जो इस तरह से अलग होगा। (यही कारण है कि आप 2 चर के साथ शुरू करते हैं)
• ध्यान दें कि आप कर सकते हैं मूल रैखिक मॉडल को अतिरिक्त शब्दों, जैसे वर्गों या अन्य परिवर्तनों के साथ जटिल करना शुरू , और शायद इन सीमाओं को दर्शाते हैं जो इन उत्पन्न करते हैं।
• लेकिन फिर इन्हें छोड़ दें, यह देखते हुए कि आप पहले से नहीं जानते हैं कि फ़ंक्शन फॉर्म क्या होना चाहिए और आप इसे डेटा से सीखना पसंद करेंगे। जिस तरह वे इस बारे में उत्साहित हो जाते हैं, इस बात को पूरी व्यापकता में ध्यान में रखें, और सुझाव दें कि आप यह मानकर खुश हैं कि यह कम से कम 'तड़का हुआ' होने के बजाय 'चिकना' होना चाहिए, लेकिन अन्यथा डेटा द्वारा निर्धारित किया जाता है। (जोर देते हुए कि वे शायद पहले से ही केवल चिकनी सीमाओं के बारे में सोच रहे थे , उसी तरह जैसे वे अपने सारे जीवन को गद्य बोलते रहे हैं)।
• एक सामान्यीकृत योज्य मॉडल का आउटपुट दिखाएँ जहाँ आउटपुट प्रायिकता एक सच्चे योजक संयोजन के बजाय मूल चरों की जोड़ी का एक संयुक्त कार्य है - यह केवल प्रदर्शन उद्देश्यों के लिए है। महत्वपूर्ण रूप से, इसे एक स्मूथी कहें क्योंकि यह अच्छा और सामान्य है और चीजों को सहजता से बताता है। पहले की तरह तस्वीर में गैर-रैखिक निर्णय सीमा का प्रदर्शन करें।
• ध्यान दें कि यह (वर्तमान में गुमनाम) चिकना में एक चिकनाई पैरामीटर होता है जो नियंत्रित करता है कि यह वास्तव में कितना सुचारू है, इसको संदर्भित करते हुए फ़ंक्शन की चिकनाई के बारे में पूर्व धारणा की तरह होने का अनुमान लगाया गया है, जो व्याख्यात्मक चर को अनुमानित संभावना में बदल देता है। शायद निर्णय सीमा पर विभिन्न चिकनाई सेटिंग्स के परिणाम दिखाते हैं।
• अब एक चित्र के रूप में तंत्रिका जाल परिचय। इंगित करें कि दूसरी परत सिर्फ लॉजिस्टिक रिग्रेशन मॉडल है, लेकिन छिपी हुई इकाइयों में होने वाले गैर-रैखिक परिवर्तन को भी इंगित करता है। श्रोताओं को याद दिलाएं कि इनपुट से आउटपुट तक यह एक और कार्य है जो इसकी निर्णय सीमा में गैर-रैखिक होगा।
• ध्यान दें कि इसके बहुत सारे पैरामीटर हैं और उनमें से कुछ को एक चिकनी निर्णय सीमा बनाने के लिए विवश होने की आवश्यकता है - एक संख्या के विचार को फिर से लागू करें जो कि एक ही (वैचारिक रूप से बोलने वाली) संख्या को चिकनाई को नियंत्रित करता है जो मापदंडों को एक साथ बांधे और दूर रखता है। चरम मान्यताएँ। यह भी ध्यान दें कि इसकी जितनी अधिक छिपी हुई इकाइयाँ हैं, उतने ही भिन्न प्रकार के कार्यात्मक रूप इसे महसूस कर सकते हैं। अंतर्ज्ञान बनाए रखने के लिए, लचीलेपन के मामले में छिपी हुई इकाइयों और सहजता के मामले में पैरामीटर की कमी के बारे में बात करें (इस लक्षण वर्णन के गणितीय ढलान के बावजूद)
• फिर उन्हें यह दावा करके आश्चर्यचकित करें क्योंकि आप अभी भी कार्यात्मक रूप नहीं जानते हैं इसलिए आप अनंत संख्या में छिपी हुई इकाइयों को जोड़कर असीम रूप से लचीला होना चाहते हैं । इस सिंक की व्यवहारिक असंभावना को थोड़ा बढ़ने दें। फिर निरीक्षण करें कि यह सीमा गणित में ली जा सकती है, और पूछें (बयानबाजी) कि ऐसा क्या दिखेगा।
• उत्तर दें कि यह फिर से एक चिकना होगा (एक गाऊसी प्रक्रिया, जैसा कि ऐसा होता है; नील, 1996, लेकिन यह विस्तार महत्वपूर्ण नहीं है), जैसा कि उन्होंने पहले देखा था। ध्यान रखें कि फिर से एक मात्रा है जो चिकनाई को नियंत्रित करती है लेकिन कोई अन्य विशेष पैरामीटर (एकीकृत नहीं है, उन लोगों के लिए जो इस प्रकार की देखभाल करते हैं)।
• यह निष्कर्ष निकालें कि तंत्रिका नेटवर्क विशेष रूप से, सीमित रूप से सीमित हैं, साधारण धूम्रपान करने वालों के कार्यान्वयन, जो गैर-रैखिक हैं, जरूरी नहीं कि लॉजिस्टिक प्रतिगमन मॉडल के योगात्मक विस्तार हो। फिर इसे दूसरे तरीके से करें, यह निष्कर्ष निकालते हुए कि लॉजिस्टिक रिग्रेशन एक न्यूरल नेटवर्क मॉडल के बराबर है या स्मूथिंग पैरामीटर के साथ स्मूथिंग है जो 'एक्स्ट्रा एक्सट्रा स्मूथ' यानी लीनियर पर सेट है।

इस दृष्टिकोण का लाभ यह है कि आपको सही विचार देने के लिए वास्तव में किसी गणितीय विवरण में शामिल होने की आवश्यकता नहीं है। वास्तव में उन्हें समानता और अंतर को समझने के लिए लॉजिस्टिक रिग्रेशन या न्यूरल नेटवर्क को समझने की जरूरत नहीं है।

दृष्टिकोण का नुकसान यह है कि आपको बहुत सारे चित्र बनाने हैं, और चीजों को समझाने के लिए बीजगणित में नीचे जाने के प्रलोभन का दृढ़ता से विरोध करना है।

Answer 2

एक सरल सारांश के लिए:

लॉजिस्टिक रिग्रेशन: न्यूरल नेटवर्क का सबसे सरल रूप, जिसके परिणामस्वरूप निर्णय सीमाएं एक सीधी रेखा होती हैं

तंत्रिका नेटवर्क: एक सुपरसेट जिसमें लॉजिस्टिक रिग्रेशन शामिल है और अन्य क्लासिफायरियर भी हैं जो अधिक जटिल निर्णय सीमाएं उत्पन्न कर सकते हैं।

(ध्यान दें: मैं अभिन्न गुठली की सहायता के बिना "सादा" लॉजिस्टिक प्रतिगमन का उल्लेख कर रहा हूं)

(संदर्भ: एंड्रयू एनजी द्वारा deeplearning.ai पाठ्यक्रम, "एक तंत्रिका नेटवर्क के रूप में लॉजिस्टिक प्रतिगमन" और "एक छिपी हुई परत के साथ प्लानर डेटा वर्गीकरण")

Comments

सभी मौजूदा उत्तरों से मुझे लगता है कि यह किसी भी व्यक्ति की पृष्ठभूमि के साथ अवधारणाओं को समझाने के लिए सबसे वास्तविक रूप से करीब है।

— Firebug

तो एक लॉजिस्टिक लॉजिस्टिक रिग्रेशन क्लासिफायर एक तंत्रिका नेटवर्क है? यह काफी काम की बात है।

— ब्योर्न लिंडक्विस्ट

Answer 3

मैं प्रश्न को शाब्दिक रूप से लेने जा रहा हूं: कोई व्यक्ति जिसकी कोई पृष्ठभूमि नहीं है । और मैं उस व्यक्ति को आंकड़ों में एक पृष्ठभूमि देने की कोशिश नहीं करने जा रहा हूं। उदाहरण के लिए, मान लें कि आपको किसी कंपनी के सीईओ या उस तरह के कुछ के अंतर को समझाना होगा।

तो: लॉजिस्टिक रिग्रेशन अन्य वैरिएबल के संदर्भ में एक श्रेणीगत चर मॉडलिंग के लिए एक उपकरण है। यह आपको यह पता लगाने के तरीके देता है कि "अन्य" चर में से प्रत्येक में परिवर्तन पहले चर में अलग-अलग परिणामों की बाधाओं को कैसे प्रभावित करता है। आउटपुट की व्याख्या करना काफी आसान है।

तंत्रिका नेटवर्क एक तरीके हैं जो कंप्यूटर को उदाहरणों से उन तरीकों से सीखने की कोशिश करते हैं जो अस्पष्ट रूप से मिलते-जुलते हैं जो मनुष्य चीजों के बारे में सीखते हैं। इसके परिणामस्वरूप ऐसे मॉडल हो सकते हैं जो अच्छे भविष्यवक्ता होते हैं, लेकिन वे आम तौर पर लॉजिस्टिक रिग्रेशन वाले लोगों की तुलना में अधिक अपारदर्शी होते हैं।

Comments

+1 यह एक स्पष्टीकरण प्रदान करने की मूल चुनौती को जन्म देने का एक अच्छा प्रारंभिक प्रयास है, जिसे किसी व्यक्ति द्वारा समझा जा सकता है, फिर भी यथोचित रूप से स्पष्ट और सटीक है।

— whuber

आपको यह बताना होगा कि "श्रेणीबद्ध", "परिवर्तनशील", "ऑड्स" क्या हैं। इसके अलावा, कृत्रिम तंत्रिका नेटवर्क केवल वास्तविक तंत्रिका नेटवर्क से प्रेरित हैं । जहाँ तक हम जानते हैं, हमारा मस्तिष्क वापस प्रसार द्वारा नहीं सीख सकता है। तो हाँ, यह अपेक्षाकृत सरलीकृत अवधारणा के लिए एक शांत शब्द है। इसके अलावा, लॉजिस्टिक रिग्रेशन न्यूरल नेटवर्क का एक रूप है, इसलिए ऐसा ही है।

— Firebug

Answer 4

मुझे सिखाया गया था कि आप तंत्रिका नेटवर्क के बारे में सोच सकते हैं (लॉजिस्टिक एक्टिवेशन फंक्शंस के साथ) लॉज एक्ट्स के भारित औसत के रूप में, वज़न के साथ खुद का अनुमान है। बड़ी संख्या में लॉगिन का चयन करके, आप किसी भी कार्यात्मक रूप को फिट कर सकते हैं। इकोनोमेट्रिक सेंस ब्लॉग पोस्ट में कुछ चित्रमय अंतर्ज्ञान है ।

Answer 5

अन्य उत्तर महान हैं। मैं केवल कुछ चित्रों को दिखा रहा हूँ कि आप तंत्रिका नेटवर्क की एक विशेष वास्तुकला के रूप में लॉजिस्टिक रिग्रेशन और मल्टी-क्लास लॉजिस्टिक रिग्रेशन (उर्फ मैक्सेंट, मल्टीनोमियल लॉजिस्टिक रिग्रेशन, सॉफ्टमैक्स रिग्रेशन, अधिकतम एन्ट्रॉपी क्लासिफायर) के बारे में सोच सकते हैं।

से सेबस्टियन Raschka, मिशीगन स्टेट यूनिवर्सिटी, KDnuggets पर :

---

मल्टी-क्लास लॉजिस्टिक रिग्रेशन के लिए कुछ और दृष्टांत:

Http://www.deeplearningbook.org/ अध्याय 1 से लिया गया एक समान चित्रण :

और TensorFlow ट्यूटोरियल से एक और :

उदाहरण के लिए Caffe में , आप निम्नानुसार लॉजिस्टिक रिग्रेशन लागू करेंगे :

Comments

तो क्या इस तरह के तंत्रिका नेटवर्क पर बैक-प्रोपेगमेंट लॉजिस्टिक रिग्रेशन के समान वजन की गणना करता है?

— मिच

@ मिच - मुझे योगदान देने में खेल में बहुत देर हो सकती है। एक प्रमुख अंतर यह है कि एक लॉजिस्टिक रिग्रेसिन के लिए एक गुणांक प्राप्त करने के लिए एमएलई का उपयोग करता है। संक्षेप में वह एक विशिष्ट त्रुटि या हानि फ़ंक्शन का विकल्प है। तंत्रिका जाल के लिए, नुकसान फ़ंक्शन विकल्पों में से एक है। तो सही नुकसान fn के साथ (मुझे लगता है कि मेरे सिर के ऊपर यह मानक L ^ 2 मानदंड है) यह मामला है।

— एग्नेसेंस्की

तो लॉजिस्टिक रिग्रेशन को ठीक ADALINE (सिंगल लेयर न्यूरल नेटवर्क जो बैच / स्टोकेस्टिक ग्रेडिएंट डिसेंट का उपयोग करता है) की तरह तैयार किया जा सकता है, केवल प्रमुख अंतर के साथ सक्रियण फ़ंक्शन को रैखिक के बजाय सिग्मॉइड में बदला जा रहा है, और भविष्यवाणी फ़ंक्शन बदलकर = = 0.5 के साथ हो रहा है। -1,1 लेबल के साथ> = 0 के बजाय 0,1 लेबल। एक और दृढ़ता से पसंद किया गया है, लेकिन वैकल्पिक अंतर आरएसएस से लॉजिस्टिक कॉस्ट फ़ंक्शन के लिए लागत फ़ंक्शन को बदल रहा है क्योंकि सिग्मॉइड सक्रियण आरएसएस को गैर-उत्तल बनाता है ताकि आरएसएस स्थानीय न्यूनतम में फंस सके।

— ऑस्टिन

Answer 6

मैं एक जटिल लेकिन ठोस समस्या के उदाहरण का उपयोग करता हूँ जिसे दर्शक समझता है। छिपे हुए नोड्स का उपयोग करें जिनकी व्याख्याएं प्रशिक्षित नहीं हैं, लेकिन उनके विशेष अर्थ हैं।

$64 \times 12$

रैखिक प्रतिगमन निर्धारित करता है कि h4 पर सफेद नाइट होना कितना अच्छा है। यह स्पष्ट नहीं हो सकता है कि यह बिल्कुल अच्छा है, लेकिन अगर यह h4 पर है, तो इसे कैप्चर नहीं किया गया है, जो संभवत: कुछ अनुमानों से आगे निकल जाता है। रैखिक प्रतिगमन संभवतः टुकड़ों के खुरदुरे मूल्यों को पुनः प्राप्त करता है, और यह कि आपके टुकड़े बोर्ड के केंद्र की ओर होना बेहतर है, और बोर्ड के आपके प्रतिद्वंद्वी के पक्ष में। रैखिक प्रतिगमन संयोजनों को महत्व देने में असमर्थ है, जैसे कि बी 2 पर आपकी रानी अचानक अधिक मूल्यवान है यदि विरोधी राजा ए 1 पर है।

एक तंत्रिका नेटवर्क में अवधारणाओं के लिए छिपे हुए नोड्स हो सकते हैं, जैसे "भौतिक लाभ," काला राजा सुरक्षा, "" केंद्र का नियंत्रण, "" डी-फाइल पर दोनों बदमाश, "" पृथक रानी बदमाश मोहरा, "या बिशप" चलना फिरना।" इनमें से कुछ का अनुमान सिर्फ बोर्ड के इनपुट से लगाया जा सकता है, जबकि कुछ को दूसरी या बाद में छिपी परत में होना चाहिए। तंत्रिका नेटवर्क इनका उपयोग स्थिति के अंतिम मूल्यांकन के इनपुट के रूप में कर सकता है। ये अवधारणाएं किसी विशेषज्ञ को किसी स्थिति का आकलन करने में मदद करती हैं, इसलिए एक तंत्रिका नेटवर्क एक रैखिक प्रतिगमन की तुलना में अधिक सटीक आकलन करने में सक्षम होना चाहिए। हालाँकि, यह तंत्रिका नेटवर्क बनाने के लिए अधिक काम करता है क्योंकि आपको इसकी संरचना का चयन करना है और इसमें प्रशिक्षित करने के लिए कई और पैरामीटर हैं।