लॉजिस्टिक रिग्रेशन और परसेप्ट्रोन के बीच अंतर

Question

जैसा कि मैं समझता हूं, लॉजिस्टिक सिग्माइड एक्टिवेशन फंक्शन वाला एक परसेप्ट्रान / सिंगल-लेयर आर्टिफिशियल न्यूरल नेटवर्क लॉजिस्टिक रिग्रेशन जैसा ही मॉडल है। दोनों मॉडल समीकरण द्वारा दिए गए हैं:

$F(x) = \frac{1}{1-e^{-\beta X}}$

परसेप्ट्रॉन लर्निंग एल्गोरिथ्म ऑनलाइन और त्रुटि-चालित है, जबकि लॉजिस्टिक रिग्रेशन के लिए मापदंडों को विभिन्न प्रकार के बैच एल्गोरिदम का उपयोग करके सीखा जा सकता है, जिसमें ग्रेडिएंट डीसेंट और लिमिटेड-मेमोरी बीएफजीएस, या एक ऑनलाइन एल्गोरिथ्म, जैसे स्टॉचस्टिक ग्रेडिएंट डीसेंट शामिल हैं। क्या लॉजिस्टिक रिग्रेशन और सिग्मोइड परसेप्ट्रान के बीच कोई अन्य अंतर हैं? स्टोकेस्टिक प्रवणता के साथ प्रशिक्षित लॉजिस्टिक रजिस्ट्रार के परिणाम क्या अवधारणात्मक के समान होने की उम्मीद की जानी चाहिए?

Comments

ऐसा लगता है कि यह प्रश्न समान है, और इसमें बेहतर प्रतिक्रियाएं शामिल हैं :)

— राल्फ टिगोमो

Answer 1

आपने पहले ही महत्वपूर्ण अंतरों का उल्लेख किया है। तो परिणाम इतना अलग नहीं होना चाहिए।

Comments

यह प्रश्न का उत्तर नहीं देता है। किसी लेखक से स्पष्टीकरण मांगने या उसका अनुरोध करने के लिए, उनके पोस्ट के नीचे एक टिप्पणी छोड़ दें।

— शीआन

असल में मैंने दोनों सवालों के जवाब देने की कोशिश की: 1) "लॉजिस्टिक रिग्रेशन और सिग्मोइड परसेप्ट्रॉन के बीच कोई अन्य अंतर हैं?" और 2) "क्या स्टोकेस्टिक क्रमिक वंश के साथ प्रशिक्षित एक लॉजिस्टिक रजिस्ट्रार के परिणाम को अवधारणात्मक के समान होने की उम्मीद की जानी चाहिए?"

— माइकल डोरर

यह एक उचित स्थिति है, @MichaelDorner। क्या आप अपने उत्तर को थोड़ा और स्पष्ट करने के लिए विस्तार करेंगे?

— गूँग - मोनिका

Answer 2

मेरा मानना ​​है कि एक अंतर जो आपको याद आ रहा है, वह यह है कि लॉजिस्टिक रिग्रेशन एक प्रिंसिपल वर्गीकरण संभावना को लौटाता है जबकि पेसेप्ट्रॉन एक कठिन सीमा के साथ वर्गीकृत होते हैं।

इस का उल्लेख मल्टिनोमियल लॉजिस्टिक रिग्रेशन पर विकी लेख में किया गया है ।

Answer 3

वास्तव में एक बड़ा पर्याप्त अंतर है, जो आपके द्वारा उल्लिखित तकनीकी अंतर से संबंधित है। लॉजिस्टिक रिग्रेशन एक बर्नौली वितरण के माध्य के एक फ़ंक्शन को रैखिक समीकरण ( बर्नौली घटना के प्रायिकता पी के बराबर होने का मतलब ) के रूप में प्रदर्शित करता है। माध्य ( p ) के फ़ंक्शन के रूप में लॉगिट लिंक का उपयोग करके , ऑड्स (लॉग-ऑड्स) के लॉगरिदम को विश्लेषणात्मक रूप से व्युत्पन्न किया जा सकता है और तथाकथित सामान्यीकृत रैखिक मॉडल की प्रतिक्रिया के रूप में उपयोग किया जा सकता है। इस GLM पर पैरामीटर का आकलन तब एक सांख्यिकीय प्रक्रिया है जो मॉडल मापदंडों के लिए पी-मान और आत्मविश्वास अंतराल पैदा करता है। भविष्यवाणी के शीर्ष पर, यह आपको कार्य-कारण के संदर्भ में मॉडल की व्याख्या करने की अनुमति देता है। यह एक ऐसी चीज है जिसे आप लीनियर परसेप्ट्रान से हासिल नहीं कर सकते।

परसेप्ट्रॉन लॉजिस्टिक रिग्रेशन की एक रिवर्स इंजीनियरिंग प्रक्रिया है: वाई के लॉगिट को लेने के बजाय, यह डब्ल्यूएक्स के व्युत्क्रम लॉगिट (लॉजिस्टिक) फ़ंक्शन लेता है , और न तो मॉडल और न ही इसके पैरामीटर अनुमान के लिए संभाव्य मान्यताओं का उपयोग नहीं करता है। ऑनलाइन प्रशिक्षण आपको मॉडल भार / मापदंडों के लिए बिल्कुल समान अनुमान देगा, लेकिन आप पी-मान, आत्मविश्वास अंतराल, और अच्छी तरह से, एक अंतर्निहित संभावना मॉडल की कमी के कारण उन्हें कारण निष्कर्ष में व्याख्या नहीं कर पाएंगे।

लंबी कहानी छोटी, लॉजिस्टिक रिग्रेशन एक जीएलएम है जो भविष्यवाणी और अनुमान लगा सकता है, जबकि लीनियर परसेप्ट्रॉन केवल भविष्यवाणी प्राप्त कर सकता है (जिस स्थिति में यह लॉजिस्टिक रिग्रेशन के समान प्रदर्शन करेगा)। दोनों के बीच अंतर सांख्यिकीय मॉडलिंग और मशीन सीखने के बीच बुनियादी अंतर भी है।