अधिकतम संभावना अनुमान और ग्रेडिएंट डिसेंट के बीच अंतर क्या है?

Question

दोनों विधियों के समर्थक और विपक्ष क्या हैं?

Comments

मैं इन दो तरीकों की सिर्फ परिभाषा नहीं ढूंढ रहा हूं जो मेरे पास पहले से ही Google खोज से हैं। मैं यह समझने की कोशिश कर रहा हूं कि किस मामले में किस पद्धति को प्राथमिकता दी जाती है। उदाहरण के लिए: बिगडाटा के लिए एक दूसरे की तुलना में बेहतर काम करेगा। मुझे कोई भी अच्छी सामग्री नहीं मिली जो व्यावहारिक पहलुओं आदि के बारे में बात करती हो

— जॉर्जऑफTheRF

एक लेखन डेस्क की तरह एक रावण कैसे है?

— व्हिबर

@ML_Pro जीडी किसी भी तरह से सांख्यिकीय मॉडलिंग से संबंधित नहीं है, यह एक एल्गोरिथ्म है। आप शायद सांख्यिकीय समस्याओं को सुलझाने के लिए उपकरण (जैसे जीडी) सीखने से पहले सांख्यिकीय अनुमान की बेहतर समझ प्राप्त करने के लिए कुछ परिचयात्मक सांख्यिकी पुस्तिका के साथ शुरू कर सकते हैं।

— टिम

क्या आपका मतलब ग्रेडिएंट डिसेंट और एक्सपेक्टेशन मैक्सिमाइजेशन के बीच अंतर पूछना है (जिसका उपयोग आमतौर पर MLE में ऑप्टिमाइज़ेशन समस्या को हल करने के लिए किया जाता है)?

— सोबी

Answer 1

अधिकतम संभावना का आकलन सांख्यिकीय मॉडल में मापदंडों का आकलन करने के लिए एक सामान्य दृष्टिकोण है, जिसकी संभावना फ़ंक्शन को परिभाषितकरके अधिकतमकिया जाता है

$$L(\theta|X) = f(X|\theta)$$

यही है, डेटा प्राप्त करने की संभावना पैरामीटर का कुछ मूल्य दिया ability । किसी दिए गए समस्या के लिए संभावना फ़ंक्शन को जानना आप ऐसे θ के लिए देख सकते हैं जो आपके पास डेटा प्राप्त करने की संभावना को अधिकतम करता है। कभी-कभी हमारे पास अनुमानक होते हैं, उदाहरण के लिए अंकगणितीय माध्य सामान्य वितरण के लिए μ पैरामीटर के लिए एक MLE अनुमानक है , लेकिन अन्य मामलों में आप विभिन्न तरीकों का उपयोग कर सकते हैं जिनमें अनुकूलन एल्गोरिदम का उपयोग करना शामिल है। एमएल दृष्टिकोण आपको बता नहीं है कैसे के इष्टतम मूल्य खोजने के लिए θ - आप बस अनुमान लेने के लिए और तुलना करने के लिए जो अनुमान किया गया था बेहतर संभावना का उपयोग कर सकते हैं - यह सिर्फ आपको बताता है कि आप कैसे कर सकते हैं की तुलना की अगर एक मूल्य$X$$\theta$$\theta$$\mu$$\theta$ "अधिक होने की संभावना" अन्य की तुलना में है।$\theta$

ग्रेडिएंट वंश एक अनुकूलन एल्गोरिथ्म है । आप इस एल्गोरिथ्म का उपयोगकई अलग-अलग कार्यों केन्यूनतम (या अधिकतम, फिर इसे ग्रेडिएंट एसेंट )कह सकते हैं। एल्गोरिथ्म वास्तव में परवाह नहीं करता है कि वह कौन सा फ़ंक्शन है जिसे वह कम करता है, यह वही करता है जो इसके लिए कहा गया था। तो अनुकूलन एल्गोरिथ्म का उपयोग करने के साथ आपको किसी तरह जानना होगा कि आप कैसे बता सकते हैं कि ब्याज के पैरामीटर का एक मूल्य दूसरे की तुलना में "बेहतर" है। आपको अपने एल्गोरिथ्म को कम से कम करने के लिए कुछ फ़ंक्शन प्रदान करना होगा और एल्गोरिथ्म इसकी न्यूनतम खोजने के साथ सौदा करेगा।

आप विभिन्न तरीकों का उपयोग करके अधिकतम अनुकूलन अनुमान प्राप्त कर सकते हैं और अनुकूलन एल्गोरिथ्म का उपयोग करना उनमें से एक है। दूसरी ओर, क्रमिक वंश का उपयोग संभावना कार्य के अलावा अन्य कार्यों को अधिकतम करने के लिए भी किया जा सकता है।

Comments

@ML_Pro मैंने दो लिंक दिए जहां आप विस्तृत जानकारी पा सकते हैं, मुझे नहीं लगता कि इन उत्तरों की नकल करने की आवश्यकता है।

— टिम

@ML_Pro के रूप में मैं अपने जवाब में लिखा है, वे कर रहे हैं अलग अलग चीजें हैं और आप उन्हें तुलना नहीं कर सकते ...

— टिम

हां, लेकिन MLE एक सामान्य दृष्टिकोण है और GD सिर्फ एक एल्गोरिथ्म है जिसका उपयोग आप कई विभिन्न कार्यों को कम करने के लिए कर सकते हैं। यह आपकी तरह है कि आपने बीजगणित की तुलना पॉकेट कैलकुलेटर से की ...

— टिम

MLE उद्देश्य फ़ंक्शन (संभावना फ़ंक्शन) निर्दिष्ट करता है; जीडी एक समस्या का इष्टतम समाधान ढूंढता है जब उद्देश्य फ़ंक्शन निर्दिष्ट किया जाता है। अधिकतम संभावना समस्या को हल करने के लिए आप जीडी (या अन्य अनुकूलन एल्गोरिदम) का उपयोग कर सकते हैं, और परिणाम अधिकतम संभावना अनुमानक होगा।

— जूलमैन 15

@ML_Pro यह मेरे उत्तर में दिए गए लिंक में वर्णित है। संक्षेप में: हाँ यह pdf का एक उत्पाद है। उत्पाद क्योंकि हम मानते हैं कि डेटा iid है यह पीडीएफ के संदर्भ में परिभाषित किया गया है क्योंकि हम संभावना मॉडल के बारे में बात कर रहे हैं।

— टिम

Answer 2

$$f = l(\theta)$$ $$\frac{ df }{ d\theta } = 0$$

$$\theta$$ f

लेकिन लॉजिस्टिक रिग्रेशन की संभावना इस तरह से कोई क्लोज-फॉर्म समाधान नहीं है। इसलिए हमें अन्य विधि का उपयोग करना होगा, जैसे कि gradient descent।

Comments

@ समय पर, आप यहाँ से कुछ देख सकते हैं, courses.cs.washington.edu/courses/cse446/13sp/slides/…

— Belter

"प्रतिगमन गुणांक आमतौर पर अधिकतम संभावना अनुमान का उपयोग कर अनुमान लगाया गया है" ( en.wikipedia.org/wiki/Logistic_regression )

— टिम

अधिकतम संभावना अनुमान प्रतिगमन गुणांक का आकलन करने के लिए एक तरह की विधि है, लेकिन हमारे पास MLE का समाधान खोजने के कई तरीके हैं। तो likelihood function+ gradient descent(जो संभावना फ़ंक्शन का समाधान प्राप्त करने के लिए) का उपयोग करना अभी भी MLE करने का एक तरीका है।

— बेल्टर

आप Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.मशीन लर्निंग के इस वाक्य को भी देख सकते हैं : एक संभाव्य परिप्रेक्ष्य, केविन मर्फी।

— बेल्टर

... तो आपके उत्तर की चिंता भ्रामक है क्योंकि ऐसा लगता है जैसे आप कह रहे हैं कि लॉजिस्टिक प्रतिगमन के लिए हम एमएल का उपयोग नहीं कर रहे हैं और इसके बजाय हम जीडी का उपयोग करते हैं।

— टिम