क्या GLM में लॉग लाइबिलिटी ने वैश्विक मैक्सिमा के अभिसरण की गारंटी दी है?

Question

मेरे प्रश्न हैं:

1. क्या सामान्यीकृत रैखिक मॉडल (GLM) को वैश्विक अधिकतम में परिवर्तित करने की गारंटी है? यदि हां, तो क्यों?
2. इसके अलावा, उत्तलता का बीमा करने के लिए लिंक समारोह में क्या अड़चनें हैं?

GLMs के बारे में मेरी समझ यह है कि वे एक अत्यधिक नॉनलाइनियर संभावना फ़ंक्शन को अधिकतम करते हैं। इस प्रकार, मुझे लगता है कि कई स्थानीय मैक्सिमा हैं और जो पैरामीटर सेट करता है आप अनुकूलन एल्गोरिथ्म के लिए प्रारंभिक स्थितियों पर निर्भर करते हैं। हालाँकि, कुछ शोध करने के बाद मुझे एक भी स्रोत नहीं मिला है जो यह बताता है कि कई स्थानीय मैक्सिमा हैं। इसके अलावा, मैं अनुकूलन तकनीकों से इतना परिचित नहीं हूं, लेकिन मुझे पता है कि न्यूटन-राफसन विधि और IRLS एल्गोरिदम स्थानीय मैक्सिमा के लिए अत्यधिक प्रवण हैं।

यदि संभव हो तो एक सहज और गणितीय आधार पर दोनों की व्याख्या करें!

संपादित करें: dksahuji ने मेरे मूल प्रश्न का उत्तर दिया, लेकिन मैं अनुवर्ती प्रश्न [ 2 ] को जोड़ना चाहता हूं । ("उत्तलता बीमा कराने के लिए लिंक फंक्शन पर क्या अड़चनें हैं?")

Comments

मुझे लगता है कि इससे पहले कुछ प्रतिबंधों की आवश्यकता होनी चाहिए। कथन का स्रोत क्या है?

— Glen_b -Reinstate मोनिका

कई साइटों को यह आभास हो रहा था कि मैं कुछ भी नहीं ढूँढ सकता था, जो इसे स्पष्ट रूप से उल्लेख करता है, इसलिए मैं इसके अव्यवस्था का स्वागत करता हूं!

— डंकमास्टरडान

जब तक संभावना को डोमेन पर हर जगह अच्छी तरह से परिभाषित किया जाता है (और कुछ पेचीदा संख्यात्मक मुद्दों की अनदेखी) मुझे लगता है हाँ। उन शर्तों के तहत, हेसियन डोमेन पर हर जगह <0 है ताकि समानता विश्व स्तर पर अवतल हो। Btw, फ़ंक्शन मापदंडों में 'अत्यधिक गैर-रैखिक' नहीं हैं और यही मायने रखता है।

— user603

@ user603 आपका स्रोत / प्रमाण क्या है कि हर जगह <0 है?

— डंकमास्टरडान

लॉजिस्टिक, पॉइसन और गॉसियन रिग्रेशन को अक्सर "अच्छा" लिंक फ़ंक्शन दिया जाता है। हालांकि, मनमाने ढंग से लिंक फ़ंक्शन के साथ, वे उत्तल नहीं हैं।

— 22

Answer 1

घातीय परिवार की परिभाषा है:

$$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$$

जहां लॉग पार्टीशन फंक्शन है। अब कोई यह साबित कर सकता है कि निम्नलिखित तीन चीजें 1 डी मामले के लिए हैं (और वे उच्च आयामों के लिए सामान्यीकृत हैं - आप घातीय परिवारों या लॉग विभाजन के गुणों पर गौर कर सकते हैं):$A(\theta)$

1. $\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$

2. $\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$

3. $\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

ऊपर परिणाम साबित होता है कि उत्तल है (के रूप में सी ओ वी ( φ ( एक्स ) ) सकारात्मक semidefinite है)। अब हम MLE के लिए संभावना समारोह पर एक नज़र डालते हैं: $A(\theta)$${\rm cov}(\phi(x))$

$$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$$

$\theta^T[\phi(\mathcal{D})]$$-A(\theta)$ अवतल है। इसलिए, एक अद्वितीय वैश्विक अधिकतम है।

एक सामान्यीकृत संस्करण है जिसे घुमावदार घातीय परिवार कहा जाता है जो समान होगा। लेकिन अधिकांश प्रमाण विहित रूप में हैं।

Comments

तो इसका मतलब यह है कि GLM के पास एक अद्वितीय वैश्विक मिनीमा नोमेटर है जो लिंक फ़ंक्शन को चुना जाता है (गैर-राजनैतिक लोगों सहित)?

— DankMasterDan

जब तक मैं इसे समाप्त करूँगा, मैं उत्तर देने का प्रयास करूँगा। $p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$वह मामला है जिसके बारे में आप बात कर रहे हैं। यह अभी भी अवतल है$\eta$ लेकिन में नहीं हो सकता $\theta$ इसलिए $\eta$ ऐसा होना चाहिए कि संपूर्ण लॉग संभावना में अवतल हो $\theta$।

— dksahuji

ध्यान दें कि प्रश्न केवल अस्तित्व के बजाय अभिसरण के बारे में पूछता है, लेकिन कुछ प्रतिबंधों के साथ, यह भी उल्लेखनीय हो सकता है।

— Glen_b -Reinstate मोनिका

@Glen_b क्या आप विस्तृत कर सकते हैं? मैं ऐसे किसी प्रतिबंध को नहीं जानता। हो सकता है कि अवतल कार्य के मामले में ग्रैटिनी अभिसरण के लिए ग्रेडिएंट आधारित ऑप्टिमाइज़र में कदम रखने पर प्रतिबंध जैसा कुछ हो।

— dksahuji

@Glen_b सामान्य रूप से सही हो सकता है, लेकिन मैं छोटे सहनीय मूल्य के भीतर ऑप्टिमा में परिवर्तित नहीं होने के लिए अवतल कार्य का कोई कारण नहीं देख पा रहा हूं। लेकिन मैं कहूंगा कि मुझे इनसे कोई व्यावहारिक अनुभव नहीं है और मैंने अभी शुरुआत की है। :)

— dksahuji