GLM के लिए "लिंक फ़ंक्शन" और "कैनोनिकल लिंक फ़ंक्शन" के बीच अंतर क्या है

65

'लिंक फ़ंक्शन' और 'कैनोनिकल लिंक फ़ंक्शन' के बीच अंतर क्या है? इसके अलावा, क्या एक के बाद एक प्रयोग करने के कोई (सैद्धांतिक) फायदे हैं?

उदाहरण के लिए, एक द्विआधारी प्रतिक्रिया चर जैसे कई लिंक कार्यों का उपयोग कर तैयार किया जा सकता logit , PROBIT , आदि लेकिन, logit यहाँ "प्रामाणिक" लिंक समारोह माना जाता है।

logistic generalized-linear-model link-function

— steadyfish
स्रोत

10

मैं यहां बड़े पैमाने पर लिंक कार्यों पर चर्चा करता हूं: लॉग और प्रोबेट मॉडल के बीच अंतर , एक द्विआधारी प्रतिक्रिया चर के लिए प्रतिगमन पर ध्यान केंद्रित करना। यद्यपि उस चर्चा का केवल एक लिंक फ़ंक्शन के 'विहित' होने के अर्थ पर केंद्रित है, फिर भी यह पढ़ने में मददगार हो सकता है। ध्यान दें कि गैर-विहित लिंक फ़ंक्शन के एक विहित और गैर-विहित लिंक फ़ंक्शन के भेद बी / टी और लाभों को समझने के लिए जीएलआईएम में अंतर्निहित गणित में काफी गहराई तक जाने की आवश्यकता होती है।

— गंग -

68

उपरोक्त उत्तर अधिक सहज हैं, इसलिए मैं और अधिक कठोरता की कोशिश करता हूं।

GLM क्या है?

मान साथ प्रतिसाद और -dimensional कोवरिएट वेक्टर एक सेट को निरूपित करते हैं । के लिए स्वतंत्र टिप्पणियों, प्रत्येक के वितरण घनत्व के साथ एक घातीय परिवार है $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ यहाँ, ब्याज (प्राकृतिक या विहित पैरामीटर) के पैरामीटर है , एक है पैमाने पैरामीटर (परिचित या एक बाधा के रूप में देखा) और और जाना जाता कार्य हैं। के लिए तय इनपुट मानों की आयामी वैक्टर

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ व्याख्यात्मक चर

द्वारा निरूपित किए जाते हैं । हम मानते हैं कि इनपुट केवल रैखिक कार्य है, रैखिक भविष्यवक्ता, के माध्यम से प्रभाव (1) वैक्टर

जिस पर

निर्भर करता है। ऐसा लगता है कि दिखाया जा सकता है के रूप में

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ , इस निर्भरता रैखिक भविष्यवक्ता को जोड़ने के द्वारा स्थापित है

और

मतलब के माध्यम से। विशेष रूप से, मतलब

रैखिक भविष्यवक्ता के एक उलटी और चिकनी समारोह, यानी के रूप में देखा जाता है

अब आप अपने सवाल का जवाब देने:

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

इसलिए वे डिफ़ॉल्ट रूप से उपयोग किए जाते हैं। हालाँकि, ध्यान दें कि इस बात का कोई प्राथमिक कारण नहीं है कि इस या किसी अन्य लिंक द्वारा दिए गए पैमाने पर मॉडल में प्रभाव कैसे जोड़ा जाना चाहिए।

— मोमो
स्रोत

5

+1, यह एक बहुत अच्छा जवाब है, @ मोमो। मुझे कुछ समीकरण पढ़ने में कठिन लगे जब उन्हें पैराग्राफ में दफन किया गया था, इसलिए मैंने उन्हें डबल डॉलर-संकेत (अर्थात $ $) का उपयोग करके 'ब्लॉक' कर दिया । मुझे आशा है कि यह ठीक है (यदि नहीं, तो आप रोलबैक कर सकते हैं, w / my माफी)।

— गंग -

1

@Momo यहाँ मूल प्रश्न करता है, हालाँकि, इसमें वेई के बारे में पूछा गया शामिल है, इसलिए यह इंगित करने योग्य है कि अभी तक स्पष्ट रूप से उत्तर नहीं दिया गया है।

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ केवल मौजूद है, अगर हम विहित लिंक फ़ंक्शन का उपयोग करते हैं।

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

गंग के एक अच्छे स्पष्टीकरण के हवाले से कहा गया है: विहित लिंक में न्यूनतम दक्षता के विशेष सैद्धांतिक गुण होते हैं। इसका मतलब है कि आप परिणामों की संख्या पर कंडीशनिंग द्वारा एक सशर्त लॉगिट मॉडल (जिसे अर्थशास्त्री एक निश्चित प्रभाव मॉडल कहते हैं) को परिभाषित कर सकते हैं, लेकिन आप सशर्त प्रोबेट मॉडल को परिभाषित नहीं कर सकते हैं, क्योंकि प्रोबेट लिंक के साथ उपयोग करने के लिए पर्याप्त आँकड़े नहीं हैं।

— StasK
स्रोत

क्या आप न्यूनतम पर्याप्तता पर थोड़ा विस्तार कर सकते हैं? उपरोक्त स्पष्टीकरण से हम अभी भी एक प्रोबेट मॉडल को परिभाषित कर सकते हैं, है ना? यह सुनिश्चित करने के लिए विहित लिंक फ़ंक्शन नहीं होगा, लेकिन गैर-विहित लिंक फ़ंक्शन का उपयोग करने में क्या नुकसान है।

— पिकाचुचमेलेऑन

9

यहां MIT के 18.650 वर्ग से प्रेरित एक छोटा सा चित्र है जो मुझे काफी उपयोगी लगता है क्योंकि यह इन कार्यों के बीच संबंधों को देखने में मदद करता है। मैंने @ मोमो के पोस्ट में उसी नोटेशन का उपयोग किया है:

$\gamma(\theta)$
$g(\mu)$

$g$

चित्र आसानी से एक दिशा से दूसरी दिशा में जाने की अनुमति देता है, उदाहरण के लिए:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

विहित लिंक समारोह

$g$

γ^{- 1} \circ {जी}^{- 1} = {(जी \circ γ^{'})}^{- 1} = मैं

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— जेवियर बॉरेट सिस्कोट
स्रोत

1

ऊपर दिए गए उत्तर पहले से ही कवर किए गए हैं जो मैं कहना चाहता हूं। मशीन सीखने के शोधकर्ता के रूप में कुछ बिंदुओं को स्पष्ट करने के लिए:

लिंक फ़ंक्शन सक्रियण फ़ंक्शन के विपरीत और कुछ नहीं है। उदाहरण के लिए, लॉगिट सिग्मॉइड का व्युत्क्रम है, प्रोबिट गॉसियन के संचयी वितरण समारोह का विलोम है।
$w^T x$ $w$ $x$

उपरोक्त चर्चा का घातीय परिवार से कोई लेना-देना नहीं है, लेकिन क्रिस्टोफर बिशप के PRML पुस्तक अध्याय 4.3.6 में एक अच्छी चर्चा पाई जा सकती है।

— गुओजुन झांग
स्रोत