लॉजिस्टिक रजिस्टेंस के गुण

हम कुछ लॉजिस्टिक रेजिमेंट्स के साथ काम कर रहे हैं और हमने महसूस किया है कि औसत अनुमानित संभावना हमेशा नमूने में लोगों के अनुपात के बराबर होती है; अर्थात्, सज्जित मूल्यों का औसत नमूने के औसत के बराबर है।

क्या कोई मुझे कारण समझा सकता है या मुझे एक संदर्भ दे सकता है जहां मुझे यह प्रदर्शन मिल सकता है?

— गैबी फॉयक्स
स्रोत

इसका कारण यह है कि लॉजिस्टिक प्रतिगमन ठीक उसी को प्राप्त करने की कोशिश कर रहा है: पूर्व वितरण ("औसत") सहित डेटा वितरण को मॉडलिंग करना। क्या यह व्यवहार अवांछित है?

— बायरज

@ बायर लिंक फ़ंक्शन की अशुद्धता यह संकेत देता है कि यह घटना आपके लक्षण वर्णन से अधिक गहरी है। वास्तव में यहाँ प्रदर्शन किया जाना है।

— whuber

इस संपत्ति को कभी-कभी अंशांकन-इन-द-बड़े कहा जाता है जब जोखिम का अनुमान लगाने के लिए लॉजिस्टिक प्रतिगमन का उपयोग किया जाता है।

— जूलियट

जो व्यवहार आप देख रहे हैं वह लॉजिस्टिक रिग्रेशन में "विशिष्ट" मामला है, लेकिन हमेशा सच नहीं होता है। यह बहुत अधिक व्यापकता में भी है (नीचे देखें)। यह तीन अलग-अलग तथ्यों के संगम का परिणाम है।

भविष्यवाणियों के रैखिक कार्य के रूप में लॉग-ऑड मॉडलिंग करने का विकल्प,
लॉजिस्टिक रिग्रेशन मॉडल में गुणांकों के अनुमान प्राप्त करने के लिए अधिकतम संभावना का उपयोग, और
मॉडल में एक अवरोधन शब्द का समावेश।

यदि उपरोक्त में से कोई भी मौजूद नहीं है, तो औसत अनुमानित संभावना नहीं होगी, सामान्य रूप से, नमूना में लोगों के अनुपात से मेल खाती है।

हालांकि, (लगभग) सभी सांख्यिकीय सॉफ़्टवेयर ऐसे मॉडल के लिए अधिकतम-संभावना अनुमान का उपयोग करते हैं, इसलिए, व्यवहार में, आइटम 1 और 2 अनिवार्य रूप से हमेशा मौजूद होते हैं, और आइटम 3 आमतौर पर मौजूद होते हैं, विशेष मामलों को छोड़कर।

कुछ विवरण

ठेठ लॉजिस्टिक रिग्रेशन फ्रेमवर्क में, हम प्रायिकता साथ स्वतंत्र द्विपद परीक्षण के परिणाम का निरीक्षण करते हैं । चलो मनाया प्रतिक्रियाओं हो। तो कुल संभावना है $p_i$ $y_i$ और इतने लॉग-संभावना है

एल = Π_{मैं = 1}^{n} {पी}_{मैं}^{y_{मैं}} (1 - {पी}_{मैं})^{1 - y_{मैं}} = Π_{मैं = 1}^{n} \exp (y_{मैं} लॉग ({पी}_{मैं} / (1 - {पी}_{मैं})) + लॉग (1 - {पी}_{मैं})),

$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$

ℓ = Σ_{मैं = 1}^{n} y_{मैं} लॉग ({पी}_{मैं} / (1 - {पी}_{मैं})) + Σ_{मैं = 1}^{n} लॉग (1 - {पी}_{मैं}) ।

$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$

अब, हम भविष्यवक्ताओं का एक वेक्टर है प्रत्येक अवलोकन के लिए और तथ्य 1 से ऊपर, रसद प्रतिगमन मॉडल मानती है कि $\newcommand{\x}{\mathbf x}\x_i$ मापदंडों के किसी अज्ञात वेक्टर के लिए । नोट: इस उलटफेर करके, हम है कि मिल ।

लॉग \frac{{पी}_{मैं}}{1 - {पी}_{मैं}} = β^{टी} {एक्स}_{मैं},

$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$

β

$\beta$

p_{i} = 1 / (1 + e^{- β^{T} x_{i}})

$p_i = 1/(1+e^{-\beta^T \x_i})$

मॉडल फिट से प्रभावित होती है समीकरणों का एक सेट अधिकतम संभावना का उपयोग करना (फैक्ट 2) पर विचार से हल करने के लिए । गौर करें कि $\partial \ell / \partial \beta = 0$

\frac{\partial ℓ}{\partial β} = \underset{मैं}{Σ} y_{मैं} {एक्स}_{मैं} - \underset{मैं}{Σ} \frac{{एक्स}_{मैं}}{1 + \exp (- β^{टी} {एक्स}_{मैं})} = \underset{मैं}{Σ} y_{मैं} {एक्स}_{मैं} - \underset{मैं}{Σ} {पी}_{मैं} {एक्स}_{मैं},

$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$

\underset{मैं}{Σ} y_{मैं} {एक्स}_{मैं} = \underset{मैं}{Σ} {\hat{पी}}_{मैं} {एक्स}_{मैं},

$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$

{\hat{p}}_{i} = (1 + \exp (- {\hat{β}}^{T} x_{i}))^{- 1}

$\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$

$\x_i$ $j$ $i$ $\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$

एक अनुकरण

$R$

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

सामान्य मामला : जैसा कि ऊपर उल्लेख किया गया है, संपत्ति जो औसत प्रतिक्रिया के अनुसार अनुमानित औसत के बराबर है, सामान्यीकृत रैखिक मॉडल के वर्ग के लिए अधिक से अधिक व्यापकता रखती है , अधिकतम संभावना से, विहित लिंक फ़ंक्शन का उपयोग करके , और इंटरसेप्ट सहित में नमूना।

संदर्भ

संबंधित सिद्धांत के लिए कुछ अच्छे संदर्भ निम्नलिखित हैं।

ए। अग्रेस्टी (2002), श्रेणीबद्ध डेटा विश्लेषण , 2 एड।, विली।
पी। मैक्कुलग और जेए नेल्डर (1989), सामान्यीकृत रैखिक मॉडल , दूसरा संस्करण, चैपमैन एंड हॉल। (सामान्य तरीकों के मूल लेखकों से पाठ।)

— कार्डिनल
स्रोत

+1 यह प्रदर्शन (सभी जीएलएम को सामान्य करने की कोशिश किए बिना लॉजिस्टिक रिग्रेशन मॉडल के लिए विशिष्ट), माददला (1983) लिमिटेड डिपेंडेंट और क्वालिटेटिव वेरिएबल्स इन इकोनोमेट्रिक्स , पीपी 25-26 में भी दिया गया है ।

— StasK

@StasK: अतिरिक्त संदर्भ के लिए धन्यवाद, जिससे मैं परिचित नहीं हूं। चीयर्स।

— कार्डिनल

@कार्डिनल: मुझे याद नहीं है कि अग्रेती इस पर चर्चा कर रहे हैं। क्या मैक्कलघ और नेल्डर में इसकी चर्चा है?

— जूलियट