लॉजिस्टिक रिग्रेशन अच्छी तरह से कैलिब्रेटेड मॉडल का उत्पादन क्यों करता है?

मैं समझता हूं कि वेब पर क्लिक-थ्रू दरों की भविष्यवाणी करने के लिए अक्सर लॉजिस्टिक प्रतिगमन का एक कारण यह है कि यह अच्छी तरह से कैलिब्रेटेड मॉडल का उत्पादन करता है। क्या इसके लिए एक अच्छी गणितीय व्याख्या है?

regression logistic

— lsankar4033
स्रोत

संभावनाओं का अनुमान लगाने के लिए लॉजिस्टिक रिग्रेशन -> जो ओवरफिट न होने पर कैलिब्रेटेड भविष्यवाणियों के लिए नेतृत्व करता है। जबकि अधिकांश मशीन लर्निंग मॉडल प्रोबेबिलिटीज की भविष्यवाणी नहीं करते हैं, बल्कि एक वर्ग - और इन भविष्यवाणियों से व्युत्पन्न छद्म-संभाव्यता के लिए कुछ गर्भपात हैं -> इसलिए अच्छी तरह से कैलिब्रेटेड ध्यान दें

— चार्ट

मुझे प्रश्न में स्पष्ट करना चाहिए था, लेकिन मेरा प्रश्न इस बारे में अधिक था कि ऐसा क्यों है कि एलआर संभावनाओं का अनुमान लगाने के लिए कितना उपयोगी है।

— lsankar4033

यह ध्यान देने योग्य है कि आप केवल कैलिब्रेटेड मॉडल प्राप्त करने के लिए खराब-कैलिब्रेटेड क्लासिफायरियर के आउटपुट के लिए एक लॉजिस्टिक रिग्रेशन फिट कर सकते हैं। इसे प्लॉट स्केलिंग en.wikipedia.org/wiki/Platt_scaling

— जेनेरिक_युसर

जवाबों:

हाँ।

लॉजिस्टिक रिग्रेशन से अनुमानित संभावना वेक्टर मैट्रिक्स समीकरण को संतुष्ट करता है $p$

{एक्स}^{टी} (पी - y) = 0

$X^t(p - y) = 0$

जहां डिजाइन मैट्रिक्स है और प्रतिक्रिया वेक्टर है। इसे रैखिक समीकरणों के संग्रह के रूप में देखा जा सकता है, जो डिज़ाइन मैट्रिक्स प्रत्येक कॉलम से उत्पन्न होता है $X$ $y$ $X$ ।

इंटरसेप्ट कॉलम (जो ट्रांसपोज़्ड मैट्रिक्स में एक पंक्ति है) के लिए विशेषज्ञता, संबंधित रैखिक समीकरण है

\underset{मैं}{Σ} ({पी}_{मैं} - y_{मैं}) = 0

$\sum_i( p_i - y_i) = 0$

इसलिए समग्र औसत अनुमानित संभावना प्रतिक्रिया के औसत के बराबर है।

आमतौर पर, बाइनरी फीचर कॉलम , संबंधित रैखिक समीकरण है $x_{ij}$

\underset{मैं}{Σ} {एक्स}_{मैं जे} ({पी}_{मैं} - y_{मैं}) = \underset{मैं | {एक्स}_{मैं जे} = 1}{Σ} ({पी}_{मैं} - y_{मैं}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

इसलिए अनुमानित भविष्यवाणियों का योग (और औसत) प्रतिक्रिया के योग के बराबर होता है, यहां तक कि उन अभिलेखों के लिए विशेषज्ञता भी है जिनके लिए । $x_{ij} = 1$

— मैथ्यू पारा
स्रोत

@ मैथ्यूड्यूरी मैं आपके पहले समीकरण की व्याख्या कैसे कर सकता हूं? है

फार्म के

p

$p$

? फिर भी इस रैखिक संबंध रखती है? धन्यवाद!

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— रिक

हां, पी उस रूप का है। पहला समीकरण नुकसान फ़ंक्शन के व्युत्पन्न को शून्य पर सेट करने से आता है।

— मैथ्यू

यह केवल अंशांकन-इन-द-बड़े को संबोधित करता है जो वह नहीं है जो हम चाहते हैं: अंशांकन-इन-द-छोटा।

— फ्रैंक हरेल

@FrankHarrell विस्तार से देखभाल? मैंने उन शर्तों को पहले नहीं सुना है।

— मैथ्यू ड्र्यू

यूएस वेदर सर्विस 1950 तक संभावना पूर्वानुमान साहित्य डेटिंग में एक लंबा इतिहास है - यही वह जगह है जहां बैरियर स्कोर का पहली बार उपयोग किया गया था। कैलिब्रेशन-इन-द-छोटा का मतलब है कि अगर 0.01, 0.02, ..., 0.99 के अनुमानित जोखिमों को देखा जाए, तो इनमें से प्रत्येक सटीक है, अर्थात, सभी समय के लिए जब अनुमानित जोखिम 0.4 था, परिणाम 0.4 के बारे में हुआ समय। मैं "कैलिब्रेशन-इन-द-स्माल" अगला कदम कहता हूं: पुरुषों के लिए जिसमें भविष्यवाणी 0.4 थी, वर्तमान में 0.4 का परिणाम था, फिर महिलाओं के लिए।

— फ्रैंक हरेल

मुझे लगता है कि मैं आपको एक आसान समझने वाला विवरण प्रदान कर सकता हूं:

हम जानते हैं कि इसके नुकसान समारोह निम्नलिखित समारोह के रूप में व्यक्त किया जा सकता:

जे (θ) = - \frac{1}{म} Σ_{मैं = 1}^{म} [y^{(मैं)} लॉग (ज_{θ} ({एक्स}^{(मैं)})) + (1 - y^{(मैं)}) लॉग (1 - ज_{θ} ({एक्स}^{(मैं)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
कहाँmकी संख्या का प्रतिनिधित्व करता है सभी प्रशिक्षण के नमूने,

y^{(i)}

$y^{(i)}$ ith नमूने के लेबल,

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$ ith नमूने की भविष्यवाणी की संभावना:

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$ । (पूर्वाग्रह

नोटिस करें

α

$\alpha$ यहां करें)

के बाद से प्रशिक्षण के लक्ष्य को नुकसान समारोह को कम करना है, हमें प्रत्येक पैरामीटर के संबंध में इसकी आंशिक व्युत्पन्न का मूल्यांकन करते हैं $\theta_j$ (विस्तृत व्युत्पत्ति पाया जा सकता है यहाँ ):

\frac{\partial जे (θ)}{\partial θ_{जे}} = \frac{1}{म} Σ_{मैं = 1}^{म} [ज_{θ} ({एक्स}^{(मैं)}) - y^{(मैं)}] {एक्स}_{जे}^{(मैं)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

Σ_{मैं = 1}^{म} ज_{θ} ({एक्स}^{(मैं)}) {एक्स}_{जे}^{(मैं)} = Σ_{मैं = 1}^{म} y^{(मैं)} {एक्स}_{जे}^{(मैं)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

इसका मतलब है कि यदि मॉडल पूरी तरह से प्रशिक्षित है, तो प्रशिक्षण सेट के लिए हमें मिलने वाली अनुमानित संभावनाएं स्वयं फैल जाती हैं ताकि प्रत्येक विशेषता के लिए उस सुविधा के भारित (सभी) मूल्यों का योग उस सुविधा के मूल्यों के योग के बराबर हो सकारात्मक नमूनों की।

$\alpha$ $x_0$ $\alpha$ $\theta_0$

Σ_{मैं = 1}^{म} ज_{θ} ({एक्स}^{(मैं)}) {एक्स}_{0}^{(मैं)} = Σ_{मैं = 1}^{म} y^{(मैं)} {एक्स}_{0}^{(मैं)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

Σ_{मैं = 1}^{म} ज_{θ} ({एक्स}^{(मैं)}) = Σ_{मैं = 1}^{म} y^{(मैं)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

Σ_{मैं = 1}^{म} {पी}^{(मैं)} = Σ_{मैं = 1}^{म} y^{(मैं)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

हम स्पष्ट रूप से देख सकते हैं कि लॉजिस्टिक रिग्रेशन अच्छी तरह से कैलिब्रेटेड है।

संदर्भ: चार्ल्स एल्कान द्वारा लॉग-रैखिक मॉडल और सशर्त यादृच्छिक फ़ील्ड

— लर्नर झांग
स्रोत