दो अलग-अलग लॉजिस्टिक लॉस फॉर्मेशन / नोटेशन क्यों हैं?

मैंने दो प्रकार के लॉजिस्टिक लॉस फॉर्मूलेशन देखे हैं। हम आसानी से दिखा सकते हैं कि वे समान हैं, एकमात्र अंतर लेबल की परिभाषा है । $y$

गठन / संकेतन 1, : $y \in \{0, +1\}$

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

जहां , जहां लॉजिस्टिक फ़ंक्शन वास्तविक संख्या से 0,1 अंतराल का मानचित्र बनाता है। $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

सूत्रीकरण / संकेतन 2, $y \in \{-1, +1\}$ :

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

एक संकेतन चुनना एक भाषा चुनने जैसा है, एक या दूसरे का उपयोग करने के लिए पेशेवरों और विपक्ष हैं। इन दोनों सूचनाओं के लिए पेशेवरों और विपक्ष क्या हैं?

इस प्रश्न का उत्तर देने का मेरा प्रयास यह है कि ऐसा लगता है कि सांख्यिकी समुदाय को पहली संकेतन पसंद है और कंप्यूटर विज्ञान समुदाय को दूसरी संकेतन पसंद है।

पहले संकेतन को "प्रायिकता" शब्द के साथ समझाया जा सकता है, क्योंकि लॉजिस्टिक फ़ंक्शन वास्तविक संख्या $\beta^Tx$ को 0,1 अंतराल में बदल देता है।
और दूसरा अंकन अधिक संक्षिप्त है और काज हानि या 0-1 नुकसान के साथ तुलना करना अधिक आसान है।

क्या मैं सही हू? कोई अन्य अंतर्दृष्टि?

— हतौ दू
स्रोत

मुझे यकीन है कि यह कई बार पहले ही पूछा जा चुका होगा। जैसे आँकड़े .stackexchange.com

— 145147/

आप यह क्यों कहते हैं कि काज हानि के साथ तुलना करने के लिए दूसरा अंकन आसान है? सिर्फ इसलिए कि यह , या कुछ और के बजाय पर परिभाषित है?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— छायाकार

मैं पहले रूप की समरूपता को पसंद करता हूं, लेकिन रैखिक भाग को बहुत गहरा दफन किया जाता है, इसलिए इसके साथ काम करना मुश्किल हो सकता है।

— मैथ्यू ड्र्यू

@ssdecontrol कृपया इस आंकड़े की जांच करें, cs.cmu.edu/~yandongl/loss.html जहां x अक्ष is , और y अक्ष हानि मान है। इस तरह की परिभाषा 01 नुकसान, काज हानि, आदि के साथ तुलना करने के लिए सुविधाजनक है

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du

जवाबों:

लघु संस्करण

हाँ
हाँ

लंबा संस्करण

गणितीय मॉडलिंग के बारे में अच्छी बात यह है कि यह लचीला है। ये वास्तव में समान नुकसान वाले कार्य हैं, लेकिन वे डेटा के बहुत अलग अंतर्निहित मॉडल से प्राप्त करते हैं।

फॉर्मूला 1

पहली संकेतन लिए बर्नौली प्रायिकता मॉडल से निकला है , जिसे पारंपरिक रूप से पर परिभाषित किया गया है । इस मॉडल में, परिणाम / लेबल / वर्ग / पूर्वानुमान एक यादृच्छिक चर द्वारा दर्शाया जाता है जो एक वितरण का अनुसरण करता है । इसलिए इसकी संभावना है: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

लिए । सूचक मानों के रूप में 0 और 1 का उपयोग करना हमें संक्षिप्त अभिव्यक्ति के सबसे दूर के टुकड़े के कार्य को कम करने देता है। $p\in[0, 1]$

जैसा कि आपने बताया है, आप तब को इनपुट डेटा एक मैट्रिक्स से लिंक कर सकते हैं जिससे । यहाँ से, सीधा बीजगणितीय हेरफेर से पता चलता है कि आपके प्रश्न में पहले के समान है (संकेत: )। इसलिए पर लॉग-नुकसान को कम करना बर्नौली मॉडल के अधिकतम संभावना अनुमान के बराबर है। $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ $\{0, 1\}$

यह सूत्रीकरण सामान्यीकृत रैखिक मॉडल का एक विशेष मामला भी है , जिसे एक उल्टे, भिन्न करने योग्य फ़ंक्शन और एक वितरण के लिए के रूप में तैयार किया जाता है। घातीय परिवार । $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

सूत्र २

वास्तव में .. मैं फॉर्मूला 2 से परिचित नहीं हूँ। हालाँकि, को को परिभाषित करना एक समर्थन वेक्टर मशीन के निर्माण में मानक है । एक SVM फिट करना अधिकतम अधिकतम करने के लिए मेल खाता है $y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

यह एक विवश अनुकूलन समस्या का लैग्रेन्जियन रूप है। यह उद्देश्य फ़ंक्शन साथ एक नियमित रूप से अनुकूलन समस्या का भी उदाहरण है। कुछ नुकसान फ़ंक्शन और एक स्केलर हाइपरपरमीटर जो नियमितीकरण की मात्रा को नियंत्रित करता है। (जिसे "संकोचन" भी कहा जाता है) लागू होता है । काज हानि केवल लिए कई ड्रॉप-इन संभावनाओं में से एक है , जिसमें आपके प्रश्न में दूसरा भी शामिल है ।

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
स्रोत

फॉर्मूला 1 में, यह नहीं होना चाहिए:

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

— glebm

मुझे लगता है कि @ssdecontrol का बहुत अच्छा जवाब था। मैं केवल अपने प्रश्न के लिए सूत्र 2 के लिए कुछ टिप्पणियां जोड़ना चाहता हूं।

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

लोगों को इस सूत्रीकरण का कारण यह पसंद है कि यह बहुत संक्षिप्त है, और यह "संभावना व्याख्या विवरण" को हटा देता है।

ट्रिकी नोटेशन , नोट, एक बाइनरी वैरिएबल है, लेकिन यहाँ एक वास्तविक संख्या है। सूत्रीकरण 1 की तुलना में, हमें असतत लेबल बनाने के लिए दो अतिरिक्त चरणों की आवश्यकता है, चरण 1। सिग्मोड फ़ंक्शन चरण 2। 0.5% गुना लागू करें। $\hat y$ $y$ $\hat y$

लेकिन इन विवरणों के बिना अच्छे हैं क्योंकि हम आसानी से अन्य वर्गीकरण नुकसान, जैसे कि 01 नुकसान या काज हानि के साथ तुलना कर सकते हैं।

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

यहां हम तीन हानि कार्यों की साजिश करते हैं, x अक्ष और y अक्ष हानि मान है। ध्यान दें, ऊपर दिए गए सभी फॉर्मूलों में एक वास्तविक संख्या है, और यह संख्या रैखिक फॉर्म या अन्य रूपों से आ सकती है। इस तरह के अंकन संभावना विवरण को छुपाते हैं। $y \cdot \hat y$ $\hat y$ $\beta^Tx$

— हतौ दू
स्रोत

मैं देख रहा हूँ कि आप आसान तुलना के बारे में क्या कहते हैं

— छायाकार