लॉजिस्टिक रिग्रेशन के लिए कौन सा नुकसान कार्य सही है?

31

मैंने लॉजिस्टिक रिग्रेशन के लिए लॉस फ़ंक्शन के दो संस्करणों के बारे में पढ़ा, उनमें से कौन सही है और क्यों?

से मशीन लर्निंग , झोउ ZH (चीनी में), के साथ : $\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

$\begin{matrix} (1) & l (β) = \sum_{i = 1}^{m} (- y_{i} β^{T} x_{i} + \ln (1 + e^{β^{T} x_{i}})) \end{matrix}$ $l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$
मेरे कॉलेज के पाठ्यक्रम से, : $z_i = y_if(x_i)=y_i(w^Tx_i + b)$

$\begin{matrix} (2) & L (z_{i}) = \log (1 + e^{- z_{i}}) \end{matrix}$ $L(z_i)=\log(1+e^{-z_i}) \tag 2$

मुझे पता है कि पहला एक सभी नमूनों का संचय है और दूसरा एक एकल नमूने के लिए है, लेकिन मैं दो नुकसान कार्यों के रूप में अंतर के बारे में अधिक उत्सुक हूं। किसी तरह मुझे लगता है कि वे बराबर हैं।

logistic loss-functions

— XTT
स्रोत

31

संबंध इस प्रकार है: । $l(\beta) = \sum_i L(z_i)$

रूप में एक रसद समारोह को परिभाषित करें । उनके पास वह संपत्ति है जो । या दूसरे शब्दों में: $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ $f(-z) = 1-f(z)$

\frac{1}{1 + e^{z}} = \frac{e^{- z}}{1 + e^{- z}} .

$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$

यदि आप दोनों पक्षों के पारस्परिक लेते हैं, तो आपको जो लॉग मिलता है, उसे लें:

\ln (1 + e^{z}) = \ln (1 + e^{- z}) + z .

$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$

दोनों ओर से घटाव और आपको यह देखना चाहिए: $z$

- y_{i} β^{T} x_{i} + l n (1 + e^{y_{i} β^{T} x_{i}}) = L (z_{i}) .

$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$

संपादित करें:

फिलहाल मैं इस उत्तर को पढ़ रहा हूं और उलझन में हूं कि मुझे के बराबर होने के लिए कैसे । शायद मूल प्रश्न में एक टाइपो है। $-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$ $-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

2 संपादित करें:

इस मामले में कि मूल प्रश्न में कोई टाइपो नहीं था, @ManelMorales इस तथ्य पर ध्यान आकर्षित करने के लिए सही प्रतीत होता है कि, जब , प्रायिकता मास फ़ंक्शन को इस प्रकार लिखा जा सकता है , संपत्ति के कारण जो । मैं इसे अलग तरीके से यहां फिर से लिख रहा हूं, क्योंकि वह संकेतन पर एक नए । बाकी प्रत्येक कोडिंग के लिए नकारात्मक लॉग-आउट होने की संभावना है । अधिक विवरण के लिए नीचे उसका उत्तर देखें। $y \in \{-1,1\}$ $P(Y_i=y_i) = f(y_i\beta^Tx_i)$ $f(-z) = 1 - f(z)$ $z_i$ $y$

— टेलर
स्रोत

42

ओपी गलती से मानता है कि इन दो कार्यों के बीच संबंध नमूनों की संख्या (यानी एकल बनाम सभी) के कारण है। हालाँकि, वास्तविक अंतर यह है कि हम अपने प्रशिक्षण लेबल का चयन कैसे करते हैं।

बाइनरी वर्गीकरण के मामले में हम लेबल दे सकते हैं या । $y=\pm1$ $y=0,1$

जैसा कि पहले ही कहा जा चुका है, लॉजिस्टिक फ़ंक्शन एक अच्छा विकल्प है क्योंकि इसमें प्रायिकता का रूप है, अर्थात और के रूप में । यदि हम लेबल लेते हैं तो हम असाइन कर सकते हैं $\sigma(z)$ $\sigma(-z)=1-\sigma(z)$ $\sigma(z)\in (0,1)$ $z\rightarrow \pm \infty$ $y=0,1$

\begin{aligned} P (y = 1 | z) & = σ (z) = \frac{1}{1 + e^{- z}} \\ P (y = 0 | z) & = 1 - σ (z) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$

जिसे और अधिक कॉम्पैक्ट रूप से रूप में लिखा जा सकता है । $\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

लॉग-लाइक को अधिकतम करना अधिक आसान है। लॉग-लाइक को अधिकतम करना नकारात्मक लॉग-लाइबिलिटी को कम करने के समान है। के लिए नमूने , प्राकृतिक लघुगणक और कुछ सरलीकरण लेने के बाद, हम पता लगाना होगा: $m$ $\{x_i,y_i\}$

\begin{aligned} l (z) = - \log (\prod_{i}^{m} P (y_{i} | z_{i})) = - \sum_{i}^{m} \log (P (y_{i} | z_{i})) = \sum_{i}^{m} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \end{aligned}

$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$

इस जुपिटर नोटबुक पर पूर्ण व्युत्पत्ति और अतिरिक्त जानकारी पाई जा सकती है । दूसरी ओर, हमने इसके बजाय लेबल का उपयोग किया हो सकता है । यह स्पष्ट है कि तब हम असाइन कर सकते हैं $y=\pm 1$

P (y | z) = σ (y z) .

$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$

यह भी स्पष्ट है कि । इससे पहले कि हम इस मामले में कम से कम नुकसान समारोह के रूप में एक ही कदम के बाद $\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

\begin{aligned} L (z) = - \log (\prod_{j}^{m} P (y_{j} | z_{j})) = - \sum_{j}^{m} \log (P (y_{j} | z_{j})) = \sum_{j}^{m} \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$

जहां हम पारस्परिक संकेत से प्रेरित होने वाले पारस्परिक कदम उठाने के बाद अंतिम चरण का अनुसरण करते हैं। जबकि हमें इन दो रूपों की बराबरी नहीं करनी चाहिए, यह देखते हुए कि प्रत्येक रूप में अलग-अलग मूल्य लेता है, फिर भी ये दोनों समान हैं: $y$

\begin{aligned} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \equiv \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$

मामला दिखाने के लिए तुच्छ है। यदि , तो बाएं हाथ की ओर और पर दाहिने हाथ की ओर। $y_i=1$ $y_i \neq 1$ $y_i=0$ $y_i=-1$

जबकि मूलभूत कारण हो सकते हैं कि हमारे दो अलग-अलग रूप क्यों हैं (देखें कि दो अलग-अलग लॉजिस्टिक लॉस फॉर्मूलेशन / नोटेशन क्यों हैं? ), पूर्व चुनने का एक कारण व्यावहारिक विचार के लिए है। पूर्व में हम संपत्ति के का उपयोग तुच्छ रूप से और गणना करने के लिए कर सकते हैं , दोनों को अभिसरण विश्लेषण के लिए आवश्यक है (यानी हेस्सियन की गणना करके नुकसान फ़ंक्शन के उत्तलता का निर्धारण करने के लिए )। $\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$ $\nabla l(z)$ $\nabla^2l(z)$

— मैनुअल मोरालेस
स्रोत

क्या लॉजिस्टिक लॉस फंक्शन उत्तल है?

— user85361

2

लॉग reg IS उत्तल है, लेकिन Alpha -convex नहीं है। इस प्रकार हम एक सीमा नहीं लगा सकते हैं कि कितने लंबे समय तक ढाल को अभिसरण करना है। हम एक नियमितीकरण शब्द जोड़कर इसे दृढ़ता से उत्तल बनाने के लिए के रूप को समायोजित कर सकते हैं : सकारात्मक स्थिरांक के साथ हमारे नए कार्य को परिभाषित करता है st बेहद लंबा उत्तल और हम अब के अभिसरण को सिद्ध कर सकते हैं । दुर्भाग्य से, हम अब एक अलग कार्य को कम कर रहे हैं! सौभाग्य से, हम दिखा सकते हैं कि नियमित फ़ंक्शन के इष्टतम का मूल्य मूल के इष्टतम के मूल्य के करीब है।

l (z)

$l(z)$

α

$\alpha$

l

$l$

λ

$\lambda$

l^{'} (z) = l (z) + λ ‖ z ‖^{2}

$l'(z)=l(z)+\lambda\|z\|^2$

l^{'} (z)

$l'(z)$

λ

$\lambda$

l^{'}

$l'$

— मैनुअल मोरालेस

आपके द्वारा संदर्भित नोटबुक चली गई है, मुझे एक और प्रमाण मिला है: statlect.com/fundamentals-of-statistics/…

— Domi.Zhang

2

मुझे यह सबसे उपयोगी उत्तर लगा।

— mohit6up

@ManuelMorales क्या आपके पास नियमित रूप से फ़ंक्शन के इष्टतम मूल्य का लिंक मूल के करीब है?

— मार्क

19

मैंने लॉजिस्टिक रिग्रेशन के लिए नुकसान फ़ंक्शन को निम्नानुसार सीखा।

लॉजिस्टिक रिग्रेशन बाइनरी वर्गीकरण करता है, और इसलिए लेबल आउटपुट बाइनरी होते हैं, 0 या 1. लेट 1। संभावना है कि बाइनरी आउटपुट 1 को इनपुट फीचर वेक्टर दिया गया है । गुणांक वजन है कि एल्गोरिथ्म सीखने की कोशिश कर रहा है। $P(y=1|x)$ $y$ $x$ $w$

P (y = 1 | x) = \frac{1}{1 + e^{- w^{T} x}}

$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$

क्योंकि लॉजिस्टिक रिग्रेशन बाइनरी है, प्रायिकता केवल 1 शून्य से ऊपर का शब्द है। $P(y=0|x)$

P (y = 0 | x) = 1 - \frac{1}{1 + e^{- w^{T} x}}

$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$

नुकसान फ़ंक्शन का योग (A) आउटपुट गुणक और (B) आउटपुट गुणनफल से एक प्रशिक्षण उदाहरण के लिए, संक्षेपित है। से अधिक प्रशिक्षण उदाहरण। $J(w)$ $y=1$ $P(y=1)$ $y=0$ $P(y=0)$ $m$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log P (y = 1) + (1 - y^{(i)}) \log P (y = 0)

$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$

जहाँ आपके प्रशिक्षण डेटा में लेबल को इंगित करता है । एक प्रशिक्षण उदाहरण के एक लेबल है, तो , तो , जगह में छोड़ दिया योज्य छोड़ने लेकिन साथ सही योज्य बनाने बनने । दूसरी ओर, यदि किसी प्रशिक्षण उदाहरण में , तो शब्द के साथ सही समन यथावत रहता है, लेकिन बायाँ समन हो जाता है । गणना की आसानी के लिए लॉग संभावना का उपयोग किया जाता है। $y^{(i)}$ $i^{th}$ $1$ $y^{(i)}=1$ $1-y^{(i)}$ $0$ $y=0$ $1-y^{(i)}$ $0$

यदि हम पहले के भावों के साथ और को प्रतिस्थापित करते हैं, तो हमें मिलता है: $P(y=1)$ $P(y=0)$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log (\frac{1}{1 + e^{- w^{T} x}}) + (1 - y^{(i)}) \log (1 - \frac{1}{1 + e^{- w^{T} x}})

$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$

आप स्टैनफोर्ड व्याख्यान नोट्स में इस फॉर्म के बारे में अधिक पढ़ सकते हैं ।

— stackoverflowuser2010
स्रोत

यह उत्तर यहां कुछ प्रासंगिक परिप्रेक्ष्य भी प्रदान करता है।

— जियोमैट 22

6

आपके पास जो अभिव्यक्ति है वह हानि नहीं है (कम से कम), बल्कि एक लॉग-लाइबिलिटी (अधिकतम होने के लिए) है।

— xenocyon

2

@xenocyon सच - यह एक ही सूत्रण आमतौर पर पूर्णांक पर लागू होने वाले ऋणात्मक चिन्ह के साथ लिखा जाता है।

— एलेक्स क्लिबिस

1

माध्य चुकता त्रुटि के बजाय, हम क्रॉस-एन्ट्रॉपी नामक एक लागत फ़ंक्शन का उपयोग करते हैं, जिसे लॉग लॉस भी कहा जाता है। क्रॉस-एन्ट्रापी नुकसान को दो अलग-अलग लागत कार्यों में विभाजित किया जा सकता है: एक के लिए y = 1 और एक के लिए y = 0।

\begin{aligned} j (θ) & = \frac{1}{m} \sum_{i = 1}^{m} C o s t (h_{θ} (x^{(i)}), y^{(i)}) \\ C o s t (h_{θ} (x), y) & = - \log (h_{θ} (x)) & i f y & = 1 \\ C o s t (h_{θ} (x), y) & = - \log (1 - h_{θ} (x)) & i f y & = 0 \end{aligned}

$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$

जब हम उन्हें एक साथ रखते हैं:

j (θ) = \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x)^{(i)})]

$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$

उपरोक्त समीकरण में और से गुणा करना एक डरपोक चाल है जो आइए हम दोनों और मामलों को हल करने के लिए समान समीकरण का उपयोग करते हैं । यदि , तो पहला पक्ष रद्द हो जाता है। यदि , तो दूसरा पक्ष रद्द हो जाता है। दोनों ही मामलों में हम केवल उस ऑपरेशन को करते हैं जो हमें करने की आवश्यकता है। $y$ $(1−y)$ $y=1$ $y=0$ $y=0$ $y=1$

यदि आप forलूप का उपयोग नहीं करना चाहते हैं , तो आप ऊपर दिए गए समीकरण का एक वेक्टरकृत रूप आज़मा सकते हैं

\begin{aligned} h & = g (X θ) \\ J (θ) & = \frac{1}{m} \cdot (- y^{T} \log (h) - (1 - y)^{T} \log (1 - h)) \end{aligned}

$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$

संपूर्ण विवरण मशीन लर्निंग चेसशीट पर देखा जा सकता है ।

— एमानुएल फोंटेल्स
स्रोत