लॉजिस्टिक रिग्रेशन के लिए मैट्रिक्स नोटेशन

रैखिक प्रतिगमन (चुकता नुकसान) में, मैट्रिक्स का उपयोग करके हमारे पास उद्देश्य के लिए एक बहुत संक्षिप्त संकेतन है

minimize ‖ A x - b ‖^{2}

$\text{minimize}~~ \|Ax-b\|^2$

जहाँ $A$ डेटा मैट्रिक्स है, $x$ गुणांक है, और $b$ प्रतिक्रिया है।

क्या लॉजिस्टिक रिग्रेशन उद्देश्य के लिए मैट्रिक्स नोटेशन समान है? मैंने जितने भी नोटिस देखे हैं, वे सभी डेटा पॉइंट (कुछ जैसे छुटकारा नहीं पा सकते हैं $\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ ।

EDIT: joceratops और AdamO के शानदार जवाब के लिए धन्यवाद। उनके उत्तर ने मुझे यह महसूस करने में मदद की कि एक और कारण रैखिक प्रतिगमन में अधिक संक्षिप्त संकेतन है क्योंकि मानदंड की परिभाषा, जो वर्ग और योग या $e^\top e$ । लेकिन लॉजिस्टिक लॉस में, ऐसी कोई परिभाषा नहीं है, जो नोटेशन को थोड़ा और अधिक जटिल बनाती है।

— हतौ दू
स्रोत

जवाबों:

रेखीय प्रतिगमन में का अनुमान लगाने के लिए मैक्सिमम लाइकैलिहुड एस्टीमेशन (MLE) समाधान में निम्न बंद फॉर्म सॉल्यूशन है (यह मानते हुए कि A पूर्ण स्तंभ रैंक वाला एक मैट्रिक्स है): $x$

{\hat{x}}_{lin} = \underset{x}{argmin} ‖ A x - b ‖_{2}^{2} = (A^{T} A)^{- 1} A^{T} b

$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$

यह " उद्देश्य को कम करने वाले ढूंढें" के रूप में पढ़ा जाता है , "। इस तरह रैखिक प्रतिगमन उद्देश्य समारोह का प्रतिनिधित्व करने के बारे में अच्छी बात यह है कि हम सब कुछ मैट्रिक्स संकेतन में रख सकते हैं और हाथ से लिए हल कर सकते हैं । जैसा कि एलेक्स आर का उल्लेख है, व्यवहार में हम अक्सर विचार नहीं करते सीधे क्योंकि यह कम्प्यूटेशनल रूप से अक्षम है और अक्सर पूर्ण रैंक मानदंडों को पूरा नहीं करता है। इसके बजाय, हम मूर-पेनरोज़ स्यूडोइनवेरस की ओर मुड़ते हैं । छद्म व्युत्क्रम के लिए कम्प्यूटेशनल रूप से हल करने के विवरण में चोल्स्की अपघटन या एकवचन मूल्य अपघटन शामिल हो सकता है। $x$ $\|Ax-b\|_2^2$ $\hat{x}_\text{lin}$ $(A^TA)^{-1}$ $A$

वैकल्पिक रूप से, लॉजिस्टिक रिग्रेशन में गुणांकों के आकलन के लिए MLE समाधान है:

{\hat{x}}_{log} = \underset{x}{argmin} \sum_{i = 1}^{N} y^{(i)} \log (1 + e^{- x^{T} a^{(i)}}) + (1 - y^{(i)}) \log (1 + e^{x^{T} a^{(i)}})

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$

जहां (डेटा के प्रत्येक नमूने को पंक्तिबद्ध माना जाता है):

$x$ एक वेक्टर है जो प्रतिगमन गुणांक का प्रतिनिधित्व करता है

$a^{(i)}$ एक वेक्टर है जो डेटा मैट्रिक्स में नमूना / पंक्ति का प्रतिनिधित्व करता है $i^{th}$ $A$

$y^{(i)}$ एक स्केलर है in , और लेबल नमूने के अनुरूप है $\{0, 1\}$ $i^{th}$ $i^{th}$

$N$ डेटा सैंपल में डेटा सैंपल / पंक्तियों की संख्या की संख्या है । $A$

फिर, इसे " ढूंढें जो उद्देश्य फ़ंक्शन को कम करता है" के रूप में पढ़ा जाता है । $x$

यदि आप चाहते हैं, तो आप इसे एक कदम आगे ले जा सकते हैं और मैट्रिक्स के अंकन में का प्रतिनिधित्व कर सकते हैं : $\hat{x}_\text{log}$

{\hat{x}}_{log} = \underset{x}{argmin} [\begin{matrix} 1 & (1 - y^{(1)}) \\ ⋮ & ⋮ \\ 1 & (1 - y^{(N)}) \end{matrix}] [\begin{matrix} \log (1 + e^{- x^{T} a^{(1)}}) & . . . & \log (1 + e^{- x^{T} a^{(N)}}) \\ \log (1 + e^{x^{T} a^{(1)}}) & . . . & \log (1 + e^{x^{T} a^{(N)}}) \end{matrix}]

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$

लेकिन आप ऐसा करने से कुछ हासिल नहीं करते। लॉजिस्टिक रिग्रेशन में एक बंद फॉर्म सॉल्यूशन नहीं होता है और यह वैसा ही लाभ प्राप्त नहीं करता है जैसा कि लीनियर रिग्रेशन मैट्रिक्स नोटेशन में इसका प्रतिनिधित्व करता है। लिए हल करने के लिए अनुमान तकनीक जैसे ढाल वंश और न्यूटन-राफसन विधि का उपयोग किया जाता है। इनमें से कुछ तकनीकों (जैसे न्यूटन-रफसन) का उपयोग करके, को अनुमानित किया जाता है और मैट्रिक्स नोटेशन ( एलेक्स आर द्वारा प्रदान की गई लिंक देखें ) में प्रतिनिधित्व किया जाता है । $\hat{x}_\text{log}$ $\hat{x}_\text{log}$

— joceratops
स्रोत

महान। धन्यवाद। मुझे लगता है कि हमारे पास को हल करने जैसा कोई कारण नहीं है, यही कारण है कि हम मैट्रिक्स नोटेशन बनाने और योग चिन्ह से बचने के लिए उस कदम को अधिक नहीं लेते हैं।

A^{⊤} A x = A^{⊤} b

$A^\top A x=A^\top b$

— हायतौ डू

हमारे पास एक कदम आगे ले जाने का कुछ फायदा है, इसे मैट्रिक्स गुणा में बनाने से कोड सरल हो जाएगा, और कई प्लेटफार्मों जैसे कि मैटलैब में, लूप फॉर ऑल डेटा के साथ, मैट्रिक्स ऑपरेशन की तुलना में बहुत धीमा है।

— हायतौ डू

@ hxd1011: बस एक छोटी सी टिप्पणी: मैट्रिक्स समीकरणों को कम करना हमेशा बुद्धिमान नहीं होता है। के मामले में , आपको वास्तव में मैट्रिक्स के विपरीत की तलाश करने की कोशिश नहीं करनी चाहिए , बल्कि एक चोल्स्की अपघटन जैसा कुछ करना चाहिए जो बहुत तेजी से और अधिक संख्यात्मक रूप से स्थिर होगा। लॉजिस्टिक रिग्रेशन के लिए, विभिन्न पुनरावृत्ति योजनाओं का एक समूह है जो वास्तव में मैट्रिक्स संगणना का उपयोग करते हैं। एक महान समीक्षा के लिए यहां देखें: research.microsoft.com/en-us/um/people/minka/papers/logreg/…

A^{T} A x = A^{T} b

$A^TAx=A^Tb$

A^{T} A

$A^TA$

— एलेक्स आर

@AlexR। आपका बहुत बहुत धन्यवाद। मैंने सीखा कि सामान्य समीकरण का उपयोग करने से मैट्रिक्स सशर्त संख्या चुकता हो जाएगी। और QR या चोल्स्की ज्यादा बेहतर होगा। आपका लिंक बहुत अच्छा है, संख्यात्मक विधियों के साथ ऐसी समीक्षा हमेशा वही होती है जो मैं चाहता था।

— हैताओ डू

@joceratops उत्तर अनुमान के लिए अधिकतम संभावना की अनुकूलन समस्या पर केंद्रित है। यह वास्तव में एक लचीला दृष्टिकोण है जो कई प्रकार की समस्याओं के लिए उत्तरदायी है। अधिकांश मॉडल का अनुमान लगाने के लिए, रैखिक और लॉजिस्टिक रिग्रेशन मॉडल सहित, एक और सामान्य दृष्टिकोण है जो क्षणों के आकलन की विधि पर आधारित है।

रेखीय प्रतिगमन अनुमानक को मूल समीकरण के मूल के रूप में भी तैयार किया जा सकता है:

0 = X^{T} (Y - X β)

$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$

इस संबंध में को मान के रूप में देखा जाता है जो औसत 0. का अवशिष्ट प्राप्त करता है। इसकी व्याख्या करने के लिए किसी अंतर्निहित संभावना मॉडल पर भरोसा करने की आवश्यकता नहीं है। हालांकि, एक सामान्य संभावना के लिए स्कोर समीकरणों को प्राप्त करने के बारे में जाना दिलचस्प है, आप वास्तव में देखेंगे कि वे ऊपर दिखाए गए फ़ॉर्म को ठीक से लेते हैं। एक रैखिक मॉडल (जैसे रैखिक या लॉजिस्टिक प्रतिगमन) के लिए नियमित घातीय परिवार की संभावना को अधिकतम करना उनके स्कोर समीकरणों के समाधान प्राप्त करने के बराबर है। $\beta$

0 = \sum_{i = 1}^{n} S_{i} (α, β) = \frac{\partial}{\partial β} \log L (β, α, X, Y) = X^{T} (Y - g (X β))

$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$

जहाँ ने मान । जीएलएम आकलन में, को एक लिंक फ़ंक्शन का उलटा कहा जाता है। सामान्य संभावना समीकरणों में, पहचान फ़ंक्शन है, और लॉजिस्टिक प्रतिगमन में लॉगिट फ़ंक्शन है। एक अधिक सामान्य दृष्टिकोण के लिए जो मॉडल प्रक्षेपन के लिए अनुमति देता है। $Y_i$ $g(\mathbf{X}_i \beta)$ $g$ $g^{-1}$ $g^{-1}$ $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$

इसके अतिरिक्त, यह ध्यान रखना दिलचस्प है कि नियमित घातीय परिवारों के लिए, जिसे माध्य-विचरण संबंध कहा जाता है। दरअसल लॉजिस्टिक रिग्रेशन के लिए, माध्य विचरण संबंध ऐसा है कि माध्य का संबंध से । यह एक मॉडल की व्याख्या करता है जो GLM के रूप में याद किया जाता है, जो एक 0 औसत पियर्सन अवशिष्ट देता है। यह आगे गैर-आनुपातिक कार्यात्मक माध्य डेरिवेटिव और माध्य-विचरण संबंधों को अनुमति देने के लिए एक सामान्यीकरण का सुझाव देता है। $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ $p = g(\mathbf{X}\beta)$ $\mbox{var}(Y_i) = p_i(1-p_i)$

एक सामान्य आकलन समीकरण दृष्टिकोण निम्नलिखित तरीके से रैखिक मॉडल निर्दिष्ट करेगा:

0 = \frac{\partial g (X β)}{\partial β} V^{- 1} (Y - g (X β))

$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$

साथ की सज्जित मूल्य (मतलब) द्वारा दिए गए के आधार पर प्रसरण एक मैट्रिक्स । आकलन के लिए यह दृष्टिकोण एक लिंक फ़ंक्शन को लेने और GLM के साथ वैरिएशन संबंध का मतलब है। $\mathbf{V}$ $g(\mathbf{X}\beta)$

रसद प्रतिगमन में उलटा logit होगा, और द्वारा दी जाएगी । न्यूटन-राफसन द्वारा प्राप्त इस आकलन समीकरण के समाधान, लॉजिस्टिक प्रतिगमन से प्राप्त प्राप्त करेंगे । हालाँकि एक समान फ्रेमवर्क के तहत मॉडलों का कुछ व्यापक वर्ग अनुमान लगाने योग्य है। उदाहरण के लिए, लिंक फ़ंक्शन को लीनियर प्रेडिक्टर के लॉग के रूप में लिया जा सकता है ताकि रिग्रेशन गुणांक सापेक्ष जोखिम हो न कि अनुपात अनुपात । आरआर के रूप में ओआरएस की व्याख्या करने के लिए अच्छी तरह से प्रलेखित नुकसान को किसने दिया - मुझे यह पूछने के लिए मजबूर करता है कि क्यों कोई भी लॉजिस्टिक प्रतिगमन मॉडल को बिल्कुल भी फिट नहीं करता है। $g$ $V_{ii}$ $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$ $\beta$

— Adamo
स्रोत

+1 शानदार जवाब। व्युत्पत्ति पर मूल खोज के रूप में इसे तैयार करना मेरे लिए वास्तव में नया है। और दूसरा समीकरण वास्तव में संक्षिप्त है।

— हाइताओ डू