क्या मैं एक बहुराष्ट्रीय लॉजिस्टिक प्रतिगमन करने के लिए glm एल्गोरिदम का उपयोग कर सकता हूं?

14

मैं अपनी परियोजना में सांख्यिकीय विश्लेषण के लिए स्पॉटफ़ायर (एस ++) का उपयोग कर रहा हूं और मुझे एक बड़े डेटा सेट के लिए बहुराष्ट्रीय लॉजिस्टिक रिग्रेशन चलाना होगा। मुझे पता है कि सबसे अच्छा एल्गोरिथ्म नकली था, लेकिन दुर्भाग्य से यह s ++ में उपलब्ध नहीं है। हालाँकि, मेरे पास इस प्रतिगमन के लिए glm एल्गोरिथ्म का उपयोग करने का एक विकल्प है। मैं यहां दो बातें स्पष्ट करना चाहता हूं:

1. क्या मेरी समझ सही है कि glm का उपयोग बहुराष्ट्रीय लॉजिस्टिक प्रतिगमन को चलाने के लिए भी किया जा सकता है?

यदि पिछले प्रश्न का उत्तर हां में है, तो glm algo में किन मापदंडों का उपयोग किया जाना चाहिए?

धन्यवाद,

generalized-linear-model logistic

— राघवेन्द्र
स्रोत

9

हां, एक पॉइसन GLM (लॉग रैखिक मॉडल) के साथ आप बहुराष्ट्रीय मॉडल फिट कर सकते हैं। इसलिए बहुराष्ट्रीय लॉजिस्टिक या लॉग रैखिक पॉसन मॉडल समकक्ष हैं।

आपको रैंडम काउंट्स को Poisson यादृच्छिक चर के रूप में रूप में होगा और निम्नलिखित लॉग-लीनियर मॉडल को निर्दिष्ट करना होगा। $y_{ij}$ $μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

एक बहुराष्ट्रीय लॉगिट मॉडल प्राप्त करने के लिए पैरामीटर हैं:

प्रत्येक बहुराष्ट्रीय अवलोकन के लिए एक पैरामीटर , उदाहरण के लिए व्यक्ति या समूह। यह बहुराष्ट्रीय हरकतों के सटीक प्रजनन का आश्वासन देता है और वास्तव में पॉइसन और बहुराष्ट्रीय मॉडल की समानता स्थापित करता है। वे बहुराष्ट्रीय संभावना में तय हो गए हैं, लेकिन पॉइसन संभावना में यादृच्छिक हैं। $p_i$

प्रत्येक प्रतिक्रिया श्रेणी के लिए एक पैरामीटर । इस तरह से प्रत्येक प्रतिक्रिया श्रेणी के लिए मायने अलग हो सकते हैं और मार्जिन गैर-समान हो सकते हैं। $c_j$

क्या आप वास्तव में रुचि रखते हैं बातचीत के शब्द हैं जो प्रतिक्रिया के लॉग-ऑन पर के प्रभावों का प्रतिनिधित्व करते हैं । $x_iβ_j$ $x_i$ $j$

लॉग- गणना बस । यह लॉग ऑड्स है जो अवलोकन i प्रतिक्रिया श्रेणी सापेक्ष प्रतिक्रिया श्रेणी j में आएगा । $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

फिर, बहुराष्ट्रीय लॉगिट मॉडल (लैटिन अक्षरों में निरूपित) के मापदंडों को संबंधित लॉग-रैखिक मॉडल में मापदंडों के बीच अंतर के रूप में प्राप्त किया जा सकता है, अर्थात और । $a_j = α_j-α_k$ $b_j = β_j-β_k$

— मोमो
स्रोत

धन्यवाद मोमो। यह वास्तव में मददगार है। मेरा सॉफ्टवेयर मुझे GLM एलोगोरिथम चलाते समय परिवार को "ऑप्शन" के रूप में चुनने और "लॉग" के रूप में लिंक प्रदान करता है। इसलिए मुझे लगता है कि यहाँ वही होना चाहिए।

— राघवेंद्र

7

हाँ आप कर सकते हैं, और वास्तव में यह वही है जो आर पैकेज GLMNET बहुराष्ट्रीय लॉजिस्टिक रिग्रेशन के लिए करता है। लॉग-लाइबिलिटी फ़ंक्शन को निम्नानुसार लिखना:

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

कहाँ टिप्पणियों को दर्शाता है और बहुपद श्रेणियों को दर्शाता है अवलोकन के लिए मनाया गिनती है श्रेणी में । टिप्पणियों को उनके अनूठे सहसंयोजक संयोजनों द्वारा परिभाषित किया जाता है - या वैकल्पिक रूप से हम प्रत्येक डुप्लिकेट और सेट करने की अनुमति दे सकते हैं ताकि हमारे पास श्रेणीबद्ध "बाइनरी" डेटा हो (.... पता नहीं कि बाइनरी का बहुवचन क्या है। ...)। लॉजिस्टिक रिग्रेशन के लिए संभावनाओं को इस प्रकार परिभाषित किया गया है: $i$ $c$ $n_{ic}$ $i$ $c$ $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

यह पूर्ण रैंक पैरामीटर से कम है और यदि आप दंडित संभावना (जैसे GLMNET) का उपयोग कर रहे हैं तो यह उपयोगी हो सकता है। हम पूर्ण बीटा मैट्रिक्स पर IRLS / न्यूटन रैप्सन का उपयोग कर सकते हैं , हालांकि आप गैर-विकर्ण वजन मैट्रिक्स के साथ समाप्त होते हैं। वैकल्पिक रूप से हम "गिब्स-शैली" को एक को छोड़कर सभी श्रेणियों के बीट को ठीक कर सकते हैं, और फिर उस श्रेणी के ऊपर अनुकूलन कर सकते हैं। फिर अगली श्रेणी के लिए आगे बढ़ें, और इसी तरह। आप देख सकते हैं कि संभावनाओं का रूप है $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

कि बारे में द्विघात विस्तार का लॉजिस्टिक प्रतिगमन के लिए एक ही रूप होगा, लेकिन IRLS भार के साथ अलग-अलग गणना की जाती है - हालांकि हमारे पास अभी भी सामान्य रूप से बीटा का अपडेट। $\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— probabilityislogic
स्रोत

मैं IRLS क्यूआर न्यूटन संस्करण का उपयोग कर बहुराष्ट्रीय लॉजिस्टिक रिग्रेशन को लागू करने की कोशिश कर रहा हूं। कोड अन्य GLM मॉडल के लिए काम करता है, लेकिन काम करने के लिए mlogit प्राप्त करने में सक्षम नहीं है। चाहेंगे softmax समारोह जो मुझे केवल Cholesky गणना करने के लिए यात्रा के बजाय प्रति एक बार अनुमति होगी की Jacobian हो बार परिणाम प्रति वजन के प्रत्येक सेट के लिए हल करने के लिए?

W

$W$

k

$k$

— जोस बेओआन सैंटियागो काल्डेरोन

यह देखते हुए कि यह विकर्ण नहीं होगा यह बड़ी संख्या में टिप्पणियों के साथ अच्छी तरह से पैमाने पर नहीं होगा, नहीं? हैं, "गिब्स शैली" जा रहा होगा से आधार श्रेणी पैरामीटर घटाकर से पहले या भविष्यवाणी के बाद किया जाना मैट्रिक्स?

β

$\beta$

— जोस बेओआन सैंटियागो काल्डेरॉन

जब आप "चोल्स्की एक बार" बनाम "चोल्स्की के समय" के बारे में बात करते हैं, तो आपको ध्यान देना चाहिए कि मैट्रिसेस विभिन्न आयाम हैं - यदि में कॉलम हैं, तो "एक बार" मैट्रिक्स आकार के और "के बार" के लिए है एक मैट्रिक्स आकार

p

$p$

X

$X$

p k

$pk$

p

$p$

— probabilityislogic