मल्टीकल के लिए लॉजिस्टिक रिग्रेशन

मुझे मल्टीस्कल्स के लिए लॉजिस्टिक रिग्रेशन के लिए मॉडल मिला है, जो इसके द्वारा दिया गया है

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

जहां k कक्षाओं की संख्या है, थीटा पैरामीटर है, अनुमान लगाया जा सकता है कि jth वर्ग ग्यारहवीं प्रशिक्षण डेटा है

अच्छी तरह से एक चीज जो मुझे नहीं मिली वह है कि कैसे भाजक भाग ने मॉडल को सामान्य किया। मेरा मतलब है कि यह 0 और 1 के बीच संभाव्यता को बनाए रखता है।

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

मेरा मतलब है कि मुझे लॉजिस्टिक रिग्रेशन होने की आदत है

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

दरअसल, मैं नामकरण की बात से भ्रमित हूं। इस मामले में चूंकि यह एक सिग्मोइड फ़ंक्शन है, यह कभी भी मान को 0 से कम या 1 से अधिक नहीं होने देता है। लेकिन मैं बहु श्रेणी के मामले में भ्रमित हूं। ऐसा क्यों है?

यह मेरा संदर्भ है https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-Febdays/029738.html । मुझे लगता है कि इसे

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— user34790
स्रोत

संकेत: लॉजिस्टिक रिग्रेशन में स्पष्ट रूप से निपटने के लिए दो संभावनाएँ हैं: प्रायिकता और प्रायिकता । उन संभावनाओं का योग होना चाहिए ।

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

आपके कुछ अन्य पदों के आधार पर, आप समीकरणों को चिह्नित करना जानते हैं। यहाँ पाठ समीकरणों को पढ़ना मुश्किल है और ((सदस्यताएँ?) भ्रामक हैं - क्या आप उन्हें साथ चिह्नित कर सकते हैं ?

L A T E X

$\LaTeX$

— मैक्रों

क्योंकि आप यहाँ बहुत सारे प्रश्न पोस्ट कर रहे हैं, कृपया अच्छे प्रश्न पूछने के बारे में हमारे अक्सर पूछे जाने वाले प्रश्नों को रोकें और पढ़ें। मार्कअप के लिए सहायता पढ़ें ताकि आप अपने समीकरणों को पठनीय बना सकें।

T E X

$\TeX$

— whuber

मैंने समीकरण को संपादित किया है। @ whuber वास्तव में, मैं मल्टीस्कलैस लॉजिस्टिक रिग्रेशन से संबंधित भ्रमित हूं बाइनरी एक नहीं। मुझे चिंता है कि मैं कैसे आता हूं जब मैं डोनोमिनेटर में सभी तत्वों को जोड़ देता हूं तो संभावना को सामान्य कर दिया जाता है

— user34790

@ user34790, जब आप प्रत्येक शब्द को योग से विभाजित करते हैं, तो अलग-अलग कक्षा की संभावनाएँ 1. 1. क्या है ?

X^{(i)}

$X^{(i)}$

— मैक्रों

जवाबों:

आपका सूत्र गलत है (राशि की ऊपरी सीमा)। वर्गों ( ) के साथ लॉजिस्टिक रिग्रेशन में आप मूल रूप से बाइनरी लॉजिस्टिक रिग्रेशन मॉडल बनाते हैं, जहां आप संदर्भ या धुरी के रूप में एक क्लास चुनते हैं। आमतौर पर, अंतिम वर्ग को संदर्भ के रूप में चुना जाता है। इस प्रकार, संदर्भ वर्ग की संभावना की गणनाप्रायिकता का सामान्य रूपजैसा कि class आपका संदर्भ और इसलिए है $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ अंत में आपको सभी :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— sebp
स्रोत

ध्यान दें कि यदि आप अधिकतम संभावना कर रहे हैं तो संदर्भ वर्ग का चुनाव महत्वपूर्ण नहीं है। लेकिन यदि आप अधिकतम संभावना, या द्विसंयोजक निष्कर्ष को दंडित कर रहे हैं, तो यह प्रायः अधिक मापदंडों को छोड़ने के लिए उपयोगी हो सकता है, और दंड को ओवर-पैरामीटराइजेशन को संभालने का एक तरीका चुना जाता है। इसका कारण यह है कि अधिकांश दंड कार्य / पुरोहित संदर्भ वर्ग की पसंद के संबंध में अपरिवर्तनीय नहीं हैं

— प्रायिकताविषयक

@sebp, ऐसा लगता है कि थोड़ा भ्रमित हूं; यह बेहतर होगा कि अवलोकन के लिए, और श्रेणी पुनरावृत्ति के लिए कुछ अन्य पत्र का उपयोग करूं।

i

$i$

i

$i$

k

$k$

— गारेज

मुझे लगता है कि आप एक टाइपो द्वारा भ्रमित हो रहे हैं: आपका पहले समीकरण में होना चाहिए । 1 का आप लॉजिस्टिक मामले में देखते हैं, वास्तव में , उदाहरण के लिए, जब एक th the । $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

मान लें कि । अब ध्यान दें कि आप अंतिम फॉर्मूलेशन से लॉजिस्टिक रिग्रेशन संस्करण जैसे कई वर्गों के लिए, बस दो घटकों को पहले दो राशियों में हराने वाले को प्रतिपादक रेखीय भविष्यवक्ताओं द्वारा एक राशि से बदलें। $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— conjugateprior
स्रोत