क्या लॉजिस्टिक रिग्रेशन वास्तव में रिग्रेशन एल्गोरिथम है?

Question

प्रतिगमन की सामान्य परिभाषा (जहां तक ​​मुझे पता है) इनपुट चर के दिए गए सेट से निरंतर आउटपुट चर की भविष्यवाणी कर रहा है ।

लॉजिस्टिक रिग्रेशन एक बाइनरी वर्गीकरण एल्गोरिथ्म है, इसलिए यह एक श्रेणीबद्ध आउटपुट का उत्पादन करता है।

क्या यह वास्तव में एक प्रतिगमन एल्गोरिथ्म है? यदि हां, तो क्यों?

Answer 1

लॉजिस्टिक रिग्रेशन रिग्रेशन, सबसे पहले और सबसे महत्वपूर्ण है। यह एक निर्णय नियम जोड़कर एक क्लासिफायरियर बन जाता है। मैं एक उदाहरण दूंगा जो पीछे की तरफ जाता है। यह है कि डेटा लेने और एक मॉडल को फिट करने के बजाय, मैं मॉडल के साथ शुरू करने जा रहा हूं ताकि यह दिखाया जा सके कि यह वास्तव में एक प्रतिगमन समस्या कैसे है।

लॉजिस्टिक रिग्रेशन में, हम लॉग ऑड्स या लॉगिट को मॉडलिंग कर रहे हैं, कि एक घटना होती है, जो एक निरंतर मात्रा है। यदि संभावना है कि घटना होती है P ( A ) है , तो आसार हैं:$A$$P(A)$

$$\frac{P(A)}{1 - P(A)}$$

लॉग ऑड्स, तब, हैं:

$$\log \left( \frac{P(A)}{1 - P(A)}\right)$$

रैखिक प्रतिगमन के रूप में, हम गुणांक और भविष्यवाणियों के रैखिक संयोजन के साथ इसे मॉडल करते हैं:

$$\operatorname{logit} = b_0 + b_1x_1 + b_2x_2 + \cdots$$

कल्पना कीजिए कि हमें एक मॉडल दिया जाता है कि क्या किसी व्यक्ति के भूरे बाल हैं। हमारा मॉडल एकमात्र भविष्यवक्ता के रूप में उम्र का उपयोग करता है। यहाँ, हमारी घटना A = एक व्यक्ति के भूरे बाल हैं:

लॉग ऑफ़ ग्रे बाल = -10 + 0.25 * आयु

... प्रतिगमन! यहाँ कुछ पायथन कोड और एक प्लॉट है:

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

x = np.linspace(0, 100, 100)

def log_odds(x):
    return -10 + .25 * x

plt.plot(x, log_odds(x))
plt.xlabel("age")
plt.ylabel("log odds of gray hair")

$P(A)$

$$P(A) = \frac1{1 + \exp(-\text{log odds}))}$$

यहाँ कोड है:

plt.plot(x, 1 / (1 + np.exp(-log_odds(x))))
plt.xlabel("age")
plt.ylabel("probability of gray hair")

$P(A) > 0.5$

लॉजिस्टिक प्रतिगमन अधिक यथार्थवादी उदाहरणों में भी एक क्लासिफायरियर के रूप में महान काम करता है, लेकिन इससे पहले कि यह एक क्लासिफायरियर हो सके, यह एक प्रतिगमन तकनीक होना चाहिए!

Comments

हालांकि व्यवहार में लोग लॉजिस्टिक रिग्रेशन + बाइनरी क्लासिफायरियर के पर्याय के रूप में लॉजिस्टिक रिग्रेशन का उपयोग करते हैं।

— जिनावी

Answer 2

संक्षिप्त जवाब

हाँ, लॉजिस्टिक प्रतिगमन एक प्रतिगमन एल्गोरिथ्म है और यह एक निरंतर परिणाम की भविष्यवाणी करता है: किसी घटना की संभावना। बाइनरी क्लासिफायर के रूप में इसका उपयोग हम परिणाम की व्याख्या के कारण करते हैं।

विस्तार

लॉजिस्टिक रिग्रेशन एक प्रकार का सामान्य रेखीय रिग्रेशन मॉडल है।

एक साधारण रेखीय प्रतिगमन मॉडल में, एक निरंतर परिणाम, yभविष्यवक्ताओं के उत्पाद के योग और उनके प्रभाव के रूप में मॉडलिंग की जाती है:

y = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

कहां eत्रुटि है।

सामान्यीकृत रैखिक मॉडल yसीधे मॉडल नहीं बनाते हैं। इसके बजाय, वे yसभी वास्तविक संख्याओं के डोमेन का विस्तार करने के लिए परिवर्तनों का उपयोग करते हैं । इस परिवर्तन को लिंक फ़ंक्शन कहा जाता है। लॉजिस्टिक रिग्रेशन के लिए लिंक फ़ंक्शन लॉगिट फ़ंक्शन है (आमतौर पर, नीचे नोट देखें)।

लॉगिट फ़ंक्शन के रूप में परिभाषित किया गया है

ln(y/(1 + y))

इस प्रकार उपस्कर प्रतिगमन का रूप है:

ln(y/(1 + y)) = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

yकिसी घटना की संभावना कहां है।

तथ्य यह है कि हम इसे बाइनरी क्लासिफायरियर के रूप में उपयोग करते हैं, परिणाम की व्याख्या के कारण है।

नोट: प्रोबेट लॉजिस्टिक रिग्रेशन के लिए उपयोग किया जाने वाला एक और लिंक फंक्शन है लेकिन लॉजिट सबसे व्यापक रूप से उपयोग किया जाता है।

Answer 3

जैसा कि आप चर्चा करते हैं कि प्रतिगमन की परिभाषा एक सतत चर की भविष्यवाणी कर रही है। लॉजिस्टिक रिग्रेशन एक बाइनरी क्लासिफायरियर है। लॉजिस्टिक रिग्रेशन एक सामान्य रिग्रेशन दृष्टिकोण के आउटपुट पर लॉगिट फ़ंक्शन का अनुप्रयोग है। लॉगिट फ़ंक्शन बदल जाता है (-inf, + inf) [0,1] पर। मुझे लगता है कि यह सिर्फ ऐतिहासिक कारणों से है जो इस नाम को रखता है।

ऐसा कुछ कहना "मैंने छवियों को वर्गीकृत करने के लिए कुछ प्रतिगमन किया। विशेष रूप से मैंने लॉजिस्टिक प्रतिगमन का उपयोग किया।" गलत है।

Comments

लॉजिस्टिक रिग्रेशन को बाइनरी क्लासिफायरियर के रूप में इस्तेमाल किया जा सकता है, लेकिन यह स्वाभाविक रूप से एक नहीं है। आप इसका उपयोग बाधाओं का अनुमान लगाने या परिणाम के लिए एक भविष्यवक्ता चर के संबंध को निर्धारित करने के लिए कर सकते हैं।

— मैटबग्ग

Answer 4

$f$$f:X\rightarrow \mathbb{R}$। इस प्रकार रसद कार्य जो है$P(Y=1|\lambda, x)=\dfrac{1}{1+e^{-\lambda^Tx}} \in [0,1]$एक प्रतिगमन एल्गोरिथ्म के लिए बनाता है। यहाँ$\lambda$ प्रशिक्षित डेटासेट से पाया जाने वाला गुणांक या हाइपरप्लेन है $x$एक डेटा बिंदु है। यहाँ,$sign(P(Y=1|\lambda, x))$ वर्ग के रूप में लिया जाता है।