Naive Bayes एक रैखिक क्लासिफायरियर कैसे है?

मैंने दूसरे सूत्र को यहाँ देखा है, लेकिन मुझे नहीं लगता कि उत्तर वास्तविक प्रश्न को संतुष्ट करता है। मैंने जो लगातार पढ़ा है वह यह है कि Naive Bayes एक लीनियर क्लासिफायरिफायर (उदा: यहाँ ) है (जैसे कि यह लीनियर डिसीजन बाउंड्री ड्रॉ करता है) लॉग ऑड्स प्रदर्शन का उपयोग करते हुए।

हालाँकि, मैंने दो गाऊसी बादलों का अनुकरण किया और एक निर्णय सीमा तय की और परिणाम प्राप्त हुए (पुस्तकालय e1071 आर में, naiveBayes () का उपयोग करके) 1- हरा, 0 - लाल

जैसा कि हम देख सकते हैं, निर्णय सीमा गैर-रैखिक है। क्या यह कहने की कोशिश की जा रही है कि पैरामीटर (सशर्त संभावनाएं) लॉग स्पेस में एक रैखिक संयोजन हैं बजाय यह कहने के कि क्लासिफायरियर डेटा को रैखिक रूप से अलग करता है?

classification naive-bayes

— केविन पे
स्रोत

आपने निर्णय सीमा कैसे बनाई? मुझे इसका श्रेय क्लासिफायर की सही निर्णय सीमा के बजाय आपकी फिटिंग रूटीन से है। आम तौर पर कोई भी आपके क्वाड्रंट में हर एक बिंदु पर निर्णय की गणना करके एक निर्णय सीमा उत्पन्न करेगा।

— seanv507

यही मैंने किया, मैंने 0.1 की रिक्ति के साथ एक्स = [मिन (एक्स), मैक्स (एक्स)] और वाई = [मिन (वाई), मैक्स (वाई)] की दो श्रृंखलाएं लीं। मैंने तब उन सभी डेटा पॉइंट्स को प्रशिक्षित क्लासिफायर के साथ फिट किया और ऐसे पॉइंट्स पाए जो लॉग ऑड्स -0.05 और 0.05 के बीच थे

— केविन पेई

जवाबों:

सामान्य तौर पर अनुभवहीन Bayes वर्गीकारक रैखिक नहीं है, लेकिन अगर संभावना कारकों $p(x_i \mid c)$ से हैं घातीय परिवारों , कोई विशेष सुविधा अंतरिक्ष में अनुभवहीन Bayes वर्गीकारक मेल खाती है करने के लिए एक रेखीय वर्गीकारक। यहाँ यह कैसे देखना है।

आप *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

जहां है रसद समारोह । अगर एक घातीय परिवार से है, हम इसे के रूप में लिख सकते हैं $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

और इसलिए

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

कहा पे

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

ध्यान दें कि यह करने के लिए इसी तरह की है रसद प्रतिगमन - एक रेखीय वर्गीकारक - सुविधा अंतरिक्ष द्वारा परिभाषित में । दो से अधिक वर्गों के लिए, हम बहुराष्ट्रीय लॉजिस्टिक (या सॉफ्टमैक्स) प्रतिगमन प्राप्त करते हैं । $\phi_i$

अगर गाऊसी, तो है और हम होना चाहिए $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

मान । $p(c = 1) = p(c = 0) = \frac{1}{2}$

* यहां बताया गया है कि इस परिणाम को कैसे प्राप्त करें:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— लुकास
स्रोत

व्युत्पत्ति के लिए धन्यवाद, जो मुझे अब समझ में आया है, क्या आप समीकरण 2 और नीचे में नोटिफिकेशन समझा सकते हैं? (u, h (x_i), phi (x_i), आदि) P (x_i | c) एक घातीय परिवार के अंतर्गत बस पीडीएफ से मूल्य ले रहा है?

— केविन पे

u

$\mathbf{u}$

ϕ

$\phi$

— लुकास

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

मुझे यह उत्तर भ्रामक लगता है: जैसा कि टिप्पणी में बताया गया है, और नीचे दिए गए उत्तर के अनुसार, गाऊसी भोली बेयस मूल विशेषता स्थान में रैखिक नहीं है, लेकिन इनमें से एक गैर-रैखिक परिवर्तन में है। इसलिए यह एक पारंपरिक रैखिक वर्गीकरण नहीं है।

— गेल वरक्वाउक्स

p (x_{i} | c)

$p(x_i|c)$ गाऊसी है, तब

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$ ? मुझे लगता है कि पर्याप्त आँकड़ा है

T (x)

$T(x)$ गौसियन वितरण के लिए होना चाहिए

x / σ

$x/\sigma$ ।

— नाओमी

यह केवल रैखिक है यदि दोनों वर्गों के लिए वर्ग सशर्त विचरण मैट्रिक्स समान हैं। यह देखने के लिए लॉग पोस्टर्स के राशन को लिखें और यदि संबंधित संस्करण समान हैं तो आपको केवल इसका एक लीनियर फंक्शन मिलेगा। अन्यथा यह द्विघात है।

— AXK
स्रोत

मैं एक अतिरिक्त बिंदु जोड़ना चाहूंगा: कुछ भ्रम का कारण यह है कि इसका क्या अर्थ है "Naive Bayes वर्गीकरण"।

"गाऊसी डिस्क्रिमिनेन्ट एनालिसिस (जीडीए)" के व्यापक विषय के तहत कई तकनीकें हैं: क्यूडीए, एलडीए, जीएनबी, और डीएलएडीए (द्विघात डीए, रैखिक डीए, गॉसियन भोले बे, विकर्ण एलडीए)। [अद्यतन] LDA और DLDA दिए गए भविष्यवक्ताओं के स्थान में रैखिक होना चाहिए। (देखें, उदाहरण के लिए, मर्फी , 4.2, पृष्ठ। डीए के लिए 101 और एनबी के लिए पीजी। 82। नोट: जीएनबी जरूरी रैखिक नहीं है। असतत एनबी (जो हुड के तहत एक बहुराष्ट्रीय वितरण का उपयोग करता है) रैखिक है। आप डूडा को भी बाहर कर सकते हैं। , हार्ट और सारस खंड 2.6)। QDA द्विघात है क्योंकि अन्य उत्तर इंगित करते हैं (और जो मुझे लगता है कि आपके ग्राफिक में क्या हो रहा है - नीचे देखें)।

ये तकनीकें "वर्ग-वार सहसंयोजक मैट्रिक्स" पर बाधाओं का एक अच्छा सेट के साथ एक जाली बनाती हैं $\Sigma_c$ :

Qda: $\Sigma_c$ मनमाना: मनमाना ftr। cov। प्रति वर्ग मैट्रिक्स
झील प्राधिकरण: $\Sigma_c = \Sigma$ : साझा कोव। मैट्रिक्स (कक्षाओं पर)
GNB: $\Sigma_c = {diag}_c$ : वर्ग वार विकर्ण कोव मॉडल में परिपक्वता (इंडस्ट्रीज़ की धारणा) $\rightarrow$ विकर्ण कोव मैट्रिक्स)
DLDA: $\Sigma_c = diag$ : साझा और विकर्ण कोव। मैट्रिक्स

जबकि e1071 के लिए डॉक्स का दावा है कि यह वर्ग-सशर्त स्वतंत्रता (यानी, GNB) मान रहा है, मुझे संदेह है कि यह वास्तव में QDA कर रहा है। कुछ लोग "सरल बायेसियन वर्गीकरण नियम" के साथ "भोले बेज़" (स्वतंत्रता की धारणा बना रहे हैं) का सामना करते हैं। जीडीए के सभी तरीके बाद में प्राप्त होते हैं; लेकिन केवल GNB और DLDA पूर्व का उपयोग करते हैं।

A big warning, I haven't read the e1071 source code to confirm what it is doing.

— MrDrFenner
स्रोत