हाइपरप्लेन डेटा को वर्गीकृत करते हैं जब इनपुट सशर्त रूप से स्वतंत्र होते हैं

10

डीप लर्निंग और इंफॉर्मेशन टोंटीलेक प्रिंसिपल नामक पेपर में लेखक II को सेक्शन II A में लिखते हैं :

एकल न्यूरॉन्स केवल रेखीय रूप से वियोज्य इनपुट को वर्गीकृत करते हैं, क्योंकि वे अपने इनपुट स्थान में केवल हाइपरप्लेन को लागू कर सकते हैं $u = wh+b$ । हाइपरप्लेन डेटा को वर्गीकृत कर सकते हैं जब इनपुट conditioanlly indepenent हो।

यह दिखाने के लिए, वे निम्नलिखित बातें निकालते हैं। बेयस प्रमेय का उपयोग करते हुए, वे प्राप्त करते हैं:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

कहाँ पे $x$ इनपुट है, $y$ वर्ग है और $y'$ भविष्यवाणी की गई कक्षा है (मुझे लगता है, $y'$ परिभाषित नहीं)। जारी रखते हुए, वे कहते हैं कि:

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

कहाँ पे $N$ इनपुट आयाम है और $n$ मुझे यकीन नहीं है (फिर से, दोनों अपरिभाषित हैं)। सिग्मॉइड सक्रियण फ़ंक्शन के साथ, सिग्मायोडल न्यूरॉन पर विचार करना $\sigma(u) = \frac{1}{1+exp(-u)}$ और प्रचार $u$ , (2) में डालने के बाद (1) हम इष्टतम वजन मान प्राप्त करते हैं $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ तथा $b=log\frac{p(y)}{p(y')}$ , जब इनपुट मान $h_j=np(x_j)$ ।

अब मेरे सवालों पर। मैं समझता हूं कि कैसे (2) में डालने से (1) इष्टतम वजन और इनपुट मूल्यों की ओर जाता है $w,b,h$ । हालाँकि जो मुझे समझ नहीं आ रहा है, वह निम्नलिखित है:

बेयस प्रमेय का उपयोग करके कैसे (1) व्युत्पन्न किया जाता है?
कैसे (2) व्युत्पन्न है? क्या है $n$ ? इसका अर्थ क्या है? मुझे लगता है कि सशर्त स्वतंत्रता के साथ इसका कुछ करना है
यहां तक कि अगर x के आयाम सशर्त रूप से स्वतंत्र हैं, तो कोई यह कैसे कह सकता है कि वह अपनी बढ़ी हुई संभावना के बराबर है? (यानी आप कैसे राज्य कर सकते हैं? $h_j=np(x_j)$ ?)

संपादित करें: चर $y$ एक द्विआधारी वर्ग चर है। इससे मैं यह मान लेता हूं $y'$ "अन्य" वर्ग है। यह प्रश्न हल करेगा 1. क्या आप सहमत हैं?

bayesian neural-networks information-theory

— spurra
स्रोत

मैं यह समझने के लिए संघर्ष कर रहा हूं कि eq 2 कहां से आता है, कागज के लेखक द्वारा उत्तर के बावजूद (प्रो। टीशबी)। मैं उस हिस्से को समझता हूं जो सशर्त स्वतंत्रता की धारणा से आता है। हालांकि, मैं घातांक के बारे में निश्चित नहीं हूं

n p (x_{j})

$n p(x_j)$ - यह वहाँ क्यों है?

— IcannotFix यह

5

हमारे छोटे पेपर में गुम विवरणों के बारे में खेद है, लेकिन लिकेलिहाइड रेशियो टेस्ट और सिग्मायॉइडल न्यूरॉन्स के बीच ये संबंध और संबंध निश्चित रूप से नए नहीं हैं, और इन्हें पाठ्यपुस्तकों (जैसे बिशप 2006) में पाया जा सकता है। हमारे पेपर में, 'एन' इनपुट आयाम है और 'एन' परीक्षण नमूना आकार है (जो वास्तव में इनपुट एसएनआर के लिए इस धारणा के तहत अनुवादित है कि एसएनआर sqrt (n) की तरह बढ़ता है)। सिग्मायोडल फ़ंक्शन का कनेक्शन क्लास के पीछे के रूप में बेयस नियम के माध्यम से किया जाता है। बाकी कागजों में कुछ भी नहीं और 2017 से हमारा नया और अधिक महत्वपूर्ण कागज वास्तव में इस पर निर्भर करता है।

नफ्तली तिश्बी

— नफ्तली तिश्बी
स्रोत

2

यहाँ इसे स्पष्ट करने के लिए धन्यवाद। पूर्ण उद्धरण लिखना इस समुदाय में मानक अभ्यास है ताकि इच्छुक पाठक स्रोतों की तलाश कर सकें। क्या आप बिशप (2006) के लिए ऐसा कर सकते हैं?

— mkt -

5

यह एक मॉडल सेटअप है जहां लेखक बेयस प्रमेय के एक विशेष रूप का उपयोग कर रहे हैं जो तब लागू होता है जब आपके पास ब्याज का द्विआधारी चर होता है। वे पहले बेसेस प्रमेय के इस विशेष रूप को समीकरण (1) के रूप में प्राप्त करते हैं, और फिर वे बताते हैं कि समीकरण (2) में स्थिति उन्हें अपने नेटवर्क के लिए निर्दिष्ट रैखिक रूप में ले जाती है। यह ध्यान रखना महत्वपूर्ण है कि बाद का समीकरण पिछली स्थितियों से नहीं लिया गया है --- बल्कि, यह रैखिक रूप के लिए एक शर्त है जो वे अपने नेटवर्क के लिए उपयोग कर रहे हैं।

पहले समीकरण को व्युत्पन्न करना: पेपर में समीकरण (1) बेयस प्रमेय का एक रूप है जो संभावना और पूर्व के कार्यों पर मानक लॉजिस्टिक (सिग्मॉइड) फ़ंक्शन के संदर्भ में ब्याज की सशर्त संभावना को फ्रेम करता है । ले रहा $y$ तथा $y'$ यादृच्छिक चर के दो द्विआधारी परिणाम होना $Y$ , और बेयस प्रमेय लागू करता है, देता है:

\begin{aligned} p (y | x) = \frac{p (y, x)}{p (x)} & = \frac{p (x | y) p (y)}{p (x | y) p (y) + p (x | y^{'}) p (y^{'})} \\ = \frac{1}{1 + p (x | y^{'}) p (y^{'}) / p (x | y) p (y)} \\ = \frac{1}{1 + \exp (\log (\frac{p (x | y^{'}) p (y^{'})}{p (x | y) p (y)}))} \\ = \frac{1}{1 + \exp (- \log \frac{p (x | y)}{p (x | y^{'})} - \log \frac{p (y)}{p (y^{'})})} \\ = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) . \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$

नेटवर्क के ग्रहणाधिकार रूप के लिए एक समीकरण के रूप में समीकरण (2) का उपयोग करना: जैसा कि ऊपर कहा गया है, यह समीकरण कुछ ऐसा नहीं है जो पिछले परिणामों से प्राप्त हुआ है। इसके बजाय, यह एक पर्याप्त स्थिति है जो रैखिक रूप की ओर ले जाती है जिसका उपयोग लेखक अपने मॉडल में करते हैं --- अर्थात, लेखक कह रहे हैं कि यदि यह समीकरण रखता है, तो कुछ निश्चित परिणाम बाद में आते हैं। इनपुट वेक्टर देना $\mathbf{x} = (x_1,...,x_N)$ लंबाई है $N$ , यदि समीकरण (2) धारण करता है, तो दोनों पक्षों के लॉगरिदम को ले जाता है:

\begin{aligned} \log \frac{p (x | y)}{p (x | y^{'})} & = \log \prod_{i = 1}^{N} [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}]^{n p (x_{i})} \\ = \sum_{i = 1}^{N} n p (x_{i}) \log [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}] \\ = \sum_{i = 1}^{N} h_{i} w_{i} . \end{aligned}

$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$

इस शर्त के तहत, हम इसलिए पश्च स्वरूप प्राप्त करते हैं:

\begin{aligned} p (y | x) & = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) \\ = logistic (\sum_{i = 1}^{N} h_{i} w_{i} + b), \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$

which is the form that the authors are using in their network. This is the model form postulated by the authors in the background section, prior to specifying Equations (1)-(2). The paper does not define $n$ is in this model setup, but as you point out, the answer by Prof Tishby says that this is the test sample size. In regard to your third question, it appears that the requirement of Equation (2) means that the values in $\mathbf{x}$ are not conditionally independent given $y$ .

— Ben - Reinstate Monica
स्रोत

Prof. Tishby (author) says, in his own answer, that

n

$n$ is the test sample size. This is why I felt that eq (2) had a much richer interpretation than just an arbitrary condition to the linear form of the network.

— IcannotFixThis

Thanks - I have edited my answer to reflect this additional information.

— Ben - Reinstate Monica

4

For 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

Now as $y_{i}$ is binary, this becomes:

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

and from there its just the property of the logarithm to get to the final form (should be sufficiently clear by this point, let me know if not).

— Chris Ormandy
स्रोत

हाइपरप्लेन डेटा को वर्गीकृत करते हैं जब इनपुट सशर्त रूप से स्वतंत्र होते हैं - क्यों?