"डीप नॉथर्स प्रमेय": समरूपता बाधाओं में निर्माण

अगर मुझे सीखने की समस्या है जिसमें एक अंतर्निहित समरूपता होनी चाहिए, तो क्या सीखने को बढ़ाने के लिए मेरी सीखने की समस्या को समरूपता बाधा के अधीन किया जा सकता है?

उदाहरण के लिए, यदि मैं छवि पहचान कर रहा हूं, तो मैं 2D घूर्णी समरूपता चाहता हूं। मतलब कि किसी छवि के घुमाए गए संस्करण को मूल के समान परिणाम मिलना चाहिए।

या अगर मैं टिक-टैक-टो खेलना सीख रहा हूं, तो 90 डीजी द्वारा घूमने से उसी गेम को खेलना चाहिए।

क्या इस पर कोई शोध किया गया है?

machine-learning

— aidan.plenert.macdonald
स्रोत

हाँ कुछ; उदाहरण के लिए, ग्रुप इक्वेरिएंट कन्वेन्शियल नेटवर्क्स ( कोड ), हार्मोनिक नेटवर्क्स: डीप ट्रांसलेशन एंड रोटेशन इक्विवेरियन्स , डीप रोटेशन इक्वेरिएंट नेटवर्क , कन्फ्यूशियल न्यूरल नेटवर्क्स में साइक्लिक सिमिट्री को एक्सपोज़ करना आदि। आप इसे अभी तक जंगली में ज्यादा नहीं देखते हैं।

— Emre

@Emre धन्यवाद! क्या आपको सीएनएन के बाहर किसी काम का पता है?

— aidan.plenert.macdonald

नहीं, मुझे केवल इस आला का सतही ज्ञान है। इसके बावजूद, CNN एक प्राकृतिक सेटिंग की तरह लगता है ...

— Emre

मुझे RIS Kondor की PhD शोध प्रबंध, मशीन लर्निंग में ग्रुप थ्योरेटिकल मेथड्स (PDF) का भी उल्लेख करना चाहिए

— Emre

ऊपर Emre की टिप्पणी से, Risi Kondor द्वारा मशीन सीखने में समूह सैद्धांतिक विधियों की धारा 4.4 में कर्नेल तरीके बनाने के बारे में विस्तृत जानकारी और प्रमाण हैं जो स्वाभाविक रूप से समरूपता रखते हैं। मैं इसे सहज रूप से सहज रूप में संक्षेपित करूंगा (मैं एक भौतिक विज्ञानी नहीं गणितज्ञ हूं!)।

अधिकांश ML एल्गोरिदम में एक मैट्रिक्स गुणन होता है जैसे, with इनपुट है और वजन है जिसे हम प्रशिक्षित करना चाहते हैं।

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$

\vec{x}

$\vec{x}$

W_{i j}

$W_{ij}$

कर्नेल विधि

कर्नेल विधियों के दायरे में प्रवेश करें और एल्गोरिथ्म को इनपुट इनपुट के माध्यम से जाने दें, जहां अब हम लिए सामान्यीकरण करते हैं ।

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$

x, e_{j} \in X

$x, e_j \in \mathcal{X}$

एक समूह पर विचार करें जो लिए माध्यम से पर कार्य करता है । इस समूह के अंतर्गत हमारे एल्गोरिथ्म को अपरिवर्तनीय बनाने का एक सरल तरीका है कि एक कर्नेल, with । $G$ $\mathcal{X}$ $x \rightarrow T_g(x)$ $g \in G$

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$

तो,

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

के लिए जो सभी एकात्मक अभ्यावेदन के लिए काम करता है, $k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

जो एक परिवर्तन मैट्रिक्स प्रदान करता है जो एल्गोरिथ्म में इनपुट को सममित कर सकता है।

SO (2) उदाहरण

वास्तव में बस वह समूह जो नक्शे को सादगी के लिए घुमाता है। $\frac{\pi}{2}$

हमें डेटा पर लीनियर रिग्रेशन जहां हम एक घूर्णी समरूपता की अपेक्षा करते हैं। $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

हमारी अनुकूलन समस्या बन जाती है,

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

कर्नेल संतोषजनक । आप और कई प्रकार की गुठली का भी उपयोग कर सकते हैं । $k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

इस प्रकार,

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

ध्यान दें कि हमें पर योग करने की आवश्यकता नहीं है क्योंकि यह दोनों के लिए समान है। तो हमारी समस्या बन जाती है, $j$

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

जो अपेक्षित गोलाकार समरूपता पैदा करता है!

टिक टैक् टो

उदाहरण कोड यहाँ देखा जा सकता है । यह दिखाता है कि हम एक मैट्रिक्स कैसे बना सकते हैं जो समरूपता को एन्कोड करता है और इसका उपयोग करता है। ध्यान दें कि यह वास्तव में बुरा है जब मैं वास्तव में इसे चलाता हूं! फिलहाल अन्य गुठली के साथ काम करना।

— aidan.plenert.macdonald
स्रोत

अच्छी नौकरी, ऐदन! यदि आपके पास समय है, तो आप एक अधिक विस्तृत ब्लॉग पोस्ट लिख सकते हैं। समुदाय को सबसे अधिक दिलचस्पी होगी।

— एमर

निश्चित नहीं है कि आप किस समुदाय का उल्लेख कर रहे हैं, लेकिन मैंने अधिक लिखना शुरू कर दिया है। मैं डेटा का एक सेट दिया गया इष्टतम कर्नेल का अनुमान लगाने का एक तरीका खोजना चाहता था। इसलिए मैं कर्नेल स्थान पर एन्ट्रापी को अनुकूलित करता हूं ताकि सहजता से विवश और अधिकतम रूप से एन्ट्रोपिक (यानी। सूचनात्मक) सुविधाओं का एक नया सेट प्राप्त कर सकें। अब यह सही तरीका है या नहीं। मैं नहीं कह सकता। बस एक चेतावनी, गणित अभी एक हैक काम का एक सा है और सीधे स्टेट ऑफ मच से बाहर है। overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

जब समरूपता समूह ज्ञात नहीं है तो क्या कोई सार्थक दृष्टिकोण है?

— leitasat

@leitasat यदि आप समूह को नहीं जानते तो यह कैसे सममित है?

— हेल्पन.प्लेन्टर.मैक्डोनाल्ड

@ helpan.plenert.macdonald डेटा से। मान लें कि हमारे पास प्रत्येक में 100 चित्रों के 1000 सेट हैं, और प्रत्येक सेट के भीतर विभिन्न दृष्टिकोणों से एक वस्तु के चित्र हैं। क्या कोई भी एल्गोरिथ्म SO (3) समरूपता के "विचार को सीख सकता है" और इसका उपयोग पहले की अनदेखी वस्तुओं पर करता है?

— leitasat

यह पता चला है कि यह मशीन सीखने के लिए लागू किए गए Invariant Theory का अध्ययन है

— aidan.plenert.macdonald
स्रोत