अधिकतम औसत विसंगति (दूरी वितरण)

मेरे पास दो डेटा सेट (स्रोत और लक्ष्य डेटा) हैं जो विभिन्न वितरण का पालन करते हैं। मैं MMD का उपयोग कर रहा हूं - जो कि स्रोत और लक्ष्य डेटा के बीच सीमांत वितरण की गणना करने के लिए एक गैर-पैरामीट्रिक दूरी वितरण है।

स्रोत डेटा, Xs

लक्ष्य डेटा, Xt

अनुकूलन मैट्रिक्स ए

* अनुमानित डेटा, Zs = A '* Xs और Zt = A' Xt

* MMD => दूरी (P (Xs), P (Xt)) = | mean (A'Xs) - माध्य (A ' Xt) |

इसका अर्थ है: मूल स्थान में स्रोत और लक्ष्य डेटा के बीच वितरण की दूरी अनुमानित स्रोत के साधन और एम्बेडेड स्थान में लक्ष्य डेटा के बीच की दूरी के बराबर है।

मेरे पास MMD की अवधारणा के बारे में एक प्रश्न है।

MMD सूत्र में, अव्यक्त स्थान में कंप्यूटिंग दूरी के साथ, हम मूल स्थान में वितरण की दूरी को क्यों माप सकते हैं?

धन्यवाद

— mahsa
स्रोत

आपने वास्तव में अभी तक एक सवाल नहीं पूछा है: आपने केवल हमें बताया है कि आप भ्रमित हैं!

— whuber

यह MMD के अवलोकन को थोड़ा और देने में मदद कर सकता है। $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

सामान्य तौर पर, MMD को वितरण के बीच दूरियों का प्रतिनिधित्व करने के विचार के रूप में परिभाषित किया जाता है ताकि सुविधाओं की औसत एम्बेडिंग के बीच दूरी हो । यह कहना है कि हमारे पास और एक सेट पर वितरण है । MMD को एक फीचर मैप से परिभाषित किया जाता है , जहां को एक प्रजनन कर्नेल हिल्बर्ट स्पेस कहा जाता है। सामान्य तौर पर, MMD $P$ $Q$ $\X$ $\varphi : \X \to \h$ $\mathcal H$

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

एक उदाहरण के रूप में, हमारे पास और । उस स्थिति में: ताकि यह MMD केवल दो वितरणों के साधनों के बीच की दूरी हो। इस तरह से मिलान वितरण उनके साधनों से मेल खाएगा, हालांकि वे अपने विचरण या अन्य तरीकों से भिन्न हो सकते हैं। $\X = \h = \R^d$ $\varphi(x) = x$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$

आपका मामला थोड़ा अलग है: हमारे पास और , जिसमें , जहां एक मैट्रिक्स है। इसलिए हमारे पास यह MMD माध्य के दो अलग-अलग अनुमानों के बीच का अंतर है। यदि या मानचित्रण अन्यथा अक्षम नहीं है, $\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$

p < d

$p < d$

A^{'}

$A'$ पिछले एक की तुलना में: यह पिछले वितरण के कुछ वितरणों के बीच अंतर नहीं करता है।

आप मजबूत दूरी भी बना सकते हैं। उदाहरण के लिए, यदि और आप , तो MMD , और न केवल विभिन्न साधनों के साथ बल्कि विभिन्न भिन्नताओं के साथ वितरण को भी भेद कर सकते हैं। $\X = \R$ $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

और आप इससे बहुत अधिक मजबूत हो सकते हैं: यदि मैप्स सामान्य पुन: उत्पन्न करने वाली कर्नेल हिल्बर्ट स्थान पर हैं, तो आप MMD की गणना करने के लिए कर्नेल ट्रिक लागू कर सकते हैं , और यह पता चलता है कि गाउन्स कर्नेल सहित कई कर्नेल, MMD को जन्म देते हैं। यदि शून्य और केवल वितरण समान हैं। $\varphi$

विशेष रूप से, , आप जो आप सीधे नमूनों के साथ अनुमान लगा सकते हैं। $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{H} - 2 ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩_{H} \\ = E_{X, X^{'} \sim P} k (X, X^{'}) + E_{Y, Y^{'} \sim Q} k (Y, Y^{'}) - 2 E_{X \sim P, Y \sim Q} k (X, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

अद्यतन: यहाँ पर नाम में "अधिकतम" कहाँ से आता है।

फीचर मैप मैप्स में एक प्रजनन कर्नेल हिल्बर्ट स्पेस। ये फ़ंक्शंस के स्थान हैं , और एक प्रमुख संपत्ति को संतुष्ट करते हैं (जिसे प्रजनन संपत्ति कहा जाता है ): लिए किसी भी । $\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ $f \in \h$

सबसे सरल उदाहरण में, के साथ , हम प्रत्येक देखने समारोह कुछ करने के लिए इसी के रूप में , द्वारा । फिर प्रजनन संपत्ति को चाहिए। $\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

अधिक जटिल सेटिंग्स में, एक गाऊसी कर्नेल की तरह, एक अधिक जटिल कार्य है, लेकिन प्रजनन संपत्ति अभी भी रखती है। $f$

अब, हम MMD का एक वैकल्पिक लक्षण वर्णन दे सकते हैं: दूसरी पंक्ति हिल्बर्ट रिक्त स्थान में मानदंडों के बारे में एक सामान्य तथ्य है:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ द्वारा प्राप्त किया जाता है । चौथा एक तकनीकी स्थिति पर निर्भर करता है जिसे Bochner integrability के रूप में जाना जाता है लेकिन यह सत्य है जैसे कि बंधी हुई गुठली या बंधे समर्थन के साथ वितरण। फिर अंत में हम प्रजनन संपत्ति का उपयोग करते हैं।

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

यह अधिकतम है परीक्षण कार्यों पर, - यह अंतिम पंक्ति कारण है कि यह "अधिकतम मतलब विसंगति" कहा जाता है है की इकाई गेंद में , दो वितरण के बीच मतलब अंतर की। $f$ $\h$

— Dougal
स्रोत

आपके स्पष्टीकरण के लिए धन्यवाद, यह मेरे लिए और अधिक स्पष्ट हो जाता है; फिर भी मुझे यह अवधारणा नहीं मिली, शुरुआत में, आपने कहा था: "एमएमडी को वितरण के बीच की दूरी का प्रतिनिधित्व करने के विचार से परिभाषित किया गया है, जो सुविधाओं के औसत एम्बेडिंग के बीच की दूरी के रूप में है।" यह विचार क्यों सच है?

— महसा

"MMD को वितरण के बीच की दूरी का प्रतिनिधित्व करने के विचार से परिभाषित किया गया है ताकि सुविधाओं के औसत एम्बेडिंग के बीच दूरी हो।" यह विचार सही क्यों है? क्या यह आरकेएचएस स्पेस से संबंधित है?

— महसा

यह सिर्फ एक परिभाषा है: आप वितरण की तुलना उनके साधनों की तुलना करके कर सकते हैं। या, आप उनके साधनों के कुछ परिवर्तन की तुलना करके वितरण की तुलना कर सकते हैं; या उनके साधनों और प्रकारों की तुलना करके; या आरकेएचएस में एक सहित किसी अन्य फीचर मैप के माध्य की तुलना करके।

— डगल

आपके प्रतिक्रिया के लिए धन्येवाद; मैं आरकेएचएस फीचर मैप के बारे में अधिक पढ़ने जा रहा हूं; मैं सोच रहा था, एमएमडी को आरकेएचएस फीचर मैप में दूरी क्यों परिभाषित किया गया है? मेरा मतलब है, एमएमडी दूरी की परिभाषा में आरकेएचएस का क्या लाभ है?

— महसा

यहाँ स्पष्टीकरण "मीन डिस्क्रीपेंसी" पर केंद्रित है, "अधिकतम मीन विसंगति" के विपरीत। क्या कोई "मैक्सिमाइजेशन" भाग पर विस्तार से बता सकता है?

— जियांग जियांग

यहाँ मैंने MMD की व्याख्या कैसे की है। दो वितरण समान हैं यदि उनके क्षण समान हैं। कर्नेल लगाने से, मैं चर को बदल सकता हूं जैसे कि सभी क्षण (पहले, दूसरे, तीसरे आदि) की गणना की जाती है। अव्यक्त स्थान में मैं क्षणों के बीच अंतर की गणना कर सकता हूं और इसे औसत कर सकता हूं। यह डेटासेट के बीच समानता / असमानता का माप देता है।

— rsambasivan
स्रोत