कई गुना पर आँकड़ों का चित्रमय अंतर्ज्ञान

पर इस पोस्ट , आप बयान पढ़ सकते हैं:

मॉडल आमतौर पर अंक का प्रतिनिधित्व कर रहे एक परिमित आयामी कई गुना पर। $\theta$

पर विभेदकों ज्यामिति और सांख्यिकी माइकल मरे और जॉन डब्ल्यू चावल से इन अवधारणाओं को पठनीय भी गणितीय अभिव्यक्ति अनदेखी गद्य में समझाया गया है। दुर्भाग्य से, बहुत कम चित्रण हैं। वही इस पोस्ट के लिए MathOverflow पर जाता है।

मैं मानचित्र के रूप में सेवा करने के लिए एक दृश्य प्रतिनिधित्व के साथ या विषय की अधिक औपचारिक समझ के लिए प्रेरणा के लिए पूछना चाहता हूं।

कई गुना पर अंक क्या हैं? इस ऑनलाइन खोज से यह उद्धरण प्रतीत होता है कि यह इंगित करता है कि यह या तो डेटा बिंदु हो सकता है, या वितरण पैरामीटर:

कई गुना और सूचना ज्यामिति पर आँकड़े दो अलग-अलग तरीके हैं जिनसे अंतर ज्यामिति आँकड़ों से मिलती है। कई गुना आंकड़ों में, यह डेटा है जो कई गुना झूठ है, सूचना ज्यामिति में डेटा , लेकिन संभावना के घनत्व कार्यों के पैरामीटर परिवार को कई गुना माना जाता है। इस तरह के कई गुना सांख्यिकीय सांख्यिकीय के रूप में जाने जाते हैं। $R^n$

मैंने इस चित्र को यहाँ के स्पर्शरेखा स्थान के स्पष्टीकरण से प्रेरित होकर बनाया है :

[ बारे में नीचे टिप्पणी को प्रतिबिंबित करने के लिए संपादित करें : $C^\infty$ ] कई गुना, , स्पर्शरेखा स्थान एक बिंदु जुड़े सभी संभावित डेरिवेटिव ("वेग") का सेट है। माध्यम से चल रहे कई गुना पर हर संभव वक्रइसे माध्यम से प्रत्येक वक्र पार से नक्शे के एक सेट के रूप में देखा जा सकता है अर्थात जिसे कंपोज़िशन रूप में परिभाषित किया गया है , with एक वक्र (वास्तविक रेखा से कई गुना ( की सतह तक कार्य करता है $(\mathcal M)$ $p\in \mathcal M$ $(\psi: \mathbb R \to \mathcal M)$ $p.$ $p,$ $C^\infty (t)\to \mathbb R,$ $\left(f \circ \psi \right )'(t)$ $\psi$ $\mathcal M$ ) बिंदु माध्यम से चल रहा है और ऊपर चित्र पर लाल रंग में चित्रित किया गया है; और एक परीक्षण समारोह का प्रतिनिधित्व करते हैं। "आइसो- " सफेद समोच्च रेखाएं वास्तविक रेखा पर समान बिंदु पर मैप करती हैं, और बिंदु घेरती हैं । $p,$ $f,$ $f$ $p$

तुल्यता (या आँकड़ों के लिए लागू समतुल्य) की यहाँ चर्चा की गई है , और निम्नलिखित उद्धरण से संबंधित होगी :

एक घातीय हेतु प्राचल काल एक हैं, तो आयामी खुला सेट है, तो यह पूर्ण रैंक कहा जाता है। $s$

एक घातीय परिवार जो पूर्ण रैंक नहीं है, उसे आम तौर पर एक घुमावदार घातीय परिवार कहा जाता है, क्योंकि आमतौर पर पैरामीटर स्पेस से कम आयाम के में वक्र होता है $\mathcal R^s$ $s.$

ऐसा लगता है कि प्लॉट की व्याख्या निम्नानुसार है: वितरण संबंधी पैरामीटर (घातांक वितरण के परिवारों के इस मामले में) कई गुना अधिक है। में डेटा बिंदुओं को फ़ंक्शन से एक रैंक की कमी वाले गैर-रेखीय अनुकूलन समस्या के मामले में एक पंक्ति में मैप किया जाएगा । यह भौतिकी में वेग की गणना को समानांतर करेगा: "आइसो-एफ" लाइनों (नारंगी में दिशात्मक व्युत्पन्न) के ढाल के साथ फ़ंक्शन के व्युत्पन्न की तलाश में:समारोह वक्र के रूप में एक वितरणात्मक पैरामीटर के चयन के अनुकूलन की भूमिका अदा कर सकता $\mathbb R$ $\psi: \mathbb R \to \mathcal M$ $f$ $\left(f \circ \psi \right)'(t).$ $f: \mathbb M \to \mathbb R$ $\psi$ के समोच्च लाइनों के साथ कई गुना पर यात्रा करता है। $f$

बैकग्राउंड एडेड स्टड:

ध्यान दें, मेरा मानना है कि ये अवधारणाएं एमएल में गैर-रैखिक आयामीता में कमी से संबंधित नहीं हैं । वे सूचना ज्यामिति के लिए अधिक समान हैं । यहाँ एक उद्धरण है:

महत्वपूर्ण रूप से, कई गुना के आंकड़े कई गुना सीखने से अलग हैं। उत्तरार्द्ध मशीन लर्निंग की एक शाखा है, जहां लक्ष्य सेलेक्टेड डेटा से एक अव्यक्त मैनिफोल्ड सीखना है । आमतौर पर, मांग के बाद अव्यक्त कई गुना का आयाम से कम है । अव्यक्त मैनिफोल्ड रैखिक या गैर-रेखीय हो सकता है, जो विशेष रूप से प्रयुक्त विधि पर निर्भर करता है। $R^n$ $n$

ऑरेन फ़्रीफ़ेल्ड द्वारा आकृति आकृति विकृति के अनुप्रयोगों के साथ कई गुना आंकड़ों पर निम्न जानकारी :

जबकि आमतौर पर , हम एक स्पर्शरेखा स्थान को जोड़ सकते हैं, जिसे द्वारा निरूपित किया जाता है , हर बिंदु के लिए । एक सदिश स्थान है जिसका आयाम के समान है । के मूल पर है । यदि कुछ यूक्लिडियन स्पेस में एम्बेडेड है, तो हम को एक उप- रूप में सोच सकते हैं जैसे: 1) यह को को स्पर्श करता है ; 2) कम से कम स्थानीय रूप से, इसके पक्ष में पूरी तरह से निहित है। TpM के तत्वों को स्पर्शरेखा वैक्टर कहा जाता है। $M$ $TpM$ $p \in M$ $TpM$ $M$ $TpM$ $p$ $M$ $TpM$ $M$ $p$ $M$

[...] कई गुना पर, सांख्यिकीय मॉडल अक्सर स्पर्शरेखा रिक्त स्थान में व्यक्त किए जाते हैं।

[...]

[हम दो पर विचार करते हैं] डेटासेट में बिंदुओं से मिलकर बनता है : $M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

आज्ञा देना और दो का प्रतिनिधित्व करते हैं, संभवतः अज्ञात, में अंक । यह माना जाता है कि दो डेटासेट निम्नलिखित सांख्यिकीय नियमों को पूरा करते हैं: $µ_L$ $µ_S$ $M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

दूसरे शब्दों में, जब को व्यक्त किया जाता है (स्पर्शरेखा वैक्टर के रूप में ) पर स्पर्शरेखा स्थान ( ) में , इसे covariance साथ शून्य मीन गाऊसी से आईआईडी नमूनों के सेट के रूप में देखा जा सकता है । इसी तरह, जब पर स्पर्श अंतरिक्ष में व्यक्त किया है यह एक शून्य मतलब गाऊसी साथ सहप्रसरण से आईआईडी नमूने का एक सेट के रूप में देखा जा सकता है । यह यूक्लिडियन मामले को सामान्य करता है। $D_L$ $M$ $\mu_L$ $\Sigma_L$ $D_S$ $\mu_S$ $\Sigma_S$

इसी संदर्भ में, मैं इस आलेखीय अवधारणा के सबसे नज़दीकी (और व्यावहारिक रूप से केवल) उदाहरण के बारे में पूछ रहा हूँ:

क्या यह दर्शाता है कि स्पर्शरेखा वैक्टर के रूप में व्यक्त कई गुना की सतह पर डेटा झूठ है, और मापदंडों को कार्टेशियन विमान पर मैप किया जाएगा?

— एंटोनी पारेलाडा
स्रोत

आप यहां क्या करने की कोशिश कर रहे हैं? कई गुना ड्रा करें? उनमें से ज्यादातर आकर्षित करने के लिए बहुत उबाऊ हैं। उदाहरण के लिए, गाऊसी वितरण का प्रयास करें।

— अक्कल

मैं आमतौर पर वेक्टर रिक्त स्थान के रूप में पैरामीटर रिक्त स्थान के बारे में सोचता हूं, उदाहरण के लिए । अगर मैं पैरामीट्रिक "मैनिफोल्ड्स" के बारे में सोचता, तो पहली बात जो दिमाग में आती है, वह है "बाधा प्रणाली" जैसे । अन्यथा, अंतरिक्ष "पूर्ण" क्यों नहीं है? ("

θ \in R^{n}

$\theta\in\mathbb{R}^n$

f (θ) = 0

$f(\theta)=0$

— मेनिफोल्ड

उम्मीद है, @whuber साथ आएंगे और उन टिप्पणियों पर विस्तार से बताएंगे जो वह चैट में कर रहे थे।

— गंग - मोनिका

आपके संपादित प्रश्न का संक्षिप्त उत्तर "नहीं" है। स्पर्शरेखा स्थान कई गुना आसान पथों के वेगों का वर्णन करता है। आंकड़ों में इसकी मुख्य भूमिका संभावना को अधिकतम करने में है, जहां कई गुना अधिक परिमित परिवार का वर्णन करता है। "मैनिफोल्ड लर्निंग में," डेटा को एक स्थानीय सन्निकटन के रूप में कई गुना प्रयोग किया जाता है - यह रैखिक प्रतिगमन में "कॉलम स्पेस" का एक घुमावदार संस्करण है। वहाँ, स्पर्शरेखा स्थान परिवेश यूक्लिडियन स्थान के भीतर सन्निहित है। स्थानीय रूप से, यह डेटा की "दिशाओं" का वर्णन करता है और इसकी सामान्य बंडल "त्रुटि" निर्देश देता है।

— whuber

हाँ: cotangent अंतरिक्ष पर के आसपास कार्यों के कीटाणुओं के derivations के रूप में परिभाषित किया जा सकता है । पर स्पर्शरेखा स्थान (इसलिए!) बस इसका दोहरा है। और एक टोपोलॉजी प्राप्त करते हैं - अर्थात, दो स्पर्शरेखा रिक्त स्थान और "पास" होने की धारणा को स्वीकार करते हैं - पर समन्वय चार्ट के माध्यम से । यह स्पर्शरेखा स्थान को परिभाषित करने की परिभाषा (और विज़ुअलाइज़ेशन की समस्या) को कम करता है । यह पर उत्पन्न होने वाले सभी वैक्टर का सेट है । स्पिवाक, कैलकुलस इन मेनीफोल्ड्स

T_{p}^{*} M

$T_p^{*}M$

p

$p$

p

$p$

p

$p$

T^{*} M

$T^{*}M$

T M

$TM$

T_{p} M

$T_pM$

T_{q} M

$T_qM$

M

$M$

T_{x} R^{n}

$T_x\mathbb{R}^n$

x

$x$ , इस तरह की एक स्पष्ट, प्राथमिक परिभाषा प्रदान करता है।

— whuber

जवाबों:

संभाव्यता वितरण के एक परिवार का विश्लेषण किया जा सकता है क्योंकि वितरण के मापदंडों के अनुरूप आंतरिक निर्देशांक के साथ कई गुना है । एक गलत मीट्रिक के साथ एक प्रतिनिधित्व से बचने के लिए विचार है: यूनीवेरेट गॉसियंस मैथेकल को प्लॉट के दाईं ओर के रूप में यूक्लिडिड गुना में बिंदुओं के रूप में प्लॉट किया जा सकता है। अक्ष में माध्य के साथ और अक्ष में SD (प्रसरण की साजिश रचने के मामले में सकारात्मक आधा): $(\Theta)$ $\mathcal N(\mu,\sigma^2),$ $\mathbb R^2$ $x$ $y$

हालाँकि, पहचान मैट्रिक्स (यूक्लिडियन दूरी) अलग-अलग 's की डिग्री को मापने में विफल रहेगी : डोमेन में एक अंतराल दिया, जो ऊपर दिए गए प्लॉट के बाईं ओर है। ओवरलैप के बिना (गहरे नीले रंग में) गौसियन घटता के साथ बड़ा होता है, भले ही इसका मतलब स्थिर रखा जाए। वास्तव में, एकमात्र रीमानियन मीट्रिक जो सांख्यिकीय अर्थ के लिए "समझ में आता है" है, फिशर सूचना मीट्रिक है । $\mathrm{pdf}$

में फिशर जानकारी दूरी: एक ज्यामितीय पढ़ने , कोस्टा एसआई, सैंटोस एसए और Strapasson जेई के बीच समानता का लाभ लेने के गाऊसी वितरण के फिशर जानकारी मैट्रिक्स और मीट्रिक Beltrami-Pointcaré डिस्क मॉडल एक बंद सूत्र प्राप्त करने के लिए।

हाइपरबोलाइड का "उत्तर" शंकु एक गैर-यूक्लिडियन मैनिफोल्ड बन जाता है, जिसमें प्रत्येक बिंदु एक माध्य और मानक विचलन (पैरामीटर स्पेस) से मेल खाता है, और बीच में कम दूरी जैसे और नीचे दिए गए चित्र में, एक जियोडेसिक वक्र है, जिसे भूमध्यरेखीय तल पर हाइपरपरबोलिक स्ट्रेट लाइनों के रूप में प्रक्षेपित (चार्ट मैप) किया जाता है, और मीट्रिक मैट्रिक के माध्यम से बीच की दूरी को मापने में सक्षम बनाता है। - फिशर सूचना मीट्रिक : $x^2 + y^2 - x^2 = -1$ $\mathrm {pdf's,}$ $P$ $Q,$ $\mathrm{pdf's}$ $g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

D (P (x; θ_{1}), Q (x; θ_{2})) = min_{θ (t) | θ (0) = θ_{1}, θ (1) = θ_{2}} \int_{0}^{1} \sqrt{{(\frac{d θ}{d t})}^{⊤} I (θ) \frac{d θ}{d t} d t}

$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$

साथ

I (θ) = \frac{1}{σ^{2}} [\begin{matrix} 1 & 0 \\ 0 & 2 \end{matrix}]

$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$

Kullback-Leibler विचलन बारीकी से ज्यामिति की कमी और मीट्रिक जुड़े यद्यपि, संबंधित है।

और यह ध्यान रखना दिलचस्प है कि फिशर सूचना मैट्रिक्स को शैनॉन एन्ट्रापी के हेसियन के रूप में व्याख्या किया जा सकता है :

g_{i j} (θ) = - E [\frac{\partial^{2} \log p (x; θ)}{\partial θ_{i} \partial θ_{j}}] = \frac{\partial^{2} H (p)}{\partial θ_{i} \partial θ_{j}}

$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$

साथ में

H (p) = - \int p (x; θ) \log p (x; θ) d x .

$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$

यह उदाहरण अवधारणा में समान है जैसा कि अधिक सामान्य स्टीरियोग्राफिक अर्थ मैप है ।

एमएल बहुआयामी एम्बेडिंग या कई गुना सीखने को यहां संबोधित नहीं किया गया है।

— एंटोनी पारेलाडा
स्रोत

संभावनाओं को ज्यामिति से जोड़ने का एक से अधिक तरीका है। मुझे यकीन है कि आपने अण्डाकार वितरण (जैसे गॉसियन) के बारे में सुना होगा । शब्द का अर्थ है ज्यामिति लिंक और यह स्पष्ट है जब आप इसका सहसंयोजक मैट्रिक्स खींचते हैं । मैनिफ़ेस्ट्स के साथ यह समन्वय प्रणाली में बस हर संभव पैरामीटर मान दे रहा है। उदाहरण के लिए, एक गौसियन मैनिफोल्ड दो आयामों में होगा: । आपके पास का कोई भी मान हो सकता है, लेकिन केवल सकारात्मक संस्करण । इसलिए, गौसियन मैनिफोल्ड पूरे स्थान का आधा हिस्सा होगा । दिलचस्प नहीं है $\mu,\sigma^2$ $\mu\in R$ $\sigma^2>0$ $R^2$

— Aksakal
स्रोत

मुझे लगता है कि मैंने सोचा था कि एक "कई गुना" को इसके एम्बेडिंग स्पेस की तुलना में कम आयाम माना जाता है? तो एक आधे क्षेत्र की गिनती नहीं होगी?

— जियोमैट 22

गाऊसी के साथ यह कई गुना सही भी नहीं है। आपको बाधाओं की आवश्यकता होती है, इसलिए यह किसी प्रकार का विमान या रेखा बन जाता है

— अक्षल

मैं अपने जवाब के निहितार्थ को समझने के लिए ... क्या आपका मतलब है "कोशिश कर रहा हूँ एक ज्यामिति लिंक"? इसके अलावा, मैं सिर्फ MathOverflow पर इस संबंधित पोस्ट पाया ।

— एंटोनी परेलाडा

यह एक उचित मीट्रिक के साथ और अधिक दिलचस्प हो जाता है ... फिशर-राव से एक की तरह है, और फिर पोंकारे अतिशयोक्तिपूर्ण आधा जगह हो जाता है en.wikipedia.org/wiki/Poincar%C3%A9_half-plane_model

— माइक

सभी के लिए: (1) जो पैरामीट्रिक परिवारों का वर्णन करते हैं वे आंतरिक मैनिफोल्ड हैं: उन्हें किसी भी वेक्टर स्थान में एम्बेड करने की आवश्यकता नहीं है। (२) वे केवल भिन्न भिन्नताओं से अधिक हैं: फिशर सूचना उन्हें रीमानियन मीट्रिक - ए स्थानीय दूरी के साथ संपन्न करती है - जो उन्हें ज्यामितीय रूप से अध्ययन करने में सक्षम बनाती है। यह एक घुमावदार सतह में " संपूर्ण स्थान" का आधा हिस्सा बनाता है ।

R^{2}

$\mathbb{R}^2$

— whuber