LLE (स्थानीय रैखिक एम्बेडिंग) एल्गोरिथ्म के चरण बताएं?

मैं समझता हूं कि एलएलई के लिए एल्गोरिथ्म के पीछे मूल सिद्धांत तीन चरणों के होते हैं।

कुछ मीट्रिक जैसे k-nn द्वारा प्रत्येक डेटा बिंदु के पड़ोस का पता लगाना।
प्रत्येक पड़ोसी के लिए वेट खोजें, जो डेटा बिंदु पर पड़ोसी के प्रभाव को दर्शाता है।
गणना की गई वज़न के आधार पर डेटा के कम आयामी एम्बेडिंग का निर्माण करें।

लेकिन चरण 2 और 3 की गणितीय व्याख्या उन सभी पाठ्य पुस्तकों और ऑनलाइन संसाधनों में भ्रमित हैं जो मैंने पढ़े हैं। सूत्रों का उपयोग क्यों किया जाता है, इसका मैं कारण नहीं बता पा रहा हूं।

इन चरणों का अभ्यास कैसे किया जाता है? क्या गणितीय सूत्रों का उपयोग करने का कोई सहज तरीका है?

सन्दर्भ: http://www.cs.nyu.edu/~roweis/lle/publications.html

— User1234321232
स्रोत

स्थानीय रैखिक एम्बेडिंग (LLE) दूर की वस्तुओं के बीच दूरी का अनुमान लगाने की आवश्यकता को समाप्त करता है और स्थानीय रैखिक फिट द्वारा वैश्विक गैर-रैखिक संरचना को पुनर्प्राप्त करता है। एलएलई लाभप्रद है क्योंकि इसमें सीखने की दर या अभिसरण मानदंड जैसे कोई पैरामीटर शामिल नहीं हैं। LLE भी के आंतरिक आयाम के साथ अच्छी तरह से तराजू । LLE के लिए उद्देश्य फ़ंक्शन यदि और वस्तुओं के लिए भार मैट्रिक्स तत्व सेट करें तो $\mathbf{Y}$

ζ (Y) = (Y - W Y)^{2} = Y^{⊤} (I - W)^{⊤} (I - W) Y

$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$

W

$\mathbf{W}$

w_{i j}

$w_{ij}$

i

$i$

j

$j$

j

$j$

i

$i$ का कोई निकटतम पड़ोसी नहीं

, अन्यथा, वस्तु के K- निकटतम पड़ोसियों के लिए वज़न

i

$i$ कम से कम वर्ग के माध्यम से निर्धारित होता है जो कि जहां निर्भर चर एक है लोगों की वेक्टर, एक है वस्तु के सभी निकटतम पड़ोसियों के लिए ग्राम मैट्रिक्स , और एक वजन का वेक्टर है जो सम-टू-यूनिटी बाधाओं का पालन करता है। Let एक सममित सकारात्मक अर्धविराम

U = G β

$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$

U

$\mathbf{U}$

K \times 1

$K \times 1$

G

$\mathbf{G}$

K \times K

$K \times K$

i

$i$

β

$\boldsymbol{\beta}$

K \times 1

$K \times 1$

D

$\mathbf{D}$

K \times K

$K \times K$ दूरी- के सभी जोड़े के लिए दूरी मैट्रिक्स -डायमेंशनल ऑब्जेक्ट । यह दिखाया जा सकता है कि तत्वों- साथ तत्वों -केंद्रित दूरी मैट्रिक्स के प्रतिगमन गुणांक निर्धारित संख्यानुसार उपयोग कर रहे हैं

p

$p$

x_{i}

$\mathbf{x}_i$

G

$\mathbf{G}$

τ

$\boldsymbol{\tau}$

τ_{l m} = - \frac{1}{2} (d_{l m}^{2} - \frac{1}{K} \sum_{l} d_{l m}^{2} - \frac{1}{K} \sum_{m} d_{l m}^{2} + \sum_{l} \sum_{m} d_{l m}^{2}) .

$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$

K

$K$

\underset{K \times 1}{β} = {\underset{K \times K}{(τ^{⊤} τ)}}^{- 1} \underset{K \times 1}{τ^{⊤} U},

$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$ और यह पुष्टि करने के लिए जाँच की जाती है कि वे एकता के योग हैं। के मान पंक्ति में एम्बेडेड रहे हैं के वस्तु के कश्मीर निकटतम पड़ोसियों के लिए इसी विभिन्न स्तंभ पदों पर , साथ ही पक्षांतरित तत्वों। यह डेटासेट में प्रत्येक वें ऑब्जेक्ट के लिए दोहराया जाता है । यह ध्यान देने योग्य है कि यदि निकटतम पड़ोसी की संख्या बहुत कम है, तो को विरल हो सकता है, जिससे ईजेननलिसिस मुश्किल हो सकता है। यह देखा गया कि निकटतम पड़ोसियों का परिणाम

β

$\boldsymbol{\beta}$

i

$i$

W

$\mathbf{W}$

i

$i$

i

$i$

K

$K$

W

$\mathbf{W}$

K = 9

$K=9$

W

$\mathbf{W}$ मैट्रिंस जिनमें ईजेननलिसिस के दौरान पैथोलॉजी नहीं थी। वस्तुनिष्ठ फ़ंक्शन को के सबसे छोटे गैर-शून्य eigenvalues को खोजने के द्वारा किया जाता है। का घटा हुआ रूप द्वारा दर्शाया जाता है, जहां के आयाम जो कि के दो सबसे कम पर आधारित हैं। ।

(I - W)^{⊤} (I - W) E = Λ D E .

$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$

X

$\mathbf{X}$

Y = E

$\mathbf{Y}=\mathbf{E}$

E

$\mathbf{E}$

n \times 2

$n \times 2$

Λ

$\boldsymbol{\Lambda}$

— wrktsj
स्रोत

"के = 9 निकटतम पड़ोसी" क्या यह की पर निर्भर नहीं करता है ? उदाहरण के लिए, यदि 9 आयाम कम हैं, तो वेट मैट्रिक्स विशिष्ट रूप से निर्धारित नहीं है। क्या इससे LLE को समस्या होती है?

Y

$Y$

Y

$Y$

W

$W$

— स्कॉट

हां, लेकिन अगर 8 आयामों की बात करें, तो यादृच्छिक डेटा के लिए शाब्दिक रूप से हर बिंदु को 9 अन्य लोगों के रैखिक संयोजन के रूप में पूरी तरह से लिखा जा सकता है, अनंत तरीकों से।

— स्कॉट

तकनीक को लागू करते समय हमेशा "क्या होगा अगर" परिदृश्य होते हैं, और यही कारण है कि पैरामीटर बाधाओं का उपयोग किया जाता है।

— १।