"यादृच्छिक प्रक्षेपण" सख्ती से एक प्रक्षेपण नहीं बोल रहा है?

10

रैंडम प्रक्षेपण एल्गोरिथ्म के वर्तमान कार्यान्वयन उन लोगों से मैप करके डेटा के नमूनों की आयामी स्वरूप को कम करने के लिए एक का उपयोग कर प्रक्षेपण मैट्रिक्स जिसकी प्रविष्टियों से उदाहरण के लिए एक उपयुक्त वितरण (से आईआईडी कर रहे हैं ): $\mathbb R^d$ $\mathbb R^k$ $d\times k$ $R$ $\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

आसानी से, सैद्धांतिक प्रमाण मौजूद होते हैं कि यह मानचित्रण जोड़ीदार दूरी को बनाए रखता है।

हालाँकि, हाल ही में मुझे ये नोट मिले, जहाँ लेखक का दावा है कि यादृच्छिक मैट्रिक्स के साथ यह मैपिंग शब्द के सख्त रेखीय बीजगणितीय अर्थ में प्रक्षेपण नहीं है (पृष्ठ 6)। वहां दिए गए स्पष्टीकरण से, इसका कारण यह है कि के कॉलम सख्ती से ऑर्थोगोनल नहीं हैं जब इसकी प्रविष्टियां स्वतंत्र रूप से से चुनी जाती हैं । इसलिए, आरपी के पुराने संस्करण जहां के स्तंभों की ऑर्थोगोनलिटी को लागू किया गया था, को एक प्रक्षेपण माना जा सकता है। $R$ $\mathcal N(0,1)$ $R$

क्या आप इस बारे में (1) अधिक विस्तृत विवरण प्रदान कर सकते हैं कि इस सख्त अर्थ में प्रक्षेपण की परिभाषा क्या है और (२) आरपी इस निश्चितता के तहत प्रक्षेपण क्यों नहीं है ?।

— डैनियल लोपेज़
स्रोत

1

आप हमारी साइट को खोजकर (1) उत्तर दे सकते हैं । अभिकथन (2) तत्काल है क्योंकि यदि स्तंभ हमेशा ऑर्थोगोनल होते थे , तो उनकी प्रविष्टियां स्वतंत्र नहीं हो सकती थीं।

— whuber

4

इस सख्त (रैखिक बीजगणितीय) अर्थ (शब्द का) में एक प्रक्षेपण की परिभाषा क्या है

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

रैखिक बीजगणित और कार्यात्मक विश्लेषण में, एक प्रक्षेपण एक वेक्टर स्थान से एक रैखिक परिवर्तन है जो कि । यही है, जब भी को किसी भी मूल्य पर दो बार लागू किया जाता है, तो यह उसी तरह का परिणाम देता है जैसे कि इसे एक बार लागू किया गया था। $P$ $P^2 = P$ $P$

ऑर्थोगोनल प्रोजेक्शन या वेक्टर प्रोजेक्शन के लिए आपके पास वह है

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

एक ऑर्थोगोनल प्रक्षेपण एक प्रक्षेपण है जिसके लिए रेंज यू और अशक्त स्पेस वी ऑर्थोगोनल सबस्पेस होते हैं।
आरपी इस परिभाषा के तहत प्रक्षेपण क्यों नहीं है?

माइकल महोनी आपके व्याख्यान में लिखते हैं कि यह इस बात पर निर्भर करता है कि आरपी का निर्माण कैसे किया जाता है , आरपी पारंपरिक रैखिक बीजगणितीय अर्थों में एक प्रक्षेपण है या नहीं। यह वह तीसरे और चौथे अंक में करता है:

तीसरा, अगर यादृच्छिक वैक्टर बिल्कुल ऑर्थोगोनल थे (जैसा कि वे वास्तव में मूल जेएल निर्माणों में थे), तो हमारे पास होगा कि जेएल प्रक्षेपण एक ऑर्थोगोनल प्रक्षेपण था

...

लेकिन हालांकि यह लिए गलत है, यादृच्छिक चर, और अधिकांश अन्य निर्माण, एक साबित कर सकता है कि परिणामस्वरूप वैक्टर लगभग इकाई लंबाई और लगभग रूढ़िवादी हैं $\lbrace \pm \rbrace$

...

यह "काफी अच्छा" है

तो आप कर सकते हैं, प्रिंसिपल में, एक अलग निर्माण के साथ यादृच्छिक प्रक्षेपण जो ऑर्थोगोनल मेट्रिसेस तक सीमित है (हालांकि इसकी आवश्यकता नहीं है)। उदाहरण के लिए मूल काम देखें:

जॉनसन, विलियम बी और जोराम लिंडेनस्ट्रस। "एक हिल्बर्ट अंतरिक्ष में लिप्सचित्ज़ मैपिंग का विस्तार।" समकालीन गणित 26.189-206 (1984): 1।

... यदि कोई पर यादृच्छिक रैंक orthogonal प्रोजेक्शन को $k$ $l_2^n$

...

इसे सटीक बनाने के लिए, हम को के पहले निर्देशांक पर प्रक्षेपण होने देते हैं और को पर Haar माप को सामान्यीकृत किया जाता है , पर ऑर्थोगोनल समूह । फिर रैंडम वेरिएबल द्वारा परिभाषित "रैंडम रैंक प्रोजेक्शन " की धारणा को निर्धारित करता है । $Q$ $k$ $l_2^n$ $\sigma$ $O(n)$ $l_2^n$
$f : (O (n), σ) \to L (l_{2}^{n})$ $f: (O(n), \sigma) \to L(l_2^n)$ $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ $k$

विकिपीडिया प्रविष्टि इस तरह से यादृच्छिक प्रक्षेपण का वर्णन करती है (उसी का उल्लेख 10 और 11 पेज के व्याख्यान नोट्स में किया गया है)

https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

पहली पंक्ति एक यादृच्छिक इकाई वेक्टर समान रूप से से चुनी जाती है । दूसरी पंक्ति अंतरिक्ष ओर्थोगोनल से पहली पंक्ति के लिए एक यादृच्छिक इकाई वेक्टर है, तीसरी पंक्ति अंतरिक्ष ओर्थोगोनल से पहली दो पंक्तियों तक एक यादृच्छिक इकाई वेक्टर है, और इसी तरह। $S^{d − 1}$

लेकिन आम तौर पर आपको यह ऑर्थोगोनलिटी नहीं मिलती है, जब आप मैट्रिक्स के सभी मैट्रिक्स-एंट्रीज़ को सामान्य वितरण के साथ यादृच्छिक और स्वतंत्र चर में लेते हैं (जैसा कि व्हीबर ने अपनी टिप्पणी में बहुत ही सरल परिणाम के साथ उल्लेख किया है "यदि कॉलम हमेशा ऑर्थोगोनल थे, तो उनकी प्रविष्टियां हो सकती हैं" स्वतंत्र नहीं हो ”)।

मैट्रिक्स $R$ और ऑर्थोनॉमिक कॉलम के मामले में उत्पाद को एक प्रक्षेपण के रूप में देखा जा सकता है क्योंकि यह एक प्रक्षेपण मैट्रिक्स $P = R^TR$ । यह एक सा है जैसा कि एक प्रक्षेपण के रूप में साधारण कम से कम वर्गों के प्रतिगमन को देखते हुए। उत्पाद $b = R^T x$ प्रक्षेपण नहीं है, लेकिन यह आपको एक अलग आधार वेक्टर में एक समन्वय प्रदान करता है। 'वास्तविक' प्रक्षेपण $x' = Rb = R^TRx$ , और प्रक्षेपण मैट्रिक्स $R^TR$ ।

प्रोजेक्शन मैट्रिक्स $P=R^TR$ को उप- पर पहचान ऑपरेटर होने की आवश्यकता है जो प्रक्षेपण की सीमा है ( विकिपीडिया पृष्ठ पर उल्लिखित गुणों को देखें )। या अलग तरीके से कहा गया है कि इसे 1 और 0 का eigenvalues होना आवश्यक है, जैसे कि वह सब-स्पेस जिसके लिए यह पहचान मैट्रिक्स है, यह eigenvalctors से संबंधित eigenvectors का फैलाव है। 1. यादृच्छिक मैट्रिक्स-प्रविष्टियों के साथ आपको यह संपत्ति नहीं मिलने वाली है। व्याख्यान नोट्स में यह दूसरा बिंदु है $U$

... यह "एक ऑर्थोगोनल मैट्रिक्स" कई मायनों में दिखता है ... $range(P^T P)$ एक समान रूप से वितरित उप-प्रजाति है ... लेकिन आइजनवेल्यूज़ $\lbrace 0, 1 \rbrace$ ।

^{ध्यान दें कि इस उद्धरण में मैट्रिक्स $P$ प्रश्न में मैट्रिक्स $R$ से संबंधित है न कि मैट्रिक्स मैट्रिक्स $P = R^TR$ जो कि मैट्रिक्स से निहित है। $R$}

इसलिए विभिन्न निर्माणों द्वारा यादृच्छिक प्रक्षेपण, जैसे कि मैट्रिक्स में यादृच्छिक प्रविष्टियों का उपयोग करना, एक ऑर्थोगोनल प्रक्षेपण के बराबर नहीं है। लेकिन यह कम्प्यूटेशनल रूप से सरल है और, माइकल महोनी के अनुसार, " यह काफी अच्छा है।"

— सेक्सटस एम्पिरिकस
स्रोत

1

आपके उत्तर के लिए धन्यवाद, मुझे लगता है कि यह उसी दिशा में जाता है जैसा मैंने ऊपर दिया था। बस स्पष्ट करने के लिए मुझे लगता है कि आपको संकेत देना चाहिए कि

। तब के रूप में आप की व्याख्या, अगर की प्रविष्टियों

से आईआईडी रहे

हम यह सुनिश्चित नहीं कर सकता कि

या कि

में eigenvalues है

। इसके विपरीत, यदि

के कॉलम

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$ दोनों स्थितियों को पूरा कर रहे हैं असामान्य हैं। लेकिन यह इंगित करना महत्वपूर्ण है कि प्रक्षेपण

, और

अकेले नहीं है !

R R^{T}

$RR^T$

R

$R$

— डैनियल

1

@ DanielLópez मैंने इसे अपडेट किया है।

— सेक्सटस एम्पिरिकस

6

यह सही है: "यादृच्छिक प्रक्षेपण" सख्ती से एक प्रक्षेपण नहीं बोल रहा है।

प्रक्षेपण एक स्पष्ट रूप से परिभाषित किया गया है गणितीय वस्तु: https://en.wikipedia.org/wiki/Projection_(linear_algebra) - यह एक रेखीय idempotentent ऑपरेटर, यानी रैखिक ऑपरेटर है $P$ ऐसी है कि $P^2 = P$ । एक प्रक्षेपण को दो बार लागू करना केवल इसे एक बार लागू करने के समान है क्योंकि एक बिंदु के बाद एक उप-स्थान पर प्रक्षेपित किया जाता है, इसे फिर से प्रोजेक्ट किए जाने पर वहां रहना चाहिए। इस परिभाषा में ऑर्थोगोनलिटी के बारे में कुछ नहीं है; वास्तव में, एक प्रक्षेपण तिरछा हो सकता है (विकिपीडिया देखें)।

ध्यान दें कि केवल स्क्वायर मैट्रीस इस अर्थ में "अनुमानों" का प्रतिनिधित्व कर सकते हैं। "यादृच्छिक प्रक्षेपण" एक यादृच्छिक का उपयोग करता $d\times k$ मैट्रिक्स $R$ के साथ $k\ll d$ , तो यह संभवतः उपरोक्त परिभाषा के अर्थ में एक प्रक्षेपण नहीं हो सकता है।

यहां तक कि अगर आप $R$ orthonormal (जैसे ग्राम-श्मिट प्रक्रिया लागू करके) के कॉलम बनाते हैं , तब भी यह तर्क लागू होगा। किसी ने हाल ही में पीसीए के बारे में यह सवाल पूछा है: पीसीए के संदर्भ में वास्तव में "प्रोजेक्शन मैट्रिक्स" क्या कहा जाना चाहिए? - orthonormal eigenvectors के एक $d\times k$ मैट्रिक्स $U$ सख्ती से या तो एक प्रक्षेपण नहीं बोल रहा है।

— एक सलि का जन्तु
स्रोत

3

अपने अंतिम पैराग्राफ में आप कहते हैं कि यदि स्तंभ ऑर्थोनॉर्मल हैं तो प्रोजेक्शन अभी भी रैखिक बीजगणित में प्रक्षेपण के अर्थ में एक प्रक्षेपण नहीं है। हालाँकि, यह सिर्फ इसलिए है क्योंकि मैट्रिक्स एक वर्ग मैट्रिक्स नहीं है। यह सिद्धांत के कारण संकेतन के कारण अधिक है। यदि आप मैट्रिक्स को शून्य के साथ बढ़ाते हैं तो मैट्रिक्स एक रैखिक प्रक्षेपण है।

— सेक्टस एम्पिरिकस

1

@MartijnWeterings नहीं, मुझे ऐसा नहीं लगता। 2 डी स्पेस और यू लें जो 1x2 है और इस तरह दिखता है: [sqrt (2) / 2, sqrt (2) / 2] (विकर्ण पर प्रक्षेपण के अनुरूप)। अब इसे शून्य से विस्तारित करें। यह स्वयं के बराबर नहीं होगा।

— अमीबा

1

इसे किसी और तरीके से बढ़ाया जाना चाहिए, किया जा सकता है

— kjetil b halvorsen

2

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— सेक्सटस एम्पिरिकस

2

R

$R$

1

$d\times k$ $R$ $R$ $x\in \mathbb R^d$ $R$

$p = xR(R^TR)^{-1}R^T$ $p\in\mathbb R^d$

$R$ $R^TR = I\in \mathbb R^{k\times k}$ $x$ $R$

$p = xRR^T$ $p\in\mathbb R^d$

$RR^T\in\mathbb R^{d\times d}$ $(RR^T)^2=RR^TRR^T=RR^T$

$R$ $\mathbb R^k$ $\mathbb R^d$ $x\in\mathbb R^d$ $xRR^T$ $R$ $RR^T$

यदि आप मेरे तर्क को यहाँ पुष्टि / सही कर सकते हैं तो मैं आपका आभारी रहूँगा।

संदर्भ:

[१] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projections.pdf

— डैनियल लोपेज़
स्रोत

1

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

1

R R^{T}

$RR^T$

R

$R$

2

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

-1

यदि आप पुन: उपयोग किए जाने वाले यादृच्छिक संकेत फ़्लिपिंग या क्रमपरिवर्तन से पहले फास्ट वाल्श हैडमर्ड का उपयोग करते हैं तो यादृच्छिक प्रक्षेपण ऑर्थोगोनल है।

— सीन ओ'कॉनर
स्रोत