PCA और autoencoder के बीच अंतर क्या हैं?

Question

पीसीए और ऑटोएन्कोडर दोनों ही डिमेंशन में कमी कर सकते हैं, इसलिए उनके बीच क्या अंतर हैं? मुझे किस स्थिति में एक दूसरे का उपयोग करना चाहिए?

Answer 1

पीसीए एक रेखीय मानचित्र तक सीमित है, जबकि ऑटो एनकोडर में नॉनलाइनियर एनोडर / डिकोडर्स हो सकते हैं।

रैखिक ट्रांसफर फ़ंक्शन के साथ एक सिंगल लेयर ऑटो एनकोडर लगभग पीसीए के बराबर है, जहां लगभग इसका मतलब है कि एई और पीसीए द्वारा पाया गया समान नहीं होगा - लेकिन संबंधित की इच्छा से उप-वर्ग द्वारा फैलाया गया ।$W$$W$

Comments

समझा! इसलिए मुझे गैर-रैखिक परिवर्तन के लिए दो परतों की आवश्यकता है। तो कई परतों का मतलब बहुत जटिल गैर-रैखिक है?

— RockTheStar

@RockTheStar: यह उन परतों की संख्या नहीं है जो मायने रखती हैं, लेकिन सक्रियण फ़ंक्शन [ट्रांसफर फ़ंक्शन]। लीनियर ट्रांसफर फ़ंक्शन के साथ, किसी भी संख्या में परतें एक गैर-रैखिक ऑटोटेन्कोडर की ओर नहीं ले जाएंगी।

— अमीबा का कहना है कि मोनिका

तो, गैर-रैखिक परिवर्तन के साथ, यहां तक ​​कि छिपी इकाई की केवल 1 परत है। समाधान अभी भी गैर-रैखिक है?

— रॉकइंटरस्टार

हाँ। (इसके अलावा, यह अभी भी कुछ मामलों में रैखिक हो सकता है, उदाहरण के लिए जब छिपी हुई इकाइयों को रैखिक क्षेत्रों के पास सक्रिय किया जाता है।)

— बायरज

"जब छिपी हुई इकाइयाँ पास के लीनियर क्षेत्रों में सक्रिय होती हैं", तो आपका मतलब सिग्मॉइड फ़ंक्शन में लीनियर भाग है, है ना?

— रॉक द स्टार

Answer 2

जैसा कि बायरज बताता है कि पीसीए वह विधि है जो रैखिक प्रणालियों को मानती है जहां ऑटोएन्कोडर्स (एई) नहीं करते हैं। यदि एई में कोई गैर-रेखीय फ़ंक्शन का उपयोग नहीं किया जाता है और छिपी हुई परत में न्यूरॉन्स की संख्या छोटे आयाम की होती है, तो इनपुट तब पीसीए और एई एक ही परिणाम प्राप्त कर सकते हैं। अन्यथा AE एक अलग उप-प्रजाति पा सकता है।

एक बात का ध्यान रखें कि AE में छिपी परत इनपुट की तुलना में अधिक आयामी हो सकती है। ऐसे मामलों में एई की आयामीता में कमी नहीं की जा सकती है। इस मामले में हम उन्हें एक फीचर स्पेस से दूसरे में ट्रांसफॉर्म करने के रूप में अनुभव करते हैं, जिसमें नए फीचर स्पेस में डेटा भिन्नता के कारकों को नापसंद करता है।

आपके सवाल के बारे में कि क्या बायरज के प्रति आपकी प्रतिक्रिया में कई परतों का मतलब बहुत जटिल गैर-रेखीय है। "बहुत जटिल गैर-रेखीय" से आपका क्या मतलब है, इसके आधार पर यह सच हो सकता है। हालाँकि गहराई वास्तव में बेहतर सामान्यीकरण की पेशकश कर रही है। कई तरीकों को क्षेत्रों की संख्या के बराबर नमूनों की समान संख्या की आवश्यकता होती है। हालांकि यह पता चला है कि "बहुत बड़ी संख्या में क्षेत्रों, जैसे, , को बेंगियो एट अल के अनुसार उदाहरणों के साथ परिभाषित किया जा सकता है ।" यह प्रतिनिधित्व में जटिलता का परिणाम है जो नेटवर्क में निचली परतों से कम सुविधाओं की रचना से उत्पन्न होता है।O ( N $O(2^N)$$O(N)$

Comments

अपने ans के लिए thx!

— रॉकइंस्टार

Answer 3

यह एक टिप्पणी के रूप में बेहतर है, लेकिन जैसा कि मेरे पास इसके लिए प्रतिष्ठा की कमी है, इसे एक उत्तर के रूप में दिया जाएगा।

मैं बायरज में लगभग किसी की धारणा से भ्रमित हूं: उत्तर। तंत्रिका नेटवर्क और प्रमुख घटक विश्लेषण पढ़ना : स्थानीय मिनिमा के बिना उदाहरणों से सीखना जहां प्रमाण दिया गया है।

'' ऑटो-एसोसिएटिव मामले में ... और इसलिए अद्वितीय स्थानीय और विश्व स्तर पर अनुकूलतम मानचित्र डब्ल्यू स्पेस का ऑर्थोगोनल प्रोजेक्शन है, जो कि के पहले eigenvectors द्वारा फैलाया गया है '' Σ एक्स $p$$\Sigma_{XX}$

क्या यह तब PCA द्वारा प्रायोजित वैसा ही संवाददाता स्थान नहीं है?

Comments

आप जिस पेपर का हवाला देते हैं, वह एक रैखिक ऑटोकेनोडर का उपयोग करता है, अर्थात, कोई भी गैर-रैखिक सक्रियण फ़ंक्शन नहीं। यही कारण है कि इसका भार पीसीए द्वारा फैलाए जाने वाले एक ही उप-क्षेत्र पर होता है।

— elliotp

Answer 4

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$$N$ $n-$$X$$\mathbf{x}_1,\dots,\mathbf{x}_N$

$$\begin{align} \mathbf{h}_1 & = \mathbf{W}_1\mathbf{x} + \mathbf{b}_1 \\ \hat{\mathbf{x}} & = \mathbf{W}_2\mathbf{h}_1 + \mathbf{b}_2 \end{align}$$

$\hat{\mathbf{x}}$$W_1\in \mathbb{R}^{n \times m}$$W_2\in \mathbb{R}^{m \times n}$$m < n$

$m$$W_2$$m$$X$

$W_2$$m$$X$$X$$n \times N$$W_2$$m\times n$$W_2$$O(m^2n)$$X$$O(n^2N)$$m < n$