मैं परिवर्तनशील ऑटोकेन्डर और सामान्य (नियतात्मक) ऑटोकेनोडर और उनके पीछे के गणित की मूल संरचना को समझता हूं, लेकिन मैं कब और क्यों एक प्रकार के ऑटोकेनर को दूसरे के लिए पसंद करूंगा? सभी मेरे बारे में सोच सकते हैं कि परिवर्तनशील ऑटोकेनोडर के अव्यक्त चर का पूर्व वितरण हमें अव्यक्त चर का नमूना लेने की अनुमति देता है और फिर नई छवि का निर्माण करता है। नियतात्मक ऑटोएन्कोडर पर परिवर्तनशील ऑटोएन्कोडर की स्टोकैस्टिसिटी का क्या फायदा है?
जब एक ऑटोकेनोडर के विपरीत मुझे एक वैरिएबल ऑटोकेनर का उपयोग करना चाहिए?
जवाबों:
VAE एक ऐसा ढांचा है जिसे बड़े डेटासेट पर वैरिएबल EM (या सामान्य रूप में वैरिएबल इंट्रेंस) करने के लिए एक स्केलेबल तरीके के रूप में प्रस्तावित किया गया था। हालाँकि इसमें AE जैसी संरचना है, यह एक बहुत बड़े उद्देश्य को पूरा करता है।
कहा कि, एक, ज़ाहिर है, अव्यक्त प्रतिनिधित्व जानने के लिए VAEs का उपयोग कर सकते हैं। VAE को अव्यवस्थित कारकों के साथ प्रतिनिधित्व देने के लिए जाना जाता है [1] अव्यक्त चरों पर आइसोट्रोपिक गौसियन पादरियों के कारण ऐसा होता है। गाऊसी के रूप में उन्हें मॉडलिंग करना प्रतिनिधित्व में प्रत्येक आयाम को अन्य कारकों से जितना संभव हो सके उतना आगे बढ़ने की अनुमति देता है। इसके अलावा, [1] ने एक नियमितकरण गुणांक जोड़ा है जो पूर्व के प्रभाव को नियंत्रित करता है।
जबकि आइसोट्रोपिक गॉसियन अधिकांश मामलों के लिए पर्याप्त हैं, विशिष्ट मामलों के लिए, एक अलग तरीके से पुजारियों को मॉडल करना चाह सकता है। उदाहरण के लिए, अनुक्रमों के मामले में, कोई याजकों को अनुक्रमिक मॉडल के रूप में परिभाषित करना चाह सकता है [2]।
प्रश्न पर वापस आते हुए, जैसा कि कोई भी देख सकता है, पूर्व में महत्वपूर्ण नियंत्रण देता है कि हम अपने अव्यक्त वितरण को कैसे मॉडल करना चाहते हैं। इस तरह का नियंत्रण सामान्य एई ढांचे में मौजूद नहीं है। यह वास्तव में बायेसियन मॉडल की शक्ति है, VAE केवल बड़े पैमाने के डेटासेट के लिए इसे अधिक व्यावहारिक और व्यवहार्य बना रहे हैं। इसलिए, यह निष्कर्ष निकालने के लिए, यदि आप अपने अव्यक्त अभ्यावेदन पर सटीक नियंत्रण चाहते हैं और आप उनका प्रतिनिधित्व करना चाहते हैं, तो VAE चुनें। कभी-कभी, सटीक मॉडलिंग [2] के रूप में बेहतर अभ्यावेदन पर कब्जा कर सकता है। हालाँकि, यदि AE आपके द्वारा किए गए कार्य के लिए पर्याप्त है, तो बस AE के साथ जाएं, यह सरल और पर्याप्त है। आखिरकार, एई के साथ हम केवल गैर-रैखिक पीसीए कर रहे हैं।
[१] अनसुप्राइज़्ड डीप लर्निंग, २०१६
इरीना हिगिंस, लॉयिक मैथे, जेवियर ग्लोरोट, अर्का पाल, बेनिग्नो उरिया, चार्ल्स ब्लंडेल, शाकिर मोहम्मद, अलेक्जेंडर लेरचनेर
https://arxiv.org/abs/1606.0557979
[२] अनुक्रमिक डेटा के लिए एक आवर्तक
लेटेंट वेरिएबल मॉडल, २०१५ जूनयुंग चुंग, काइल कस्तनर, लॉरेंट दीन्ह, क्रर्थथ गोयल, आरोन कोर्टविल, योशुआ बेंगियो
https://arxiv.org/abs/1506.02216
तेनालीरामन के कुछ अच्छे अंक थे लेकिन उन्होंने बहुत सी मूलभूत अवधारणाओं को भी याद किया। पहले यह ध्यान दिया जाना चाहिए कि एई-जैसे ढांचे का उपयोग करने का प्राथमिक कारण अव्यक्त स्थान है जो हमें जानकारी को संपीड़ित करने की अनुमति देता है और उम्मीद है कि इससे स्वतंत्र कारक प्राप्त हो जो डेटा की उच्च-स्तरीय विशेषताओं का प्रतिनिधित्व करते हैं। एक महत्वपूर्ण बिंदु यह है कि, जबकि एई को "एक्स" छिपी इकाइयों के बाद से पीसीए के अरेखीय विस्तार के रूप में व्याख्या की जा सकती है, मुख्य घटकों की पहली "एक्स" संख्या के समान स्थान होगा, एई जरूरी नहीं कि अव्यक्त में ऑर्थोगोनल घटकों का उत्पादन करे। अंतरिक्ष (जो असंगति का एक रूप होता)। इसके अलावा एक वीएई से, आप डेटा संभावना (हालांकि अनुमानित) का एक उदाहरण प्राप्त कर सकते हैं और इससे नमूना भी ले सकते हैं (जो विभिन्न विभिन्न कार्यों के लिए उपयोगी हो सकता है)। तथापि,
एक वीएई में अव्यक्त इकाइयों पर लगाए गए पूर्व वितरण केवल केएल विचलन शब्द के कारण मॉडल फिटिंग में योगदान देता है, जिसे [1] संदर्भ ने केवल उस शब्द पर एक हाइपरपरमीटर गुणक जोड़ा और इसमें से एक पूर्ण पेपर निकला (अधिकांश यह है) काफ़ी स्पष्ट)। अनिवार्य रूप से एक "अनइनफॉर्मेटिव" पूर्व एक है जो व्यक्तिगत रूप से एक केएल विचलन शून्य के करीब है और नुकसान में ज्यादा योगदान नहीं करता है, जिसका अर्थ है कि डिकोडर में पुनर्निर्माण के लिए विशेष इकाई का उपयोग नहीं किया जाता है। असहमति स्वाभाविक रूप से वीएई पर खेलने के लिए आती है, क्योंकि बहु-मोडल डेटा के सरलतम मामले में, केएल विचलन लागत कम है प्रत्येक मोड के लिए एक अद्वितीय अव्यक्त गाऊसी होने से यदि मॉडल एक एकल गाऊसी के साथ कई मोड पर कब्जा करने की कोशिश करता है (जो कि केएल विचलन लागत से भारी दंड के रूप में पहले से अधिक विचलन करेगा) - इस प्रकार अग्रणी अव्यक्त इकाइयों में असंतोष। इसलिए VAE भी अपने से जुड़े सांख्यिकीय निहितार्थों के कारण स्वाभाविक रूप से ज्यादातर डेटा स्रोतों को उधार देता है।
AE के लिए भी फ्रेमवर्क थोपने वाले AE हैं, लेकिन दुर्भाग्य से मुझे किसी भी पेपर के बारे में पता नहीं है जो VAE बनाम AE की तुलना अव्यक्त अंतरिक्ष प्रतिनिधित्व और असंतोष के आधार पर कड़ाई से करता है। मैं वास्तव में उस क्षेत्र में कुछ देखना चाहता हूं - चूंकि एई को प्रशिक्षित करना बहुत आसान है और यदि वे अव्यवस्थित अंतरिक्ष में वीएई के रूप में असहमति के रूप में प्राप्त कर सकते हैं तो वे स्पष्ट रूप से पसंद किए जाएंगे। संबंधित नोट पर, मैंने ICA (और nonlinear ICA) विधियों द्वारा कुछ वादे भी देखे हैं, लेकिन जिन लोगों को मैंने अव्यक्त स्थान को डेटा के समान आयाम के लिए मजबूर किया है, जो लगभग AE के रूप में उपयोगी नहीं है। उच्च-स्तरीय सुविधाओं को निकालने के लिए।
निम्नलिखित ग्राफ का उपयोग करते हुए मानक ऑटोकेन को चित्रित किया जा सकता है:
जैसा कि पिछले उत्तरों में कहा गया है कि इसे पीसीए के केवल एक गैर-रेखीय विस्तार के रूप में देखा जा सकता है।
लेकिन वैरिएबल ऑटोकेनोडर की तुलना में वैनिला ऑटोकेनोडर में निम्नलिखित दोष हैं:
ऑटोकेनोडर्स के साथ मूलभूत समस्या, पीढ़ी के लिए, यह है कि अव्यक्त स्थान वे अपने इनपुट को परिवर्तित करते हैं और जहां उनके एन्कोडेड वैक्टर झूठ बोलते हैं, निरंतर नहीं हो सकते हैं, या आसान प्रक्षेप की अनुमति दे सकते हैं।
यही है, उपरोक्त ग्राफ़ में एन्कोडिंग भाग उन इनपुटों से नहीं निपट सकता है जो एनकोडर ने पहले कभी नहीं देखा है क्योंकि अलग-अलग वर्गों को स्पष्ट रूप से गुच्छित किया जाता है और उन अनदेखी इनपुटों को एन्कोड किया जाता है जो रिक्त स्थान में स्थित हैं।
इस समस्या से निपटने के लिए, मध्य परत में प्रत्येक छिपे हुए चर के लिए एक माध्य और मानक विचलन वाली परत को जोड़कर परिवर्तनशील ऑटोकेनोडर बनाया गया था:
तब भी एक ही इनपुट के लिए डिकोड किया गया आउटपुट अलग-अलग हो सकता है, और एन्कोडेड और क्लस्टर किए गए इनपुट सहज हो जाते हैं:
इसलिए, डेटा को प्रसारित करने (या प्रसार डेटा को फ़िल्टर करने) को वर्गीकृत करने के लिए, एक मानक ऑटोकेनोडर पर्याप्त होगा, जबकि हम पीढ़ी के लिए वैरिएबल ऑटोकेनर को बेहतर तरीके से नियोजित करेंगे।
संदर्भ:
अंतःक्रियात्मक रूप से समझने वाले वैयक्तिक ऑटेनकोडर्स
VAE में कोड का वितरण चुनना बेहतर अनुपयोगी प्रतिनिधित्व अधिगम के लिए अनुमति देता है जहाँ समान श्रेणी के नमूने कोड स्पेस में एक दूसरे के करीब समाप्त होते हैं। इस तरह से, कोड स्थान में क्षेत्रों के लिए शब्दार्थ खोजना आसान हो जाता है। उदाहरण के लिए, आपको प्रत्येक क्षेत्र से पता चल जाएगा कि कौन सी कक्षा उत्पन्न हो सकती है।
यदि आपको अधिक गहराई से विश्लेषण की आवश्यकता है, तो डर्क किंग्मा की थीसिस पर एक नज़र डालें । यह परिवर्तनशील अनुमान के लिए एक महान स्रोत है।
जब आप "वितरण चुनने" के बारे में बात कर रहे हैं, तो आप किस वितरण के बारे में बात कर रहे हैं? p (z), p (z | x), p (x | z) या उनमें से सभी? मैंने केवल सामान्य वितरण या बर्नौली वितरण का उपयोग करते हुए देखा है, क्या आप विभिन्न वितरण का उपयोग करते हुए प्रदर्शन की तुलना करने वाले किसी भी काम के बारे में जानते हैं? अपने दूसरे बिंदु के रूप में, मैं यह नहीं देख सकता हूं कि सामान्य ऑटोकेन की तुलना में वैरिएबल ऑटोएन्कोडर एक बेहतर काम क्यों करेगा, क्या आप विस्तृत कर सकते हैं? धन्यवाद।
—
DiveIntoML