GAN (जेनेरिक एडवरटाइजिंग नेटवर्क) पाठ के लिए भी संभव है?

14

क्या जीएएन - जेनरेटर के प्रतिकूल नेटवर्क - केवल छवियों के लिए अच्छा है, या पाठ के लिए भी इस्तेमाल किया जा सकता है?

जैसे, सारांश से सार्थक ग्रंथों को उत्पन्न करने के लिए एक नेटवर्क को प्रशिक्षित करना।

UPD - GAN के आविष्कारक Ian Goodfellow के उद्धरण।

GAN को NLP पर लागू नहीं किया गया है क्योंकि GAN को केवल वास्तविक-मूल्यवान डेटा के लिए परिभाषित किया गया है। ( 2016 ) स्रोत

यह मौलिक रूप से त्रुटिपूर्ण विचार नहीं है। निम्न ... (2017) स्रोत में से कम से कम एक करना संभव होना चाहिए

gan

— जे डो
स्रोत

2

आपके द्वारा उद्धृत किया गया उद्धरण जनवरी 2016 से है, इसलिए बहुत अद्यतित नहीं है। यहाँ एक ही विषय के बारे में इयान गुडफेलो द्वारा एक और हालिया उत्तर (दिसंबर 2016) भी दिया गया है, जहाँ उन्होंने पाठ के साथ GAN का उपयोग करने के कुछ तरीकों का उल्लेख किया है।

— nasasas 10

17

हां, GANs का उपयोग पाठ के लिए किया जा सकता है। हालांकि, GANs कैसे काम करते हैं और कैसे पाठ सामान्य रूप से तंत्रिका नेटवर्क द्वारा उत्पन्न होता है, के संयोजन में एक समस्या है:

जेनरेटर और डिस्क्रिमिनेटर की संरचना के माध्यम से ग्रेडिएंट्स का प्रचार करके GAN काम करते हैं।
सामान्य रूप से टोकन स्पेस पर अंतिम सॉफ्टमैक्स लेयर होने से टेक्स्ट उत्पन्न होता है, अर्थात, नेटवर्क का आउटपुट सामान्य रूप से प्रत्येक टोकन (यानी असतत स्टोचैस्टिक यूनिट) को उत्पन्न करने की संभावनाएं होती हैं।

ये 2 चीजें अपने आप एक साथ अच्छी तरह से काम नहीं करती हैं, क्योंकि आप असतत स्टोचस्टिक इकाइयों के माध्यम से ग्रेडिएंट का प्रचार नहीं कर सकते हैं। इससे निपटने के लिए 2 मुख्य दृष्टिकोण हैं: REINFORCE एल्गोरिथ्म और Gumbel-Softmax reparameterization ( कंक्रीट वितरण के रूप में भी जाना जाता है )। इस बात का ध्यान रखें कि REINFORCE को उच्च विचरण के लिए जाना जाता है, इसलिए आपको अच्छे क्रमिक अनुमान प्राप्त करने के लिए बड़ी मात्रा में डेटा की आवश्यकता होती है।

पाठ गणों के लिए REINFORCE के एक उदाहरण के रूप में आप SeqGAN लेख की जाँच कर सकते हैं । Gumbel-Softmax का एक उदाहरण आप इस लेख को देख सकते हैं ।

एक और पूरी तरह से अलग विकल्प जनरेटर के उत्पादन के रूप में असतत स्टोचस्टिक इकाई नहीं है (उदाहरण के लिए एम्बेडेड अंतरिक्ष में नियत रूप से टोकन उत्पन्न करना), इसलिए उनके माध्यम से बैकप्रोपैगेटिंग की मूल समस्या को समाप्त करना।

— ncasas
स्रोत

3

इस विषय पर और भी विशिष्ट शोध हैं:

प्रशिक्षित जनरेटर कुछ स्तर के व्याकरण और तर्क के साथ वाक्य बनाने में सक्षम है।

ज़ुओरॉन्ग जिओ, "जेनरेशन एडवांसरियल ट्रेनिंग का उपयोग करके टेक्स्ट जेनरेशन"

यह प्रश्न इस से संबंधित है: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

— जे डो
स्रोत

1

ऐसा लगता है कि यह प्रश्न हटा दिया गया है, क्या आप कृपया विवरण प्रदान कर सकते हैं linguistics.stackexchange.com/questions/26448/…

— शक्ति

0

हां, GANs का उपयोग अब असतत डेटा के लिए भी किया जा सकता है। इस अंतर्ज्ञान का पहला उदाहरण तब आया जब वासेरस्टीन गैन्स (WGAN) अस्तित्व में आया। इयान गुडफेलो ने एनआईपीएस 2016 सम्मेलन में इस समस्या के लिए एक सुदृढीकरण सीखने के दृष्टिकोण को संबोधित किया, साथ ही, यह लेख GAN में प्रगति से संबंधित है जिसमें असतत डेटा के संबंध में है।

— vignesh_md
स्रोत