समझ हानि समारोह

Question

मैं GAN लॉस फंक्शन को समझने के लिए संघर्ष कर रहा हूं जैसा कि अंडरस्टैंडिंग जनरेटिव एडवरसरी नेटवर्क्स (डैनियल सीता द्वारा लिखित एक ब्लॉग पोस्ट) में प्रदान किया गया है।

मानक क्रॉस-एन्ट्रापी नुकसान में, हमारे पास एक आउटपुट है जिसे सिग्मोइड फ़ंक्शन और एक परिणामी बाइनरी वर्गीकरण के माध्यम से चलाया गया है।

Sieta बताता है

इस प्रकार, [प्रत्येक] डेटा बिंदु $x_1$ और उसके लेबल के लिए, हमें निम्नलिखित नुकसान फ़ंक्शन मिलते हैं ...

$$H((x_1, y_1), D) = -y_1 \log D(x_1) - (1 - y_1) \log (1 - D(x_1))$$

यह केवल अपेक्षा का लॉग है, जो समझ में आता है, लेकिन जीएएन लॉस फ़ंक्शन में, हम वास्तविक वितरण से डेटा और उसी मॉडल में जेनेरेटिव मॉडल से डेटा कैसे संसाधित कर सकते हैं?

Answer 1

इस सवाल का फोकस

"हम कैसे कर सकते हैं ... हम वास्तविक वितरण से डेटा और उसी पुनरावृत्ति में जेनेरेटिव मॉडल से डेटा संसाधित करते हैं?

फाउंडेशनल पब्लिकेशन का विश्लेषण

संदर्भित पृष्ठ में, अंडरस्टैंडिंग जेनरेटिव एडवांसरियल नेटवर्क्स (2017) , डॉक्टरेट के उम्मीदवार डैनियल सिएटा ने जेनेरिक एडवरसरील नेटवर्क्स, गुडफेलो, पॉगेट-अबडी, मिर्जा, जू, वार्डे-फार्ले, ओजैर, कोर्टविल और बेंगियो, जून 2014 को सही ढंग से संदर्भित किया है । यह सार में कहा गया है, "हम एक प्रतिकूल प्रक्रिया के माध्यम से जेनेरेटिव मॉडल का आकलन करने के लिए एक नया ढांचा प्रस्तावित करते हैं, जिसमें हम एक साथ दो मॉडल को प्रशिक्षित करते हैं ..." यह मूल पेपर एमएलपीएस (बहुपरत अवधारणात्मक) के रूप में परिभाषित दो मॉडल को परिभाषित करता है।

• जनरेटिव मॉडल, जी
• भेदभावपूर्ण मॉडल, डी

इन दो मॉडलों को एक तरह से नियंत्रित किया जाता है, जहां एक दूसरे की ओर नकारात्मक प्रतिक्रिया का रूप प्रदान करता है, इसलिए यह प्रतिकूल शब्द है।

• G को मूर्ख बनाने के लिए पर्याप्त उदाहरण के एक सेट के डेटा वितरण को पकड़ने के लिए प्रशिक्षित किया जाता है।
• D को यह पता लगाने के लिए प्रशिक्षित किया जाता है कि क्या इसका इनपुट G के मोक्स हैं या GAN सिस्टम के लिए उदाहरणों का समूह।

(GAN प्रणाली के लिए उदाहरणों के सेट को कभी-कभी वास्तविक नमूनों के रूप में संदर्भित किया जाता है, लेकिन वे उत्पन्न लोगों की तुलना में अधिक वास्तविक नहीं हो सकते हैं। दोनों एक कंप्यूटर में संख्यात्मक सरणियाँ हैं, एक आंतरिक मूल के साथ सेट है और दूसरा बाहरी के साथ है। मूल। क्या बाहरी लोग किसी भौतिक दृश्य पर इंगित किए गए कैमरे से हैं जो GAN ऑपरेशन के लिए प्रासंगिक नहीं हैं।)

संभावित रूप से, D को बेवकूफ बनाना इस संभावना को अधिकतम करने का पर्याय है कि D कई गलत सकारात्मक और गलत नकारात्मक उत्पन्न करेगा क्योंकि यह सही वर्गीकरण करता है, प्रत्येक 50%। सूचना विज्ञान में, यह कहना है कि D की जानकारी D की सीमा 0 के पास है क्योंकि t अनंतता के करीब है। यह डी के दृष्टिकोण से जी की एन्ट्रॉपी को अधिकतम करने की प्रक्रिया है, इस प्रकार क्रॉस-एन्ट्रॉपी शब्द।

कन्वर्सेशन कैसे पूरा होता है

क्योंकि प्रश्न में Sieta के 2017 लेखन से पुन: उत्पन्न होने वाला नुकसान डी का है, जो किसी दिए गए प्रशिक्षण राज्य के लिए अंकों के पूर्ण सेट पर लागू होने पर दो वितरणों के बीच क्रॉस एन्ट्रॉपी (या सहसंबंध) को कम करने के लिए डिज़ाइन किया गया है।

$H((x_1, y_1), D) = 1 \, D(x_1)$

जी के लिए एक अलग नुकसान फ़ंक्शन है, जिसे क्रॉस एन्ट्रॉपी को अधिकतम करने के लिए डिज़ाइन किया गया है। ध्यान दें कि सिस्टम में प्रशिक्षण ग्रैन्युलैरिटी के दो स्तर हैं।

• खेल के दो खिलाड़ी खेल में चलता है
• यह प्रशिक्षण के नमूने हैं

ये बाहरी पुनरावृत्ति के साथ नेस्टेड पुनरावृत्ति उत्पन्न करते हैं।

• जी के नुकसान समारोह का उपयोग करके जी आय का प्रशिक्षण।
• मॉक इनपुट पैटर्न प्रशिक्षण की वर्तमान स्थिति में जी से उत्पन्न होते हैं।
• डी के नुकसान समारोह का उपयोग करके डी आय का प्रशिक्षण।
• दोहराएं यदि क्रॉस एन्ट्रापी अभी तक पर्याप्त रूप से अधिकतम नहीं है, तो डी अभी भी भेदभाव कर सकता है।

जब डी अंत में खेल खो देता है, तो हमने अपना लक्ष्य हासिल कर लिया है।

• जी ने प्रशिक्षण डेटा वितरण को पुनर्प्राप्त किया
• डी को अप्रभावीता में घटा दिया गया है ("हर जगह 1/2 संभावना")

क्यों समवर्ती प्रशिक्षण आवश्यक है

यदि दो मॉडलों को संगामिति का अनुकरण करने के लिए आगे और पीछे के तरीके से प्रशिक्षित नहीं किया गया था, तो 2014 के पेपर में दावा किए गए अद्वितीय समाधान पर प्रतिकूल विमान (बाहरी पुनरावृत्ति) में अभिसरण नहीं होगा।

अधिक जानकारी

सवाल से परे, Sieta के पेपर में रुचि का अगला आइटम यह है कि, "जनरेटर के नुकसान फ़ंक्शन का खराब डिज़ाइन," वंश को निर्देशित करने और कभी-कभी संतृप्ति कहा जाता है का उत्पादन करने के लिए अपर्याप्त ढाल मान पैदा कर सकता है। संतृप्ति फीडबैक सिग्नल की कमी है जो फ्लोटिंग पॉइंट राउंडिंग से उत्पन्न होने वाले अराजक शोर के पीछे-पीछे प्रसार को निर्देशित करती है। शब्द सिग्नल सिद्धांत से आता है।

मेरा सुझाव है कि 2017 के पेपर के बजाय GAN तकनीक के बारे में जानने के लिए Goodfellow et alia (अनुभवी शोधकर्ताओं) द्वारा 2014 के पेपर का अध्ययन करें ।

Answer 2

चलिए शुरुआत करते हैं। GAN वे मॉडल हैं जो डेटा बनाना सीख सकते हैं जो उस डेटा के समान है जो हम उन्हें देते हैं।

जब GAN के अलावा अन्य जेनरिक मॉडल का प्रशिक्षण दिया जाता है, तो सबसे आसान नुकसान फ़ंक्शन होता है, जो कि औसत चुकता त्रुटि (MSE) है।

कृपया मुझे आपको एक उदाहरण देने की अनुमति दें ( Trickot L 2017 ):

अब मान लीजिए कि आप बिल्लियों को पैदा करना चाहते हैं; आप अपने मॉडल को तस्वीरों में विशिष्ट बिल्लियों के उदाहरण दे सकते हैं। नुकसान के कार्य के लिए आपकी पसंद का मतलब है कि आपके मॉडल को सजा देने से बचने के लिए प्रत्येक बिल्ली को बिल्कुल पुन: पेश करना है।

लेकिन जरूरी नहीं कि हम जो चाहते हैं! आप बस अपने मॉडल को बिल्लियों को उत्पन्न करना चाहते हैं, कोई भी बिल्ली तब तक करेगी जब तक यह एक प्रशंसनीय बिल्ली है। तो, आपको अपना नुकसान फ़ंक्शन बदलने की आवश्यकता है।

हालांकि, कौन सा फ़ंक्शन कंक्रीट पिक्सल की उपेक्षा कर सकता है और एक तस्वीर में बिल्लियों का पता लगाने पर ध्यान केंद्रित कर सकता है?

यह एक तंत्रिका नेटवर्क है। यह GAN में भेदभाव करने वाले की भूमिका है। विवेचक का काम यह मूल्यांकन करना है कि छवि कितनी प्रशंसनीय है।

आप जिस पेपर का हवाला देते हैं, वह अंडरस्टैंडिंग जेनरेटिव एडवाइजरी नेटवर्क (डैनियल एस 2017) दो प्रमुख अंतर्दृष्टि को सूचीबद्ध करता है।

मेजर इनसाइट 1: विवेचक का नुकसान फ़ंक्शन क्रॉस एन्ट्रापी लॉस फ़ंक्शन है।

मेजर इनसाइट 2: यह समझना कि प्रशिक्षण के क्षणिक संतृप्ति पर प्रतिकूल प्रभाव पड़ सकता है या नहीं। ढाल संतृप्ति एक सामान्य समस्या है जब किसी भी सीखने के लिए ग्रेडिएंट बहुत छोटा (यानी शून्य) होता है।

आपके प्रश्न का उत्तर देने के लिए हमें दूसरी प्रमुख अंतर्दृष्टि पर विस्तार से जानकारी देने की आवश्यकता है।

GANs के संदर्भ में, जनरेटर के नुकसान फ़ंक्शन के खराब डिज़ाइन के कारण ढाल संतृप्ति हो सकती है, इसलिए यह "प्रमुख अंतर्दृष्टि" ... जनरेटर के लिए विभिन्न नुकसान कार्यों के बीच ट्रेडऑफ़ को समझने पर आधारित है।

पेपर में लागू किया गया डिज़ाइन एक बहुत ही विशिष्ट फ़ंक्शन (दो वर्गों के बीच भेदभाव करने) के द्वारा नुकसान फ़ंक्शन समस्या को हल करता है। इसे करने का सबसे अच्छा तरीका क्रॉस एन्ट्रॉपी (इनसाइट 1) का उपयोग करना है। जैसा कि ब्लॉग पोस्ट कहती है:

क्रॉस-एन्ट्रॉपी एक महान नुकसान फ़ंक्शन है क्योंकि यह भाग में डिज़ाइन किया गया है ताकि सीखने में तेजी आए और क्लासिफायर सही होने पर केवल ढाल संतृप्ति से बचें।

जैसा कि ब्लॉग पोस्ट की टिप्पणियों में स्पष्ट किया गया है:

उम्मीद [क्रॉस एन्ट्रॉपी फंक्शन में] रकम से आती है। यदि आप असतत यादृच्छिक चर के लिए अपेक्षा की परिभाषा को देखते हैं, तो आप देखेंगे कि आपको यादृच्छिक चर के विभिन्न संभावित मूल्यों पर योग करने की आवश्यकता है, उनमें से प्रत्येक को उनकी संभावना से तौला जाए। यहां, संभावनाएं प्रत्येक के लिए सिर्फ 1/2 हैं, और हम उन्हें जनरेटर या भेदभावकर्ता से आने के रूप में मान सकते हैं।

Comments

सवाल यह नहीं पूछा गया था कि एएनएन के लिए नुकसान फ़ंक्शन के रूप में उपयोग करना सबसे आसान क्या था। गणित की बारीकियाँ @tryingtolearn के लिए अस्पष्ट थीं और किसी भी स्पष्टीकरण को प्रदान किए बिना ग्रेड छात्र को उद्धृत करना स्पष्ट नहीं करता है।

— FauChristian

Answer 3

आप एक एकल नमूने के रूप में zइनपुट और xइनपुट के संयोजन का इलाज कर सकते हैं , और आप मूल्यांकन करते हैं कि भेदभावकर्ता ने इनमें से प्रत्येक के वर्गीकरण को कितना अच्छा प्रदर्शन किया।

यही कारण है कि बाद में पोस्ट एक एकल yको अलग करती है E(p~data)और E(z)- मूल रूप से, आप में से yप्रत्येक के लिए अलग-अलग अपेक्षाएं होती हैं, जिसमें आपको यह पता लगाने के लिए दोनों को एक ही समय में मापना होगा कि मूल्यांकनकर्ता कितना अच्छा प्रदर्शन कर रहा है।

यही कारण है कि नुकसान फ़ंक्शन की कल्पना वास्तविक इनपुट के सकारात्मक वर्गीकरण और नकारात्मक इनपुट के नकारात्मक वर्गीकरण दोनों के संयोजन के रूप में की गई है।