एक इकाई गाऊसी के साथ केएल नुकसान

10

मैं एक वीएई को लागू कर रहा हूं और मैंने सरलीकृत यूनीवेट गॉसियन केएल विचलन के दो अलग-अलग कार्यान्वयन ऑनलाइन देखे हैं। यहाँ के अनुसार मूल विचलन है

K L_{l o s s} = \log (\frac{σ_{2}}{σ_{1}}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2}

$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$ यदि हम मानते हैं कि हमारी पूर्व इकाई गौसियन है

μ_{2} = 0

$\mu_2=0$ तथा

σ_{2} = 1

$\sigma_2=1$ , यह नीचे सरल है

K L_{l o s s} = - \log (σ_{1}) + \frac{σ_{1}^{2} + μ_{1}^{2}}{2} - \frac{1}{2}

$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$

K L_{l o s s} = - \frac{1}{2} (2 \log (σ_{1}) - σ_{1}^{2} - μ_{1}^{2} + 1)

$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$ और यहीं मेरी उलझन टिकी हुई है। हालाँकि मुझे उपरोक्त कार्यान्वयन के साथ कुछ अस्पष्ट गितुब रिपोज़ मिले हैं, जो कि मैं आमतौर पर उपयोग किया जाता है वह है:

= - \frac{1}{2} (\log (σ_{1}) - σ_{1} - μ_{1}^{2} + 1)

$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$ उदाहरण के लिए आधिकारिक केरस ऑटोएन्कोडर ट्यूटोरियल । मेरा सवाल यह है कि मैं इन दोनों के बीच क्या मिस कर रहा हूं? मुख्य अंतर लॉग टर्म पर 2 के कारक को छोड़ रहा है और विचरण को चुकता नहीं कर रहा है। विश्लेषणात्मक रूप से मैंने सफलता के साथ उत्तरार्द्ध का उपयोग किया है, इसके लायक क्या है। किसी भी सहायता के लिए अग्रिम रूप से धन्यवाद!

— groovyDragon
स्रोत

7

ध्यान दें कि प्रतिस्थापित करके $\sigma_1$ साथ में $\sigma_1^2$ पिछले समीकरण में आप पिछले (यानी $\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$ )। मुझे यह सोचने के लिए अग्रणी है कि पहले मामले में एनकोडर का उपयोग विचरण की भविष्यवाणी करने के लिए किया जाता है, जबकि दूसरे में इसका उपयोग मानक विचलन की भविष्यवाणी करने के लिए किया जाता है।

दोनों योग समान हैं और उद्देश्य अपरिवर्तित है।

— एफ। एवलंगेली
स्रोत

मुझे नहीं लगता कि ऐसा हो सकता है कि ये समान हों। हां, वे दोनों शून्य होने पर कम से कम हो जाते हैं

μ

$\mu$ और इकाई

σ

$\sigma$ । हालांकि, मूल समीकरण (विचरण की विशेषता) में, आगे बढ़ने के लिए दंड

σ

$\sigma$ एकता से दूर दूसरे समीकरण (मानक विचलन के आधार पर) की तुलना में कहीं अधिक बड़ा है। में भिन्नता के लिए दंड

μ

$\mu$ दोनों के लिए समान है, और पुनर्निर्माण त्रुटि समान होगी, इसलिए दूसरे संस्करण का उपयोग नाटकीय रूप से प्रस्थान के सापेक्ष महत्व को बदल देता है

σ

$\sigma$ एकता से। मैं क्या खो रहा हूँ?

— बामफ

0

मेरा मानना है कि उत्तर सरल है। वीएई में, लोग आमतौर पर बहुभिन्नरूपी सामान्य वितरण का उपयोग करते हैं, जिसमें सहसंयोजक मैट्रिक्स होता है $\Sigma$ विचरण के बजाय $\sigma^2$ । यह कोड के एक टुकड़े में भ्रामक लगता है लेकिन वांछित रूप है।

यहां आप बहुभिन्नरूपी सामान्य वितरण के लिए केएल विचलन की व्युत्पत्ति पा सकते हैं: VAEs के लिए केएल विचलन नुकसान को प्राप्त करना

— दिमित्री ग्रीबेनुक
स्रोत