मैं थोड़ा सा ऑटोएन्कोडर्स प्रयोग कर रहा हूं, और टेंसरफ़्लो के साथ मैंने एक मॉडल बनाया जो एमएनआईएसटी डेटासेट के पुनर्निर्माण की कोशिश करता है।
मेरा नेटवर्क बहुत सरल है: एक्स, ई 1, ई 2, डी 1, वाई, जहां ई 1 और ई 2 एन्कोडिंग परतें हैं, डी 2 और वाई डिकोडिंग लेयर्स हैं (और वाई पुनर्निर्मित आउटपुट है)।
X में 784 इकाइयाँ हैं, e1 में 100, e2 में 50, d1 में फिर से 100 और Y 784 में फिर से है।
मैं परतों के लिए सक्रियण के रूप में सिग्मॉइड्स का उपयोग कर रहा हूं e1, e2, d1 और Y. इनपुट्स [0,1] में हैं और इसलिए आउटपुट होना चाहिए।
ठीक है, मैंने हार फंक्शन के रूप में क्रॉस एन्ट्रॉपी का उपयोग करने की कोशिश की, लेकिन आउटपुट हमेशा एक बूँद था, और मैंने देखा कि एक्स से ई 1 तक के वेट हमेशा शून्य-मूल्यवान मैट्रिक्स में परिवर्तित होंगे।
दूसरी ओर, हानि फ़ंक्शन के रूप में माध्य चुकता त्रुटियों का उपयोग करते हुए, एक सभ्य परिणाम पैदा करेगा, और मैं अब इनपुटों को फिर से बनाने में सक्षम हूं।
ऐसा क्यों हैं? मुझे लगा कि मैं मानों को संभावनाओं के रूप में व्याख्या कर सकता हूं, और इसलिए क्रॉस एन्ट्रॉपी का उपयोग कर सकता हूं, लेकिन जाहिर है कि मैं कुछ गलत कर रहा हूं।
