क्या तंत्रिका नेटवर्क कुशल कोडिंग का उपयोग करते हैं?


9

मेरा प्रश्न कुशल कोडिंग परिकल्पना के बीच संबंधों की चिंता करता है जो कुशल कोडिंग और तंत्रिका नेटवर्क लर्निंग एल्गोरिदम पर विकिपीडिया पृष्ठ पर उल्लिखित है।

कुशल कोडिंग परिकल्पना और तंत्रिका नेटवर्क के बीच क्या संबंध है?

क्या कोई तंत्रिका नेटवर्क मॉडल स्पष्ट रूप से कुशल कोडिंग परिकल्पना से प्रेरित हैं?

या यह कहना उचित होगा कि सभी तंत्रिका नेटवर्क लर्निंग एल्गोरिदम कम से कम स्पष्ट रूप से कुशल कोडिंग पर आधारित हैं?


1
शायद विरल autoencoders क्या आप के बाद कर रहे हैं? (यदि आपकी रुचि कम तकनीकी है और अधिक व्यापक / दार्शनिक है, तो उपयोगकर्ता केनोरब का सुझाव उचित हो सकता है।)
जियोमैट 22

3
दिलचस्प सवाल। मेरा अनुमान है कि NNs कहीं भी नहीं हैं जो हम "कुशल" पर विचार कर सकते हैं। मुझे लगता है कि आमतौर पर ड्रॉपआउट जैसी तकनीक का इस्तेमाल वास्तव में कोडिंग दक्षता को कम करने के लिए किया जाएगा।
19'18

1
एक और संदर्भ: लॉटरी टिकट परिकल्पना, arxiv.org/abs/1803.03635 , पेपर हार्ड वर्किंग सब नेटवर्क खोजने के बारे में बात करता है, लेकिन मुझे लगता है कि कुशल कोडिंग के कनेक्शन हो सकते हैं
krobse

मैं एक सूचना सिद्धांत विशेषज्ञ नहीं हूं, लेकिन मुझे विश्वास नहीं है कि एनएन क्या करते हैं, इसके बारे में कुशल कोडिंग के बीच कोई संबंध नहीं है, और न ही मैं कुशल कोडिंग को शामिल करने के लिए किसी भी ऐतिहासिक या वर्तमान प्रयासों से अवगत हूं। हालांकि, यह सच हो सकता है कि NNS एनकोड संकेतों कुशलता से कार्य करें: arxiv.org/abs/1503.02406
shadowtalker

मेरे पास इसका उत्तर बनाने के लिए पर्याप्त (अभी तक) नहीं है, लेकिन यह मुझे इस सवाल से संबंधित लगता है कि क्या एनएन वास्तव में सीखने के बजाय केवल याद कर रहे हैं।
बिल क्लार्क

जवाबों:


1

मेरा मानना ​​है कि कोई यह तर्क दे सकता है कि संबंध बनाया गया है। मैं अपने स्रोत को पोस्ट न करने के लिए माफी माँगता हूँ क्योंकि मुझे यह नहीं मिला, लेकिन यह एक पुरानी स्लाइड से आया है जिसे हिंटन ने प्रस्तुत किया था। इसमें, उन्होंने दावा किया कि मशीन लर्निंग करने वालों के लिए सोचने के मूलभूत तरीकों में से एक (जैसा कि प्रस्तुति ने गहरी सीखने के शब्द के सामान्य उपयोग की भविष्यवाणी की थी) यह था कि डेटा का एक इष्टतम परिवर्तन मौजूद है ताकि डेटा आसानी से हो सके सीखा। मैं तंत्रिका जाल के लिए विश्वास करता हूं, डेटा का 'इष्टतम परिवर्तन' हालांकि वापस प्रोप, कार्रवाई में कुशल कोडिंग परिकल्पना है। उसी तरह जिसने एक उचित कर्नेल दिया है, कई रिक्त स्थान आसानी से रैखिक मॉडल के साथ वर्गीकृत किए जा सकते हैं, डेटा को बदलने और संग्रहीत करने के लिए उचित तरीका सीख रहे हैं जिससे डेटा का प्रतिनिधित्व करने के लिए न्यूरॉन्स को किस प्रकार और कैसे व्यवस्थित किया जाना चाहिए।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.