तंत्रिका नेटवर्क - बाइनरी बनाम असतत / निरंतर इनपुट

Question

क्या असतत या निरंतर सामान्यीकृत मानों पर द्विआधारी मूल्यों (0/1) को प्राथमिकता देने के लिए कोई अच्छा कारण हैं, उदाहरण के लिए (1? 3), सभी इनपुट नोड्स (बैकप्रोपैजेशन के साथ या बिना) के लिए एक फीडफोवर्ड नेटवर्क के इनपुट के रूप में?

बेशक, मैं केवल उन इनपुटों के बारे में बात कर रहा हूं, जिन्हें या तो रूप में रूपांतरित किया जा सकता है; उदाहरण के लिए, जब आपके पास एक चर है जो कई मान ले सकता है, या तो सीधे उन्हें एक इनपुट नोड के मूल्य के रूप में खिला सकते हैं , या प्रत्येक असतत मान के लिए एक बाइनरी नोड बना सकते हैं । और धारणा यह है कि सभी इनपुट नोड्स के लिए संभावित मानों की सीमा समान होगी । दोनों संभावनाओं के उदाहरण के लिए पिक्स देखें।

इस विषय पर शोध करते समय, मुझे इस पर कोई भी कठिन तथ्य नहीं मिला; यह मुझे लगता है, कि - कम या ज्यादा - यह हमेशा "परीक्षण और त्रुटि" होगा। बेशक, हर असतत इनपुट मान के लिए बाइनरी नोड्स का मतलब है अधिक इनपुट लेयर नोड्स (और इस तरह अधिक छिपी हुई परत नोड्स), लेकिन क्या यह वास्तव में एक वेलिंग थ्रेशोल्ड फ़ंक्शन के साथ एक नोड में समान मान रखने की तुलना में बेहतर आउटपुट वर्गीकरण का उत्पादन करेगा। छिपी हुई परत?

क्या आप इस बात से सहमत होंगे कि यह सिर्फ "कोशिश करो और देखो" है, या क्या आप इस पर एक और राय रखते हैं?

Answer 1

इनपुट चर को बाइनरी में बदलना है या नहीं, इनपुट चर पर निर्भर करता है। आप एक प्रकार की "तीव्रता" का प्रतिनिधित्व करने के रूप में तंत्रिका नेटवर्क इनपुट के बारे में सोच सकते हैं: यानी, इनपुट चर के बड़े मूल्य उस इनपुट चर की अधिक तीव्रता का प्रतिनिधित्व करते हैं। आखिरकार, यह मानते हुए कि नेटवर्क में केवल एक इनपुट है, नेटवर्क का एक छिपा हुआ नोड कुछ फ़ंक्शन सीखने जा रहा है । जहां ट्रांसफर फंक्शन (जैसे सिग्मॉइड) है और इनपुट वेरिएबल है।$f(wx + b)$$f$$x$

यह सेटअप श्रेणीबद्ध चर के लिए कोई मतलब नहीं है। यदि श्रेणियों को संख्याओं द्वारा दर्शाया जाता है, तो उनके लिए फ़ंक्शन लागू करने का कोई मतलब नहीं है । उदाहरण के लिए, आपके इनपुट चर एक जानवर, और भेड़ = 1 और गाय = 2 का प्रतिनिधित्व करते हैं। यह भेड़ के बच्चे को से गुणा करने और उसके साथ जोड़ने का कोई मतलब नहीं है , और न ही यह गाय के लिए हमेशा भेड़ की तुलना में अधिक परिमाण में होने का मतलब है। इस मामले में, आप एक द्विआधारी, 1 के- को असतत एन्कोडिंग परिवर्तित करना चाहिए एन्कोडिंग।$f(wx + b)$$w$$b$$k$

वास्तविक-मूल्यवान चर के लिए, बस उन्हें वास्तविक-मूल्यवान (लेकिन आदानों को सामान्य करें) छोड़ दें। उदाहरण के लिए, आपके पास दो इनपुट चर हैं, एक पशु और एक पशु का तापमान। आप जानवरों को 1-के- परिवर्तित करेंगे , जहाँ = जानवरों की संख्या, और आप जैसे-तैसे तापमान छोड़ेंगे।$k$$k$

Comments

इसलिए इसे छोटा करने के लिए, आप चर के पैमाने की ओर इशारा करते हैं: मीट्रिक, क्रमिक और नाममात्र। वैसे मुझे लगता है कि यह स्पष्ट है कि नाममात्र तराजू "गणना" या एक फ़ंक्शन द्वारा प्रतिनिधित्व नहीं किया जा सकता है। वास्तविक मूल्यों के बारे में, आप की तरह मुझे लगता है कि वास्तविक मूल्यों को "वर्गीकृत" वास्तविक मूल्यों से "बेहतर" हो सकता है, क्योंकि चिकनी किश्तों के कारण, लेकिन मैं अभी उस पर कोई कठोर प्रमाण नहीं पा सका हूं। मुझे "परीक्षण और त्रुटि" के एक और मामले की तरह लगता है।

— 14

Answer 2

हां, वहां हैं। कल्पना करें कि आपका लक्ष्य बाइनरी क्लासिफायरियर बनाना है। फिर आप एक बर्नौली वितरण का अनुमान लगाने के लिए अपनी समस्या को मॉडल करते हैं, जहां एक विशेषता वेक्टर को देखते हुए, परिणाम एक वर्ग या इसके विपरीत होता है। ऐसे तंत्रिका नेटवर्क का आउटपुट सशर्त संभावना है। यदि 0.5 से अधिक है, तो आप इसे एक वर्ग से जोड़ते हैं, अन्यथा दूसरे को।

अच्छी तरह से परिभाषित होने के लिए, आउटपुट 0 और 1 के बीच होना चाहिए, इसलिए आप अपने लेबल को 0 और 1 होने के लिए चुनते हैं, और क्रॉस एन्ट्रॉपी, कम से कम करें जहां आपके नेटवर्क का आउटपुट है, और आपके प्रशिक्षण नमूनों के लिए लक्ष्य मान हैं। इसलिए, आपको । y ( एक्स ) टी टी ∈ { 0 , 1

$$E = y(x)^{t}(1-y(x))^{1-t}$$ $y(x)$$t$$t \in \left\{0, 1\right\}$

Comments

मैं समझता हूं कि एक सामान्यीकृत इनपुट को इनपुट वैल्यू के वैरिएबल रेंज पर अधिक पसंद किया जाना है, क्योंकि यह बाइनरी आउटपुट के समान है जो नेटवर्क जोर से उत्पन्न होता है। लेकिन मेरे सवाल में, मैं एक निश्चित सीमा के सामान्यीकृत असतत मूल्यों को संदर्भित करना चाहता था , अर्थात यदि इनपुट एक सीमा के भीतर हो सकते हैं, तो सभी नोड्स की सीमा समान होनी चाहिए, अर्थात सामान्यीकृत होना चाहिए। उस स्थिति में, क्या अभी भी प्रत्येक असतत मूल्य के लिए बाइनरी नोड्स का उपयोग करना बेहतर होगा ? (अब मैंने इस

— पूर्वधारणा

Answer 3

जब मैं किसी समस्या का समाधान कर रहा था तो मुझे भी उसी दुविधा का सामना करना पड़ा। मैंने दोनों आर्किटेक्चर की कोशिश नहीं की, लेकिन मेरा लेना है, यदि इनपुट चर असतत है, तो तंत्रिका नेटवर्क के आउटपुट फ़ंक्शन में आवेग फ़ंक्शन की विशेषता होगी और तंत्रिका नेटवर्क मॉडलिंग आवेग समारोह में अच्छा है। वास्तव में किसी भी फ़ंक्शन को तंत्रिका नेटवर्क की जटिलता के आधार पर अलग-अलग परिशुद्धता के साथ तंत्रिका नेटवर्क के साथ मॉडल किया जा सकता है। एकमात्र अंतर यह है कि पहली वास्तुकला में, आपके पास इनपुट की संख्या में वृद्धि होती है इसलिए आप आवेग समारोह को मॉडल करने के लिए पहले छिपी हुई परत के नोड में अधिक संख्या में वजन करते हैं लेकिन दूसरी वास्तुकला के लिए आपको पहले वास्तुकला की तुलना में छिपी हुई परत में नोड की अधिक संख्या की आवश्यकता होती है। समान प्रदर्शन पाने के लिए।