न्यूरल नेटवर्क, डीप लर्निंग सिस्टम और डीप विश्वास नेटवर्क में क्या अंतर है?

Question

न्यूरल नेटवर्क, डीप लर्निंग सिस्टम और डीप विश्वास नेटवर्क में क्या अंतर है?

जैसा कि मुझे याद है कि आपका मूल तंत्रिका नेटवर्क एक 3 लेयर थोरा चीज़ है, और मेरे पास डीप बिलीफ सिस्टम है, जिसे एक दूसरे के शीर्ष पर ढेर किए गए तंत्रिका नेटवर्क के रूप में वर्णित किया गया है।

मैंने हाल ही में डीप लर्निंग सिस्टम के बारे में नहीं सुना है, लेकिन मुझे दृढ़ता से संदेह है कि यह डीप विश्वास प्रणाली का पर्याय है। क्या कोई इसकी पुष्टि कर सकता है?

Comments

शायद आपका मतलब "गहरी शिक्षा" है? देखें उदाहरण के लिए गहरी सीखने की खबर / लिंक

— vzn

डीप बिलीफ सिस्टम, वह शब्द है, जिसमें मैं भाग गया, वे समानार्थी हो सकते हैं या नहीं भी हो सकते हैं (दीप बिलीफ सिस्टम के लिए एक Google खोज लेख को फेंक देगा)

— लिंडन व्हाइट

डीप बेलिफ़ नेटवर्क, विहित नाम है क्योंकि वे डीप बोल्ट्ज़मैन नेटवर्क से प्राप्त होते हैं (और यह एक विश्वास प्रसार प्रणाली के साथ भ्रमित हो सकता है जो कि बायेसियन नेटवर्क और संभाव्य निर्णय सिद्धांत के बारे में पूरी तरह से अलग है)।

— जाबोर

@ डीबोरस डीप बिलीफ नेटवर्क सही नाम है (मेरे पास सालों पहले जो दस्तावेज मुझे मिला उनसे मेरा टाइपो हो गया होगा)। लेकिन जैसा कि गहरे बोल्ट्जमैन नेटवर्क से प्राप्त किया जा रहा है, यह नाम ही गैर-वैज्ञानिक है (एएफएआईके, एक प्रशस्ति पत्र देखकर खुश)। DBNs सिग्मॉयड विश्वास नेटवर्क से निकले और RBM को ढेर किया। मुझे नहीं लगता कि डीप बोल्ट्ज़मैन नेटवर्क शब्द का इस्तेमाल कभी किया गया है। दूसरी ओर डीप बोल्ट्जमैन मशीन एक प्रयुक्त शब्द है, लेकिन डीप बिल्ट्जमैन मशीनें दीप बिलीफ नेटवर्क के बाद बनाई गईं

— लिंडन व्हाइट

@ ओबैनाक्सोक्स आप सही कह रहे हैं, मैंने एक टाइपो बनाया है, यह डीप बोल्ट्जमैन मशीनें हैं, हालांकि इसे वास्तव में डीप बोल्ट्जमैन नेटवर्क कहा जाना चाहिए (लेकिन तब संक्षिप्त रूप से यही होगा, इसलिए शायद यही कारण है)। मुझे नहीं पता कि पहले किस गहरी वास्तुकला का आविष्कार किया गया था, लेकिन बोल्ट्ज़मन मशीनें अर्ध-प्रतिबंधित बीएम से पहले हैं। डीबीएन और डीबीएम वास्तव में एक ही निर्माण हैं सिवाय इसके कि दोहराई जाने वाली परत के रूप में उपयोग किया जाने वाला आधार नेटवर्क एसआरबीएम बनाम बीएम है।

— जाबोर

Answer 1

कृत्रिम तंत्रिका प्रसार मॉडल आम तौर पर केवल कुछ परतों तक ही सीमित थे, 3, दशकों तक, विभिन्न कारणों से, कोलमोगोरोव्स थम नामक एक गणित प्रमाण सहित, जिसमें संकेत दिया गया था कि वे कम त्रुटि के साथ सैद्धांतिक रूप से मनमाना कार्य कर सकते हैं (लेकिन केवल कई न्यूरॉन्स के साथ)।

इससे पहले के बहुपरत नेटवर्क पूर्व शिक्षण तकनीकों के माध्यम से संभव / प्रभावी नहीं थे। इसी तरह की सफलता 2006 में 3 अलग-अलग शोधकर्ताओं हिंटन, ले क्यून, बेंगियो को मिली जो बहुत अधिक परतों को प्रशिक्षित करने में सक्षम थे। इस क्षेत्र की प्रमुख समस्या थी लिखावट की मान्यता।

"डीप विश्वास नेटवर्क" शब्द की उत्पत्ति 2006 के पेपर से हुई है जो बायसन के नेटवर्क का जिक्र करता है , जिसके पास तंत्रिका नेटवर्क के साथ वैचारिक / सैद्धांतिक संबंध / उपमाएं हैं। "गहरी आस्था जाल के लिए एक तेजी से सीखने के एल्गोरिथ्म"

इस प्रस्तुति में विशेष रूप से गहरे तंत्रिका नेटवर्क में स्लाइड 17 देखें

इसलिए गहन शिक्षण क्षेत्र केवल ~ deep-दशक पुराना है और तेजी से अनुसंधान और विकास के दौर से गुजर रहा है। Google, Facebook, Yahoo ने सभी गहन शिक्षण आधारित पहल की है और R & D चल रहा है।

Comments

वेब साइट के क्षेत्र में शोधकर्ताओं द्वारा गहन सीखने के लिए समर्पित

— vzn

Answer 2

कृत्रिम तंत्रिका नेटवर्क एल्गोरिदम का एक वर्ग है जिसमें ग्राफ़ के आधार पर बहुत सारे विभिन्न प्रकार के एल्गोरिदम शामिल होते हैं, इसलिए मैं यहाँ विस्तार से नहीं बताऊंगा कि आपने क्या पूछा क्योंकि बहुत कहने के लिए बहुत कुछ है, क्योंकि कई प्रकार के एएनएन हैं।

पहले प्रकार के कृत्रिम तंत्रिका नेटवर्क, प्रसिद्ध मैककुलोच-पिट्स न्यूरॉन्स रैखिक थे , जिसका अर्थ है कि वे केवल रैखिक निर्णय की समस्याओं को हल कर सकते हैं (यानी, डेटासेट जो एक रेखा खींचकर रैखिक रूप से अलग हो सकते हैं )। समय के साथ, यह लीनियर न्यूरल नेटवर्क मॉडल Perceptron या Adaline के रूप में जाना जाता है (यह निर्भर करता है कि आप वेट अपडेट की गणना कैसे करते हैं)।

रैखिक तंत्रिका नेटवर्क सिर्फ एक द्विदलीय ग्राफ से बना होता है, जहां बाईं ओर के नोड इनपुट होते हैं और दाईं ओर आउटपुट नोड होते हैं। केवल इन नोड्स के बीच के किनारों का वजन सीखा जाता है (नोड्स सक्रियण सीमा को भी समायोजित किया जा सकता है लेकिन यह शायद ही कभी किया जाता है)।

उथले तंत्रिका नेटवर्क का आविष्कार होने पर एक बड़ा कदम उठाया गया था: केवल एक द्विदलीय ग्राफ होने के बजाय, हम एक 3पक्षीय ग्राफ का उपयोग करते हैं: इनपुट "परत", आउटपुट "परत", और उनके बीच एक "छिपी हुई परत" । छिपी हुई परत के लिए धन्यवाद, नेटवर्क अब गैर-रैखिक निर्णय ले सकता है, और विहित XOR जैसी समस्याओं को हल कर सकता है।

ध्यान दें कि "उथले" शब्द को पूर्वव्यापी रूप से गढ़ा गया था जब गहरे तंत्रिका नेटवर्क (जिसे एन-लेयर न्यूरल नेटवर्क भी कहा जाता था) का आविष्कार किया गया था। यह केवल एक छिपी हुई परत के साथ तंत्रिका नेटवर्क का विरोध करने के लिए है, जिसमें n तंत्रिका परतों के साथ गहरे तंत्रिका नेटवर्क हैं । जैसा कि आप अनुमान लगा सकते हैं, अधिक छिपी परतों का उपयोग करके अधिक जटिल डेटासेट पर निर्णय लेने की अनुमति मिलती है क्योंकि निर्णय को संशोधित करने के लिए अधिक परतें होती हैं (यानी, दूसरे शब्दों में आप अपनी निर्णय सीमा की गतिशीलता बढ़ा रहे हैं, जिससे ओवरफिटिंग हो सकती है)।

आप पूछ सकते हैं: पहले किसी ने बहुस्तरीय (गहरे) तंत्रिका नेटवर्क का उपयोग करने की कोशिश क्यों नहीं की? वास्तव में, उन्होंने 1975 में फुकुशिमा द्वारा कॉग्निट्रॉन और नियोकोग्रिट्रॉन के साथ किया था (जो वास्तव में एक दृढ़ तंत्रिका नेटवर्क है, लेकिन यह एक और कहानी है)। हालाँकि, मुद्दा यह था कि किसी को नहीं पता था कि ऐसे नेटवर्क को कुशलता से कैसे सीखा जाए, बड़ा मुद्दा है नियमितीकरण । Hinton के AutoEncoders ने रास्ता खोला और बाद में LeCun की रेक्टीफाइड लाइनर यूनिट्स ने अच्छे के लिए मुद्दा तय किया।

डीप बिलिफ़्स नेटवर्क्स (DBN) के बारे में क्या? वे सिर्फ बहुस्तरीय अर्ध-प्रतिबंधित बोल्ट्ज़मैन मशीनें हैं। तो वे गहरी तंत्रिका नेटवर्क का एक प्रकार है, लेकिन एक अलग बुनियादी नेटवर्क पैटर्न के साथ (यानी: परत, इस पैटर्न है कि दोहराया है है): में है कि वे कर रहे हैं बोल्ट्जमान मशीनों अन्य नेटवर्क से अलग हैं उत्पादक , जिसका अर्थ है कि वे आम तौर पर कर रहे हैं इसे पुन: उत्पन्न करने के लिए आपके डेटा से सीखने के लिए उपयोग किया जाता है (इसे "उत्पन्न"), जबकि सामान्य रूप से गहरे तंत्रिका नेटवर्क को अलग करने के लिए उपयोग किया जाता है आपके डेटा ("निर्णय सीमा" खींचकर)।

दूसरे शब्दों में, DNN आपके डेटासेट से किसी मूल्य को वर्गीकृत / भविष्यवाणी करने के लिए महान है, जबकि DBN एक दूषित डेटा को "रिपेयर" करने के लिए बहुत अच्छा है (जब मैं कहता हूं कि यह मरम्मत है, तो यह केवल दूषित डेटा से नहीं है, यह पूरी तरह से ठीक डेटा पर भी हो सकता है कि आप बस थोड़ा और अधिक स्टीरियोटाइप होने के लिए ठीक करना चाहते हैं जैसा कि एक और तंत्रिका नेटवर्क के साथ आसानी से पहचाना जा सकता है, जैसे कि हाथ से लिखे गए अंक)।

वास्तव में, बड़े करीने से संक्षेप में, आप कह सकते हैं कि AutoEncoders डीप विश्वास नेटवर्क का एक सरल रूप है। यहाँ चेहरों को पहचानने के लिए प्रशिक्षित DBN का एक उदाहरण है, लेकिन संख्याएँ नहीं हैं, संख्याएँ स्वतः ही फीकी पड़ जाती हैं (यह DBN का "फिक्सिंग" प्रभाव है):

तो अंत में, डीबीएन और डीएनएन विपरीत नहीं हैं: वे पूरक हैं। उदाहरण के लिए, आप हाथ से लिखे गए वर्णों को पहचानने के लिए एक प्रणाली की कल्पना कर सकते हैं जो किसी वर्ण की छवि को पहले डीबीएन में फीड करेगा ताकि इसे अधिक रूढ़िबद्ध बनाया जा सके और फिर एक डीएनएन को स्टीरियोटाइप की गई छवि को खिलाया जा सके जो बाद में छवि का प्रतिनिधित्व करने वाले चरित्र को आउटपुट करेगा।

एक अंतिम नोट: डीप बिलिफ़्न नेट, डीप बोल्ट्ज़मैन मशीनों के बहुत करीब हैं: डीप बोल्ट्ज़मैन मशीनें बोल्ट्ज़मैन मशीनों की परतों का उपयोग करती हैं (जो द्विदिश तंत्रिका नेटवर्क भी हैं, जिन्हें पुनरावर्ती तंत्रिका नेटवर्क भी कहा जाता है), जबकि डीप बेल्ज़्ज़मैन नेट सेमी-प्रतिबंधित बोल्ट्ज़मन मशीन (अर्ध-) का उपयोग करते हैं प्रतिबंधित का अर्थ है कि उन्हें यूनिडायरेक्शनल में बदल दिया जाता है, इस प्रकार यह नेटवर्क को सीखने के लिए बैकप्रॉपैगैनेशन का उपयोग करने की अनुमति देता है जो एक शानदार नेटवर्क सीखने की तुलना में अधिक कुशल है)। दोनों नेटवर्क एक ही उद्देश्य के लिए उपयोग किए जाते हैं (डेटासेट पुनर्जीवित करते हैं), लेकिन कम्प्यूटेशनल लागत अलग है (दीप बोल्ट्ज़मैन मशीनें अपने आवर्तक प्रकृति के कारण सीखने के लिए काफी अधिक महंगी हैं: यह वजन को "स्थिर" करना कठिन है)।

बोनस: कन्वेंशनल न्यूरल नेटवर्क्स (CNN) के बारे में, आपको बहुत सारे विरोधाभासी और भ्रमित करने वाले दावे मिलेंगे, और आमतौर पर आप पाएंगे कि वे केवल गहरे तंत्रिका नेटवर्क हैं। हालांकि, ऐसा लगता है कि सर्वसम्मति फुकुशिमा के नियोकोगिट्रॉन की मूल परिभाषा का उपयोग करने के लिए है: एक सीएनएन एक डीएनएन है जो सक्रियण से पहले एक दोष लगाकर विभिन्न पदानुक्रमित स्तरों पर विभिन्न विशेषताओं को निकालने के लिए मजबूर है (जो कि डीएनएन स्वाभाविक रूप से कर सकता है, लेकिन मजबूर नेटवर्क के विभिन्न परतों पर एक अलग कनवल्शन / एक्टिवेशन फंक्शन सेट करने से बेहतर परिणाम मिल सकता है, कम से कम यह CNN का दांव है):

और अंत में, आर्टिफिशियल इंटेलिजेंस की अधिक कठोर समयरेखा के लिए, यहां देखें ।

Comments

बहुत बढ़िया जवाब! दृढ़ गहरी नेटवर्क का एक मुख्य पहलू (शायद परिभाषित करने वाला पहलू) यह है कि प्रत्येक परत एक कनवल्शन को लागू करने से मेल खाती है फिर एक सक्रियण फ़ंक्शन को लागू करती है: एक कर्नेल है, और एक परत में सभी नोड्स एक ही कर्नेल को लागू करते हैं। कल्पना कीजिए कि इनपुट एक छवि है। आमतौर पर, आपके पास प्रत्येक पिक्सेल के लिए एक नोड होता है, और इसमें पास के पिक्सेल से आने वाले कनेक्शन होते हैं। एक साधारण नेटवर्क प्रत्येक पिक्सेल को आने वाले किनारों पर भार का अपना पैटर्न बनाने की अनुमति देगा। एक दृढ़ नेटवर्क अतिरिक्त आवश्यकता को लगाता है कि यह छवि में प्रत्येक पिक्सेल पर भार का समान अनुक्रम है।

— डीडब्ल्यू

हां वास्तव में आप सही हैं, और यही वह नाम है जहां से नाम आया है। लेकिन व्यक्तिगत रूप से, मुझे लगता है कि यह अक्सर किसी अन्य चीज़ की तुलना में एक गहरे तंत्रिका नेटवर्क के विशेषज्ञ के लिए हैक के रूप में उपयोग किया जाता है (जब एक गहरे तंत्रिका नेटवर्क की परिभाषित विशेषता सामान्य उद्देश्य और डाटासेट के लिए अज्ञेय होना है)। उदाहरण के लिए, HMAX, एक तरह का CNN, सैलिएशन मैप्स की गणना करने के लिए कनवल्शन का उपयोग करता है, जो स्पष्ट रूप से एक हैक है जब एक जैविक तंत्रिका नेटवर्क में सैलिएशन मैप निश्चित रूप से गतिशील प्रोग्रामिंग का उपयोग करके गणना नहीं किया जाता है ...

— Gaborous

Answer 3

डीप न्यूरल नेटवर्क्स न्यूरल नेटवर्क्स होते हैं जिनकी गहराई अधिक होती है। वे तंत्रिका नेटवर्क के एक उपवर्ग हैं। यह विचार वास्तव में दशकों पीछे चला गया है और नया नहीं है। जो नया है वह यह है कि हमने उन्हें अभ्यास में प्रशिक्षित करने के बारे में सोचा है। कारण यह बहुत लोकप्रिय हो गया है हाल ही में उन्हें प्रशिक्षण संभव हो गया है और लोगों ने उन्हें कला एल्गोरिदम की स्थिति को हरा दिया। DNN को बहुत सारे डेटा और बहुत सारी कम्प्यूटेशनल शक्ति की आवश्यकता होती है जो दशकों पहले उपलब्ध नहीं थे। ज्योफ हिंटन और उनके छात्रों और उनके सहयोगियों ने पता लगाया कि पिछले एक दशक में उन्हें अभ्यास में कैसे प्रशिक्षित किया जाए और उनका उपयोग कला मशीन लर्निंग एल्गोरिदम की कई क्षेत्रों में हरा करने के लिए किया गया, जहां अधिकांश शोधकर्ताओं ने उस समय उन्हें पूरी तरह से उपयोग करने के विचार को छोड़ दिया।

विश्वास नेटवर्क प्रोबेबिलिस्टिक ग्राफिकल मॉडल का एक वर्ग है, वे यादृच्छिक चर का एक गुच्छा और एक ग्राफ का उपयोग कर उनकी निर्भरता मॉडल करते हैं (ऐसा करने के विभिन्न तरीके हैं)। वे चर स्वयं पैरामीटर किए गए वितरण से हो सकते हैं और तंत्रिका नेटवर्क द्वारा मॉडल किए जा सकते हैं (या पैरामीटर किए गए वितरण का प्रतिनिधित्व करने के लिए कुछ अन्य मॉडल)। डीप बेलिफ़ नेटवर्क्स बिलीफ़ नेटवर्क्स होते हैं जिनकी गहराई अधिक होती है।

विश्वास नेटवर्क जनरेटिव होता है, अर्थात हम वितरण के नमूने का प्रतिनिधित्व करने के लिए एक प्रशिक्षित मॉडल का उपयोग कर सकते हैं।

तंत्रिका नेटवर्क भेदभावपूर्ण होते हैं, हम उन्हें किसी दिए गए इनपुट की संभावना की गणना करने के लिए उपयोग कर सकते हैं (क्या यह एक बिल्ली की तस्वीर है? बिल्ली की तस्वीर होने की क्या संभावना है?) लेकिन आमतौर पर नमूना लेने के लिए नहीं (उत्पन्न होता है) एक बिल्ली की तस्वीर)।

Comments

मैं एमएल का विशेषज्ञ नहीं हूं, इसलिए जो मैंने नमक के दाने के साथ लिखा है, उसे ले लो।

— केव

Answer 4

तंत्रिका नेटवर्क को आम तौर पर लागू किया जाता है जहां छिपे हुए परतों और द्विघात समीकरणों की आवश्यकता होती है। जहां तक ​​गहरी सीखने और गहरी विश्वास नेटवर्क का उपयोग किया जाता है, जहां गहरे बोल्ट्टमन नेटवर्क की तरह डेटा के हेरफेर के लिए कई छिपी परतों की आवश्यकता होती है।

Comments

तो दोनों को छिपी हुई परतों की आवश्यकता है? क्या आप सामान्य एनएन में कई छिपी हुई परतें कर सकते हैं? यह बोल्ट्जमैन नेटवर्क, क्या आपका मतलब बोल्ट्जमैन मशीनों से था? तो अंतर क्या है? यह प्रश्न का उत्तर नहीं देता (या शायद यह करता है, लेकिन यह बहुत अस्पष्ट है)।

— बुराई