Tensorflow की बाधाओं की अवधारणा क्या है?


जवाबों:


21

एक तंत्रिका नेटवर्क में अड़चन सिर्फ एक परत है जिसमें कम न्यूरॉन्स होते हैं फिर इसके नीचे या ऊपर की परत। इस तरह की परत होने से प्रशिक्षण के दौरान सर्वोत्तम नुकसान प्राप्त करने के लिए, नेटवर्क को उपलब्ध स्थान में सबसे अच्छी तरह से फिट होने के लिए नेटवर्क प्रतिनिधित्व को संपीड़ित करने के लिए प्रोत्साहित किया जाता है।

CNN (जैसे Google के इंसेप्शन नेटवर्क) में, नेटवर्क में फीचर मैप्स (उर्फ "चैनल") की संख्या को कम करने के लिए टोंटी की परतें जोड़ी जाती हैं, जो अन्यथा प्रत्येक लेयर में बढ़ जाती हैं। यह इनपुट चैनलों की तुलना में कम आउटपुट चैनलों के साथ 1x1 दृढ़ संकल्प का उपयोग करके प्राप्त किया जाता है।

आप आमतौर पर सीधे टोंटी की परतों के लिए वजन की गणना नहीं करते हैं, प्रशिक्षण प्रक्रिया संभालती है, अन्य सभी भारों की तरह। अड़चन परत के लिए एक अच्छे आकार का चयन करना एक ऐसी चीज है जिसका आपको अनुमान लगाना है, और फिर प्रयोग करना है ताकि नेटवर्क आर्किटेक्चर को अच्छी तरह से काम कर सकें। यहां लक्ष्य आम तौर पर एक ऐसा नेटवर्क खोज रहा है जो नई छवियों के लिए अच्छी तरह से सामान्यीकरण करता है, और टोंटी की परतें नेटवर्क में मापदंडों की संख्या को कम करके मदद करती हैं, जबकि अभी भी इसे गहरा होने और कई फीचर मैप का प्रतिनिधित्व करने की अनुमति देता है।


हेलो नील! मेरे पास एक बहुत ही सरल प्रश्न है जो मुझे लगता है, लेकिन मैं अभी भी भ्रमित हूं। ai.stackexchange.com/questions/21172/… क्या आपके पास मुझे उत्तर देने का समय है?
jgauth

@ जग्गू: मैं इस साइट पर सभी सवालों के आरएसएस फ़ीड की सदस्यता लेता हूं, और मैं उन सभी सवालों के जवाब देने का प्रयास करता हूं, जो मुझे लगता है कि मुझे लगता है कि मैं कर सकता हूं। किसी प्रश्न को देखने के लिए मुझसे सीधे संपर्क करने की आवश्यकता नहीं है। यदि आप मुझसे किसी विशिष्ट चीज़ के बारे में संपर्क करना चाहते हैं, तो यह एक संबंधित प्रश्न पर या साइट चैट में सबसे अच्छा किया जाता है यदि कोई नहीं है।
नील स्लेटर

8

कल्पना कीजिए, आप एक पूर्व प्रशिक्षित मॉडल की अंतिम परत को फिर से गणना करना चाहते हैं:

Input->[Freezed-Layers]->[Last-Layer-To-Re-Compute]->Output

[Last-Layer-To-Re-Compute] को प्रशिक्षित करने के लिए , आपको दिए गए इनपुट डेटा के लिए [फ्रीजेड-लेयर्स] के आउटपुट का कई बार मूल्यांकन करने की आवश्यकता होती है । समय बचाने के लिए, आप केवल एक बार इन ouputs की गणना कर सकते हैं ।

Input#1->[Freezed-Layers]->Bottleneck-Features-Of-Input#1

फिर, आप सभी टोंटी-फीचर-इन-इनपुट # i स्टोर करते हैं और सीधे [लास्ट-लेयर-टू-री-कंप्यूट] को प्रशिक्षित करने के लिए उनका उपयोग करते हैं।

"Image_retraining" उदाहरण के "cache_bottlenecks" फ़ंक्शन से स्पष्टीकरण:

क्योंकि हम एक ही छवि को कई बार पढ़ने की संभावना रखते हैं (यदि प्रशिक्षण के दौरान कोई विकृतियां लागू नहीं होती हैं) तो यह चीजों को गति दे सकती है यदि हम प्रीप्रोसेसिंग के दौरान प्रत्येक छवि के लिए एक बार अड़चन परत मूल्यों की गणना करते हैं, और फिर बस उन कैश्ड मानों को पढ़ें प्रशिक्षण के दौरान बार-बार।


5

डेटा पहचान के साथ वास्तविक प्रशिक्षण शुरू होने से पहले टेंसोफ़्लो टोंटी एक अंतिम पूर्व अभियोजन चरण है। यह एक ऐसा चरण है जहां प्रत्येक प्रशिक्षण छवि से एक डेटा संरचना बनाई जाती है जो प्रशिक्षण के अंतिम चरण में हो सकती है और प्रशिक्षण सामग्री में उपयोग की जाने वाली प्रत्येक अन्य छवि से छवि को अलग कर सकती है। कुछ हद तक छवि के फिंगरप्रिंट की तरह।

यह री-ट्रेनिंग कमांड में शामिल होता है और जैसा कि नाम से पता चलता है, यह कमांड निष्पादन का मुख्य समय उपभोक्ता है। यदि इस अड़चन में बहुत समय लगता है तो प्रशिक्षण सामग्री की मात्रा से समझौता करना पड़ सकता है।

जैसा कि यह एक कमांड लाइन कमांड है, मुझे सटीक एल्गोरिदम नहीं पता है। एल्गोरिथ्म गितुब में कोड में सार्वजनिक है, लेकिन माना जाता है कि यह इतना जटिल है (निष्पादन समय परिभाषा के अनुसार बहुत लंबा है), मेरा मानना ​​है कि मैं इसे इस प्रकार के उत्तर में नहीं लिख सकता।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.