वर्तमान उपभोक्ता ग्रेड GPU पर तंत्रिका नेटवर्क के किस आकार को प्रशिक्षित किया जा सकता है? (1060,1070,1080)

Question

क्या सामान्य उपभोक्ता ग्रेड GPU पर प्रशिक्षित होने वाले तंत्रिका नेटवर्क के आकार के बारे में अंगूठे का अनुमान देना संभव है ? उदाहरण के लिए:

गतिवान (सुदृढीकरण) का उभार कागज न्यूरॉन्स की tanh सक्रियण का उपयोग करके नेटवर्क प्रशिक्षण देता है। उनके पास प्लानर वॉकर के लिए 300,200,100 इकाइयों के साथ एक 3 परत एनएन है । लेकिन वे हार्डवेयर और समय की रिपोर्ट नहीं करते ...

लेकिन क्या अंगूठे का एक नियम विकसित किया जा सकता है? इसके अलावा सिर्फ वर्तमान अनुभवजन्य परिणामों पर आधारित है, उदाहरण के लिए:

सिग्मॉइड सक्रियण का उपयोग करने वाली एक्स इकाइयां 1060 पर प्रति घंटे वाई लर्निंग पुनरावृत्तियों को चला सकती हैं।

या बी के बजाय सक्रियण फ़ंक्शन का उपयोग करने से प्रदर्शन में कई बार कमी आती है।

यदि कोई छात्र / शोधकर्ता / जिज्ञासु मन इन नेटवर्क के साथ खेलने के लिए GPU खरीदने जा रहा है, तो आप कैसे तय करते हैं कि आपको क्या मिलेगा? एक 1060 जाहिरा तौर पर प्रवेश स्तर के बजट विकल्प है, लेकिन आप कैसे मूल्यांकन कर सकते हैं यदि यह उच्च पावर डेस्कटॉप बनाने के बजाय सिर्फ एक भद्दा नेटबुक प्राप्त करने के लिए चालाक नहीं है और सहेजे गए डॉलर को ऑन-डिमांड क्लाउड बुनियादी ढांचे पर खर्च करना है।

प्रश्न के लिए प्रेरणा: मैंने सिर्फ 1060 खरीदे और (चतुर, बाद में प्रश्न पूछने के लिए) हुह आश्चर्यचकित था कि क्या मुझे केवल $ ही रखना चाहिए था और Google क्लाउड खाता बनाया था। और अगर मैं अपने मास्टर थीसिस सिमुलेशन को GPU पर चला सकता हूं।

Answer 1

आमतौर पर समस्या मॉडल को वीडियो रैम में फिट करने की है। यदि ऐसा नहीं होता है, तो आप अपने मॉडल को बड़े प्रयासों के बिना प्रशिक्षित नहीं कर सकते हैं (जैसे मॉडल के प्रशिक्षण भागों को अलग से)। यदि ऐसा होता है, तो समय आपकी एकमात्र समस्या है। लेकिन एनवीडिया 1080 जैसे उपभोक्ता जीपीयू और एनवीडिया K80 जैसे बहुत अधिक महंगा GPU त्वरक के बीच प्रशिक्षण समय में अंतर बहुत बड़ा नहीं है। वास्तव में सर्वश्रेष्ठ उपभोक्ता कार्ड GPU त्वरक की तुलना में तेज़ हैं, लेकिन वीआरएएम जैसे अन्य गुणों की कमी है। रैंडम तुलना और बेंचमार्क: http://timdettmers.com/2017/04/09/which-gpu-for-deep-learning/ , https://medium.com/@alexbaldo/a-comparison-between-nvidias-geforce -gtx -1080 और tesla-P100 के लिए गहरे सीखने-81a918d5b2c7

गणना करने के लिए कि क्या आपके मॉडल वीआरएएम में फिट होते हैं, आप सिर्फ अनुमान लगाते हैं कि आपके पास कितना डेटा और कौन से हाइपरपरमेटर्स हैं (इनपुट्स, आउटपुट, वेट, लेयर्स, बैच साइज, जो डेटाटाइप और इसी तरह)।

Comments

अच्छा जवाब, लेकिन 6/8 जीबी मेमोरी में किस तरह का मॉडल फिट नहीं है? मान लें कि प्रत्येक बैच प्रशिक्षण डेटा + मॉडल है। मुझे पता नहीं है कि मॉडल के आकार की गणना कैसे की जाती है लेकिन मैं कुछ हजारों न्यूरॉन्स की कल्पना नहीं कर सकता और उनका वजन मेमोरी के गीगाबाइट्स को भर सकता है। Google की Pretrained छवि मान्यता मॉडल कुछ सौ Megs tanorflow.org/tutorials/image_recognition है और जो वहां से अधिक दूसरों को पहचान सकती है। Apple iPhone में इसे ऑन-चिप संभालता है इसलिए मॉडल को T-data से बहुत छोटा होना चाहिए। और कहा कि राम में सब ठीक होने की जरूरत नहीं है?

— पास्कलवूप

मैं अक्सर एनएलपी मॉडल के साथ काम कर रहा हूं, ज्यादातर बहु-परत आरएनएन, और अगर शब्दावली का आकार बड़ा है, तो भी 8 जीबी पर्याप्त नहीं हो सकता है। याद रखें कि प्रशिक्षण में आमतौर पर भविष्यवाणी की तुलना में अधिक स्थान की आवश्यकता होती है (ग्रेडिएंट्स भी जगह लेते हैं)।

— सी। यदुकोली

Answer 2

एक चेतावनी के रूप में, मैं सुझाव दूंगा कि जब तक आप मूलभूत तकनीकी सीमाओं के खिलाफ जोर नहीं दे रहे हैं, कम्प्यूटेशन गति और संसाधन एक तंत्रिका नेटवर्क वास्तुकला को विकसित करने के लिए तर्क को डिजाइन करने के लिए माध्यमिक होना चाहिए।

इस साल की शुरुआत में, मैंने अपने एमएस थीसिस को पूरा किया, जिसमें पूरे जीनोम अनुक्रमण डेटा के साथ जैव सूचना विज्ञान विश्लेषिकी पाइपलाइन शामिल थी - उस परियोजना ने हमारे क्लस्टर जॉब मैनेजर के अनुसार विकसित करने के लिए 100,000 घंटे से अधिक का समय लिया। जब आपकी समय सीमा पर, संसाधन वास्तविक बाधा हो सकते हैं और गति महत्वपूर्ण हो सकती है।

इसलिए, आपके प्रश्नों का उत्तर देने के लिए जैसा कि मैं उन्हें समझता हूं:

क्या मैं बादल में समय खरीदने के लिए पैसे का उपयोग करना बेहतर होगा?

शायद। 1060 में आपके द्वारा खर्च किए गए कुछ सौ डॉलर आपको अपने मॉडल (क्लाउड्स) को क्लाउड में प्रशिक्षित करने में मदद करेंगे। इसके अलावा, जहां तक ​​मैं बता सकता हूं, आपको GPU को 100% क्रैंक करने की आवश्यकता नहीं है (यदि आप थे, तो कहें, खनन क्रिप्टो मुद्राएं)। अंत में, बादल के उदाहरणों के साथ, आप एक साथ कई मॉडलों को प्रशिक्षित कर सकते हैं, जो आपके द्वारा तय किए गए किसी भी आर्किटेक्चर के अन्वेषण और सत्यापन को गति प्रदान कर सकते हैं।

क्या किसी दिए गए GPU पर तंत्रिका नेटवर्क के गणना समय को मापने का एक तरीका है

वैसे, बिग ओ एक अनुमानक है, लेकिन ऐसा लगता है कि आप एक अधिक सटीक तरीका चाहते हैं। मुझे यकीन है कि वे मौजूद हैं, लेकिन मैं काउंटर करूंगा कि आप अपने अनुमान को लिफाफे की सरल पीठ के साथ बना सकते हैं, जो थ्रेड्स, मेमोरी, कोड पुनरावृत्तियों, आदि के लिए खाता है। क्या आप वास्तव में GPU प्रसंस्करण पाइपलाइन पर खुदाई करना चाहते हैं। 1060? आप अपने कोड और धातु के बीच होने वाली हर चीज को समझकर बहुत अच्छे अनुमान के साथ आने में सक्षम हो सकते हैं, लेकिन अंततः यह समय और प्रयास के लायक नहीं है; यह निश्चित रूप से पुष्टि करेगा कि बिग ओ अंकन (सरल मॉडल, यदि आप करेंगे) गणना समय में अधिकांश बदलाव को पकड़ लेता है। एक चीज जो आप कर सकते हैं अगर आपको लगता है कि अड़चनें प्रदर्शन की रूपरेखा हैं।

Answer 3

यह इस बात पर निर्भर करता है कि आपको क्या चाहिए। आप किसी भी संसाधन पर नेटवर्क के किसी भी आकार को प्रशिक्षित कर सकते हैं। समस्या प्रशिक्षण का समय है। यदि आप एक औसत सीपीयू पर इन्सेप्शन को प्रशिक्षित करना चाहते हैं, तो इसे कन्वर्ज करने में कई महीने लगेंगे। तो, यह सब इस बात पर निर्भर करता है कि आप अपने नेटवर्क के आधार पर अपने परिणाम देखने के लिए कितने समय तक इंतजार कर सकते हैं। जैसे कि तंत्रिका जाल में हमारा केवल एक ही ऑपरेशन नहीं होता है, बल्कि कई (जैसे समवर्ती, अधिकतम पूलिंग, पैडिंग आदि), यह अनुमान लगाना असंभव है जैसा कि आप खोज रहे हैं। बस कुछ बदनाम नेटवर्क का प्रशिक्षण शुरू करें और समय को मापें। उसके बाद, आप यह पता लगा सकते हैं कि नेटवर्क को प्रशिक्षित करने में आपको कितना समय लगेगा जो आप खोज रहे हैं।

Comments

क्या आप एक ऐसे संसाधन के बारे में जानते हैं जो विभिन्न एनएन नौकरियों के लिए जानकारी एकत्र करता है? तो एक सूची: एनएन प्रकार, यूनिट गणना, हाइपरपैरामीटर, डेटासेट आकार, हार्डवेयर का उपयोग किया, समय लिया? यह अंगूठे के अंतर्ज्ञान के एक नियम को विकसित करने में मदद करेगा

— पास्कलवूप