मानव मस्तिष्क बनाम तंत्रिका नेटवर्क की शक्ति दक्षता

Question

यदि हम अपने कुल ऊर्जा बजट की गणना मानव मस्तिष्क ऊर्जा बजट ( 12.6 वाट ) के बराबर करते हैं तो हम कितने बड़े कृत्रिम तंत्रिका नेटवर्क (या तो पूरी ट्रेन-बैकप्रॉप साइकिल या सिर्फ नेटवर्क आउटपुट का मूल्यांकन करके ) चला सकते हैं?

मान लें कि एक चक्र प्रति सेकंड है, जो जैविक न्यूरॉन्स की गोलीबारी दर से लगभग मेल खाता है ।

Comments

मैं यह सवाल पूछने जा रहा था। मुझे खुशी है कि किसी और ने पहले ही किया :)

— Eka

Answer 1

12.6 वाट पर 126 मिलियन कृत्रिम न्यूरॉन्स, आईबीएम के ट्रू नॉर्थ के साथ

2014 में वापस, आईबीएम की ट्रू नॉर्थ चिप 100 मिलियन टन से कम पर 1 मिलियन न्यूरॉन्स को आगे बढ़ा रही थी।

तो यह 12.6 वाट पर लगभग 126 मिलियन कृत्रिम न्यूरॉन्स है।

एक माउस में 70 मिलियन न्यूरॉन्स होते हैं।

आईबीएम का मानना ​​है कि वे "मात्र" 4kW पर एक मानव-मस्तिष्क पैमाने पर ट्रू नॉर्थ मेनफ्रेम का निर्माण कर सकते हैं।

एक बार जब 3 डी ट्रांजिस्टर बाजार में आते हैं, मुझे लगता है कि हम पशु मस्तिष्क की दक्षता को बहुत तेजी से पकड़ लेंगे।

Comments

> तो यह 12.6 वाट पर लगभग 126 मिलियन कृत्रिम न्यूरॉन्स है। > एक माउस में 70 मिलियन न्यूरॉन्स होते हैं। समस्या है, हम नहीं जानते कि क्या एक एकल कृत्रिम "न्यूरॉन" वास्तव में एक वास्तविक जैविक न्यूरॉन के लिए एक के बराबर है।

— माइंडक्राइम

माइंडक्राइम के अलावा, ध्यान रखें कि लगभग 60 वर्षों तक, न्यूरोसाइंटिस्ट्स / एआई शोधकर्ताओं ने मानव मस्तिष्क की प्रसंस्करण शक्ति को लगातार खराब कर दिया है। मैंने बड़े नामों से शुरुआती अनुमानों को देखा कि हमारे दिमाग केवल कुछ 100 एमबी स्टोर कर सकते हैं! हमारे पास अभी तक मस्तिष्क की कोशिकाओं में बिट गहराई, उचित वास्तुकला, संभव क्वांटम अवस्था जैसी चीजों का कारक है, आईबीएम संभवतः एक शक्ति-कुशल 70-मिलियन-न्यूरॉन न्यूरल नेट का निर्माण कर सकता है जो एक माउस के परजीवी के व्यवहार को भी अनुमानित नहीं कर सकता है। । एआई शोधकर्ताओं ने ऐतिहासिक रूप से हमेशा अपनी क्षमताओं को बुरी तरह से कम कर दिया है।

— SQLServerSteve

दरअसल, आईबीएम चिप्स के बारे में भूल गया। प्रश्न लिखते समय मैंने उन्हें भी ध्यान में नहीं रखा, क्योंकि उनकी दक्षता पर ज्ञात आलोचना है (उदाहरण के लिए facebook.com/yann.lecun/posts/10152184295832143 )। यद्यपि तकनीकी रूप से वे अभी भी तंत्रिका नेटवर्क को लागू करते हैं, इसलिए +1 मुझसे।

— लियोरी

@mindcrime और SQLServerSteve खैर, सवाल विशेष रूप से वैनिला फ़ीड फॉरवर्ड ANN के बारे में हो सकता है जो स्टॉक हार्डवेयर पर चल रहे हैं। हालांकि यह सवाल मुझे नहीं मिला।

— डॉक्सोस्सोफ़ाइ

न ही यह कृत्रिम तंत्रिका नेटवर्क के बारे में प्रतीत होता है जिसकी कल्पना अभी तक की जा रही है।

— डॉक्सोस्सोफ़ाइ

Answer 2

यदि आप अपने आप को 12.6 वाट तक सीमित रखते हैं, तो आप बहुत कुछ नहीं कर पाएंगे। बस एक आधुनिक GPU के लिए बिजली की खपत को देखो, आकार नेटवर्क को देखो जो लोग उन पर प्रशिक्षण ले रहे हैं, और फिर नीचे पैमाने पर हैं। संदर्भ के लिए, आधुनिक जीपीयू भारी उपयोग के तहत 52-309 वाट के बीच खपत करता है ।

स्पष्ट रूप से ऊर्जा दक्षता एक ऐसा क्षेत्र है जहां मानव मस्तिष्क अभी भी ANN का प्रमुख है।