एनवीडिया के चिप्स उपलब्ध होने के बाद ही एमएल क्यों व्यवहार्य हो गया?

Question

मैंने पैनल से एक बात सुनी जिसमें दो प्रभावशाली चीनी वैज्ञानिक शामिल थे: वांग गैंग और यू काई और अन्य।

निकट भविष्य (3 से 5 वर्ष) में कृत्रिम बुद्धिमत्ता के विकास की सबसे बड़ी अड़चन के बारे में पूछे जाने पर, यू काई, जिनके पास हार्डवेयर उद्योग में एक पृष्ठभूमि है, ने कहा कि हार्डवेयर आवश्यक समस्या होगी और हमें अधिकांश भुगतान करना चाहिए उस पर हमारा ध्यान है। उसने हमें दो उदाहरण दिए:

1. कंप्यूटर के शुरुआती विकास में, हम अपनी मशीनों की तुलना इसके चिप्स से करते हैं;
2. आर्टिफिशियल इंटेलिजेंस जो इन वर्षों में बहुत लोकप्रिय है अगर एनवीडिया के GPU द्वारा सशक्त नहीं है तो लगभग असंभव होगा।

मौलिक एल्गोरिदम 1980 और 1990 के दशक में पहले से ही मौजूद थे, लेकिन कृत्रिम बुद्धिमत्ता 3 एआई सर्दियों के माध्यम से चली गई और अनुभवजन्य नहीं थी जब तक कि हम जीपीयू मेगा मेगा सर्वर वाले मॉडल को प्रशिक्षित नहीं कर सकते।

तब डॉ। वांग ने उनकी राय पर टिप्पणी की कि हमें सॉफ्टवेयर सिस्टम भी विकसित करना चाहिए क्योंकि हम एक स्वचालित कार का निर्माण नहीं कर सकते हैं भले ही हमने दुनिया के सभी जीपीयू और संगणना को एक साथ जोड़ दिया हो।

फिर, हमेशा की तरह, मेरा दिमाग भटक गया और मैंने यह सोचना शुरू कर दिया कि क्या होगा अगर 1980 और 1990 के दशक में जो सुपर कंप्यूटर का संचालन कर सकते हैं, वे तत्कालीन मौजूदा तंत्रिका नेटवर्क एल्गोरिदम का उपयोग करें और उन्हें वैज्ञानिक डेटा के टन के साथ प्रशिक्षित करें? उस समय के कुछ लोग स्पष्ट रूप से एआई सिस्टम बनाने का प्रयास कर सकते हैं जो हम अभी बना रहे हैं। लेकिन एआई एक गर्म विषय क्यों बन गया और दशकों बाद तक अनुभवजन्य हो गया? क्या यह केवल हार्डवेयर, सॉफ्टवेयर और डेटा की बात है?

Comments

यह प्रश्न बताता है कि AI केवल मशीन लर्निंग है, जो कि गलत है। यह लगभग 60+ वर्ष के लिए रहा है, और वर्तमान में उपलब्ध हार्डवेयर द्वारा गहन शिक्षण / तंत्रिका नेटवर्क के केवल बहुत ही संकीर्ण क्षेत्र को गति दी गई है। एआई कई बार एक गर्म विषय रहा है, हर बार अति-सम्मोहित होने से पीछे धकेल दिया गया।

— ओलिवर मेसन

@ ओलीवरमासन हां। उस संदर्भ में, हमने AI को केवल मशीन लर्निंग और डीप लर्निंग तक सीमित कर दिया।

— लर्नर जांग

ठीक है, मैंने तदनुसार शीर्षक में संशोधन किया।

— ओलिवर मेसन

Answer 1

एआई उद्योग के उछाल के लिए बहुत सारे कारक हैं। हालांकि कई लोगों को याद आती है कि बूम ज्यादातर एआई के मशीन लर्निंग हिस्से में रहा है। यह पहले के समय के दौरान उनकी तुलना के साथ विभिन्न सरल कारणों के लिए जिम्मेदार ठहराया जा सकता है:

• गणित : एमएल एल्गोरिदम के पीछे के गणित बहुत सरल हैं और लंबे समय से ज्ञात हैं (यह काम करेगा या नहीं, हालांकि यह ज्ञात नहीं था)। पहले के समय के दौरान एल्गोरिदम को लागू करना संभव नहीं था जिसके लिए स्वीकार्य समय में, चिप पर गणना की जाने वाली संख्याओं की उच्च परिशुद्धता की आवश्यकता होती है। संख्याओं के मुख्य अंकगणितीय संचालन प्रभागों में से एक अभी भी आधुनिक प्रोसेसर में बहुत अधिक चक्र लेता है। पुराने प्रोसेसर आधुनिक प्रोसेसर (100x से अधिक) की तुलना में कई गुना कम थे, इस अड़चन ने समकालीन प्रोसेसर पर परिष्कृत मॉडल को प्रशिक्षित करना असंभव बना दिया।
• $1$$0$
• समानांतरकरण : मैट्रिक्स संचालन के समानांतरकरण की अवधारणा कोई नई बात नहीं है। यह केवल तब था जब हमने डीप लर्निंग को केवल मैट्रिक्स ऑपरेशन के एक सेट के रूप में देखना शुरू किया, हमने महसूस किया कि इसे बड़े पैमाने पर समानांतर GPU के आसानी से समानांतर किया जा सकता है, फिर भी यदि आपका ML एल्गोरिथ्म स्वाभाविक रूप से समानांतर नहीं है, तो यह शायद ही मायने रखता है कि क्या आप CPU या GPU का उपयोग करते हैं ( जैसे RNN की)।
• डेटा : शायद एमएल बूम में सबसे बड़ा कारण। इंटरनेट ने उपयोगकर्ताओं से बड़ी मात्रा में डेटा एकत्र करने के अवसर प्रदान किए हैं और इसे इच्छुक पार्टियों के लिए भी उपलब्ध कराया है। चूंकि एक एमएल एल्गोरिथ्म सिर्फ डेटा पर आधारित एक फ़ंक्शन सन्निकटन है, इसलिए एमएल एल्गोरिथ्म में डेटा सबसे महत्वपूर्ण चीज है। जितना अधिक डेटा आपके मॉडल का प्रदर्शन उतना ही बेहतर होगा।
• लागत : एक एमएल मॉडल के प्रशिक्षण की लागत में काफी कमी आई है। तो एक मॉडल को प्रशिक्षित करने के लिए एक सुपर कंप्यूटर का उपयोग करना ठीक हो सकता है, लेकिन क्या यह इसके लायक था? सामान्य पीसी के विपरीत सुपर कंप्यूटर, हाल ही में एक लेख , शीतलन, अंतरिक्ष, आदि के मामले में जबरदस्त रूप से भूखे हैंएमआईटी प्रौद्योगिकी की समीक्षा पर डीप लर्निंग मॉडल (एमएल की उप-शाखा) के प्रशिक्षण के कार्बन पदचिह्न को इंगित करता है। यह काफी अच्छा संकेतक है कि क्यों पहले के समय में सुपर कंप्यूटर पर प्रशिक्षण देना संभव था (आधुनिक प्रोसेसर बहुत कम बिजली की खपत करते हैं और उच्च गति देते हैं)। हालाँकि, मुझे यकीन नहीं है, लेकिन मुझे लगता है कि पहले सुपर कंप्यूटर "समानांतर + बहुत उच्च परिशुद्धता कंप्यूटिंग" (मौसम, खगोल विज्ञान, सैन्य अनुप्रयोगों, आदि के लिए आवश्यक) में विशेष थे और मशीन लर्निंग परिदृश्य में "बहुत उच्च प्रिजन भाग" ओवरकिल है।

एक और महत्वपूर्ण पहलू आजकल सभी के पास शक्तिशाली कंप्यूटर तक पहुंच है। इस प्रकार, कोई भी नए एमएल मॉडल का निर्माण कर सकता है, पहले से मौजूद मॉडल को फिर से प्रशिक्षित कर सकता है, मॉडल को संशोधित कर सकता है, आदि यह पहले के समय में काफी संभव नहीं था,

इन सभी कारकों ने एमएल में दिलचस्पी में भारी वृद्धि की है और आज हम जो उछाल देख रहे हैं, उसके कारण है। हम डिजिटल प्रोसेसर से आगे कैसे बढ़ रहे हैं, इस सवाल पर भी गौर करें।

Answer 2

GPU, AI बूम becouse के लिए आदर्श थे

• उन्होंने सही समय मारा

एआई को लंबे समय के लिए शोध किया गया है। लगभग आधी सदी। हालाँकि, यह सब कैसे एल्गोरिदम काम और देखो की खोज थी। जब एनवी ने देखा कि एआई मुख्यधारा में जाने वाला है, तो उन्होंने अपने जीपीयू को देखा और महसूस किया कि प्रोग्राम के सापेक्ष सहजता के साथ विशाल पैरेलल प्रोसेसिंग पावर, उस युग के लिए आदर्श है जो होना है। कई अन्य लोगों को भी इसका एहसास हुआ।

• GPU सामान्य प्रयोजन त्वरक के प्रकार हैं

GPGPU सामान्य कार्यों के लिए GPU समानांतर प्रसंस्करण का उपयोग करने की एक अवधारणा है। आप ग्राफिक्स को तेज कर सकते हैं, या जीपीयू पर अपने एल्गोरिथ्म का अधिकतम उपयोग कर सकते हैं। यह AI सहित सभी प्रकार के उपयोग मामलों के लिए GPU को भयानक लक्ष्य बनाता है। यह देखते हुए कि वे पहले से ही उपलब्ध हैं और प्रोग्राम के लिए बहुत कठिन नहीं हैं, एआई एल्गोरिदम को तेज करने के लिए इसकी आदर्श पसंद है।