यदि डिजिटल मूल्य केवल अनुमान हैं, तो AI के अनुरूप क्यों नहीं?

18

एनालॉग से डिजिटल सर्किटरी में बीसवीं सदी के संक्रमण के पीछे की प्रेरणा अधिक सटीकता और कम शोर की इच्छा से प्रेरित थी। अब हम सॉफ्टवेयर विकसित कर रहे हैं जहां परिणाम अनुमानित हैं और शोर का सकारात्मक मूल्य है।

कृत्रिम नेटवर्क में, हम एक अभिसरण एल्गोरिथ्म में अगले चरणों का अनुमान लगाने और अशुद्धि और संदेह के स्वीकार्य स्तर को परिभाषित करने के लिए ग्रेडिएटर्स (जैकबियन) या दूसरी डिग्री मॉडल (हेसियन) का उपयोग करते हैं। ¹
अभिसरण रणनीतियों में, हम जानबूझकर अभिसरण के दौरान अनुकूलन सतह में अनिवार्य रूप से स्थानीय मिनिमा को कूदकर विश्वसनीयता में सुधार करने के लिए यादृच्छिक या छद्म यादृच्छिक गड़बड़ियों को इंजेक्ट करके शोर जोड़ते हैं । ²

वर्तमान एआई सिस्टम में हम जो स्वीकार करते हैं और जानबूझकर करते हैं, वही चीजें हैं जो इलेक्ट्रॉनिक्स को डिजिटल सर्किटरी में ले जाती हैं।

तंत्रिका जाल के लिए एनालॉग सर्किट्री पर क्यों नहीं लौटें और उन्हें डिजिटल सिग्नल प्रोसेसिंग तत्वों के मैट्रिक्स के बजाय परिचालन प्रवर्धक मैट्रिक्स के साथ लागू करें?

आर्टिफिशियल नेटवर्क लर्निंग मापदंडों के मूल्यों को डी-टू-ए कन्वर्टर्स के माध्यम से चार्ज किए गए एकीकृत कैपेसिटर का उपयोग करके बनाए रखा जा सकता है, ताकि सीखा राज्य डिजिटल सटीकता और सुविधा से लाभान्वित हो सकें, जबकि एनालॉग लाभ से आगे प्रसार लाभ।

बृहत् गति ^३
नेटवर्क कोशिकाओं का प्रतिनिधित्व करने के लिए परिमाण कम ट्रांजिस्टर का आदेश
प्राकृतिक थर्मल शोर ⁴

एनालॉग आर्टिफिशियल नेटवर्क के लिए एक अकादमिक लेख या पेटेंट खोज पिछले चालीस वर्षों में बहुत काम का खुलासा करती है, और अनुसंधान की प्रवृत्ति को बनाए रखा गया है। कम्प्यूटेशनल एनालॉग सर्किट अच्छी तरह से विकसित होते हैं और तंत्रिका सरणियों के लिए एक आधार प्रदान करते हैं।

क्या डिजिटल संगणना के साथ मौजूदा जुनून एआई वास्तुशिल्प विकल्पों के सामान्य दृष्टिकोण को प्रभावित कर सकता है?

कृत्रिम नेटवर्क के लिए हाइब्रिड एनालॉग बेहतर आर्किटेक्चर है?

फुटनोट

[1] पीएसी (शायद लगभग सही) सीखना फ्रेमवर्क स्वीकार्य त्रुटि संबंधित $\epsilon$ और स्वीकार्य संदेह $\delta$ नमूना आकार विशिष्ट मॉडल प्रकार के लिए सीखने के लिए आवश्यक है। (ध्यान दें कि $1 - \epsilon$ सटीकता और का प्रतिनिधित्व करता है $1 - \delta$ इस ढांचे में विश्वास का प्रतिनिधित्व करता है।)

[२] स्टोकेस्टिक ग्रेडिएंट डिसेंट को दिखाया जाता है, जब उपयुक्त रणनीतियों और हाइपर-मापदंडों का उपयोग किया जाता है, सीखने के दौरान अधिक तेज़ी से अभिसरण करने के लिए और कृत्रिम नेटवर्क के विशिष्ट वास्तविक दुनिया अनुप्रयोगों में एक सर्वोत्तम अभ्यास बन रहा है।

[३] इंटेल कोर i9-7960X प्रोसेसर ४.२ गीगाहर्ट्ज़ की टर्बो स्पीड पर चलता है जबकि मानक फिक्स्ड-सैटलाइट प्रसारण ४१ गीगाहर्ट्ज़ है।

[४] इसके हिमस्खलन बिंदु पर रिवर्स बायस्ड जेनर डायोड में इलेक्ट्रॉन रिसाव को प्रवर्धित और फ़िल्टर करके सिलिकॉन पर थर्मल शोर प्राप्त किया जा सकता है। क्वांटम घटना का स्रोत जॉनसन-नेक्विस्ट थर्मल शोर है। संगिनीतेति इति। अल। उनके 'क्वांटम रैंडम नंबर जनरेशन ऑन ए मोबाइल फ़ोन' (2014) में, "एक डिटेक्टर को ट्रांसमिशन संभावना के साथ एक हानिपूर्ण चैनल के रूप में तैयार किया जा सकता है, इसके बाद एक फोटॉन-टू-इलेक्ट्रॉन कनवर्टर के साथ यूनिट दक्षता ... मापा वितरण होगा क्वांटम अनिश्चितता और तकनीकी शोर का संयोजन हो, "और कैलटेक का जेटब्ल्यूपीए काम है। ये दोनों एकीकृत परिपथों में सही मायने में नॉनडेर्मिनिस्टिक क्वांटम शोर पैदा करने के मानक बन सकते हैं।

संदर्भ

— FauChristian
स्रोत

1

मैं तर्क दूंगा कि आप कुछ पर हैं। ऐआई को एनालॉग चिप्स में डालने के कुछ प्रयास हैं (मुझे लगता है कि Apple iphone के साथ कुछ कर सकता है)। मुझे यकीन नहीं है कि कितना शोध किया गया है, लेकिन मुझे यकीन है कि आप कहीं न कहीं कुछ श्वेत पत्र पा सकते हैं। यह निश्चित रूप से शोध के लायक है। मेरी भविष्यवाणी यह है कि जल्द ही प्रोग्राम करने योग्य एआई चिप्स हो सकते हैं जिनमें इनपुट और आउटपुट की एक निर्धारित संख्या होती है (बस रजिस्टरों की तरह किंडा)।

— ज़क्क डियाज़

यह एक पूर्ण उत्तर नहीं है, लेकिन मुझे संदेह है कि मुख्य मुद्दा लागत है। मुद्रण सर्किट पैमाने पर सुपर सस्ता है, और अभी भी छोटे बैचों में बहुत महंगा है। असतत जीपीयू पहले से ही बड़े पैमाने पर उत्पादित होते हैं, और "अच्छी तरह से" काम करते हैं। एक एनालॉग चिप आमतौर पर केवल एक कार्य को अच्छी तरह से कर सकती है, और पसंदीदा मॉडल जल्दी से बदलते हैं। एक असतत चिप को कई अलग-अलग चीजों को करने के लिए प्रोग्राम किया जा सकता है। यदि हम ANN के लिए "सर्वश्रेष्ठ" टोपोलॉजी पाते हैं, तो शायद यह फिर से एनालॉग चिप्स बनाने के लिए समझ में आएगा।

— जॉन डौकेट

1

वाह। इस साइट पर मेरा पहला दिन है और मुझे कोई ऐसा व्यक्ति मिला जो मेरे साथ एक विचार साझा करता है। :-D

6

मुझे लगता है, इसके कई कारण हैं। सबसे पहले: लचीलापन। आधुनिक सीपीयू और जीपीयू के साथ आप हर एआई मॉडल जो आप चाहते हैं और हर आकार और जटिलता में आप चाहते हैं का निर्माण कर सकते हैं। आप यह कैसे सुनिश्चित कर सकते हैं कि जिस मॉडल का आप वर्तमान में उपयोग कर रहे हैं वह अभी भी कुछ वर्षों में उपयुक्त है? हो सकता है कि अगले कुछ वर्षों में एनएन में एक बड़ी सफलता होगी? हो सकता है कि कुछ वैज्ञानिकों ने पाया कि एनएन के साथ एआई को विकसित करने का एक बेहतर तरीका है, आनुवंशिक एल्गोरिदम आदि। सामान्य चिप्स यह सब संभाल सकते हैं, और वे इसे अच्छी तरह से संभाल सकते हैं। लेकिन अगर आप इसे अनुकूलित करना चाहते हैं तो पैसे के बारे में कोई चिंता नहीं है, आप एक विशेष वास्तुकला विकसित कर सकते हैं (यह पहले से ही विभिन्न कंपनियों द्वारा किया जाता है, जो विशिष्ट कार्यों पर एक प्रमुख गति को बढ़ावा देता है)।

कारण संख्या दो: बड़े पैमाने पर उत्पादन। मेरा मतलब है, कंपनियां अंततः अत्यधिक एकीकृत एनालॉग एआई घटकों का उत्पादन कर सकती हैं (चलो कहते हैं, उदाहरण के लिए एनएन चिप्स)। लेकिन यह एक बड़ा निवेश होगा। इसकी बजाय यह स्पष्ट नहीं है कि इकाइयाँ जो एक गंभीर AI हार्डवेयर विकल्प के लिए पर्याप्त लचीली हैं, को बड़े पैमाने पर एनएम-उत्पादन में आसानी से उत्पादित किया जा सकता है जो सीपीयू और जीपीयू के खिलाफ प्रतिस्पर्धा कर सकता है। विशेष रूप से उत्तरार्द्ध बड़े पैमाने पर समानांतर गणना करने के लिए अत्यधिक अनुकूलित हैं। और, यदि आप जीपीयू-समान आर्किटेक्चर के विकास को देखते हैं (कुछ चीजें कर सकते हैं, लेकिन वे बहुत अच्छी तरह से) जो कि अधिमानतः मस्किन सीखने के लिए अनुकूलित हैं, तो आप देख सकते हैं कि यह एनालॉग इकाइयों के लिए एक कठिन प्रतियोगिता होगी।

उपरोक्त सभी का मतलब यह नहीं है कि इस क्षेत्र में कोई शोध नहीं है। ऐसे कई प्रयोग हैं, जो इसे संग्रहीत करने का प्रयास करते हैं, लेकिन वे आम आर्किटेक्चर के लिए अभी तक 'खतरनाक' नहीं हैं। आखिरकार, वे भविष्य में आएंगे, जब हम एआई और बुद्धिमत्ता को सामान्य रूप से समझेंगे और बस ट्विक करने की कोशिश करेंगे, लेकिन मैं इसके बारे में संदेह नहीं कर रहा हूं।

EDIT: इसके अलावा, कुछ ऐसा भी जो थोड़े लचीलेपन से संबंधित है: आप 'सामान्य' डिजिटल हार्डवेयर पर चलने वाले AI एल्गोरिदम के साथ बेहतर प्रयोग कर सकते हैं। उदाहरण के लिए, आप कुछ स्थानों पर आसानी से एक एनएन का निरीक्षण कर सकते हैं, आप जल्दी से इनपुट डेटा को संशोधित कर सकते हैं या वैकल्पिक विकल्प प्रदान कर सकते हैं, आप वास्तव में कुछ भी करने के लिए बाध्य नहीं हैं। और जब से हम अभी भी हर मॉडल को पूरी तरह से नहीं जानते या समझते हैं, तो कब, किसका उपयोग करना है, अगर किसी निश्चित कार्य आदि के लिए बेहतर आर्किटेक्चर हैं, तो निश्चित एनालॉग में कुछ 'युवा' और 'प्रायोगिक' लगाने का कोई मतलब नहीं है। आर्किटेक्चर।

— बेन
स्रोत

हालाँकि पैमाने की अर्थव्यवस्था (सरासर निर्माण की मात्रा) आज डिजिटल की पक्षधर है, यह 1980 के दशक में नहीं थी और यह 2040 के दशक में कई थी। ट्रांजिस्टर से एनालॉग सस्ता होता है। एक CUDA कोर प्रति थ्रेड में 128,000 ट्रांजिस्टर और एक मल्टीप्लेक्स ऑप amp में केवल 40 ट्रांजिस्टर हैं। इससे भी महत्वपूर्ण बात, यह सवाल सैद्धांतिक है - वीएलएसआई अर्थशास्त्र की वर्तमान स्थिति में सबसे अधिक तकनीकी अर्थ क्या है - क्या नहीं। अगर कोई पैटर्न है जिसे हम पिछले 100 वर्षों में प्रौद्योगिकी में देख सकते हैं, तो यह है कि आज का सामान्य कल के संग्रहालय का टुकड़ा है। - बाउंटी आवश्यकताओं को पढ़ने से मदद मिल सकती है।

— फौचरिस्टियन

लेकिन क्या यह थोड़े भी इस परिदृश्य में समान नहीं है? बड़े पैमाने पर उस हार्डवेयर को विकसित करना अब अर्थपूर्ण नहीं होगा, लेकिन तकनीकी भी नहीं। हम अभी पर्याप्त नहीं जानते हैं।

— बेन

यदि, "हम," एआई स्टैक एक्सचेंज की सदस्यता है, तो लोकप्रिय पाइथ्रू पुस्तकालयों में पहले से ही जो कुछ भी लागू किया गया है, उसके प्रति एक मजबूत प्रवृत्ति है। लेकिन सरकारों और बड़े निगमों को उदाहरण के लिए नेटवर्क और एनालॉग वीएलएसआई, यूएसएएफ और इंटेल के लिए दिलचस्पी है। एनालॉग की ओर रोबोटिक्स लैब से एक धक्का है, और न्यूरो-कोगिटिव शोधकर्ताओं ने एएनएन को मध्य एन के योग्य नहीं देखा है। रियल न्यूरॉन एक आरईएलयू फ़ंक्शन की तुलना में हजारों गुना अधिक जटिल हैं। क्या अनुप्रयोग स्पष्ट नहीं है के लिए प्रमुख के रूप में उभरेगा, लेकिन विकल्पों पर चर्चा करने के लिए पर्याप्त नहीं जानने के समान नहीं है।

— फौश्रीशियन

आपने प्रश्न में "शुद्ध" शब्द पढ़ा होगा। चल रहे शोध में से कोई भी शुद्ध एनालॉग का सुझाव नहीं देता है, एलसीडी के बजाय कीबोर्ड और सीआरटी के बजाय डायल के साथ। साहित्य में और सक्रिय वीएलएसआई विकास के सभी हालिया प्रस्ताव एक अच्छी तरह से समझे जाने वाले प्रतिमान का पालन करते हैं: प्रोग्राम प्रोग्रामेबल (निश्चित नहीं) एनालॉग जो प्रोग्राम को डिजिटल कृत्रिम नेटवर्क के रूप में सीख सकते हैं, फिर प्रोग्रामबिलिटी या सीखने की क्षमता को हटाए बिना सिलिकॉन में महसूस कर सकते हैं। वास्तविक समय के संकेत एनालॉग, डिजिटल या दोनों हो सकते हैं, लेकिन चिप का समग्र नियंत्रण डिजिटल है, जैसे कि GPU या DSP।

— फौच्रिशियन

इनाम की अवधि जल्द ही समाप्त हो जाएगी, और क्या एनालॉग लर्निंग समझ में आता है क्योंकि यह आसानी से उपलब्ध क्वांटम शोर को भुनाने में सक्षम है, इस जवाब में अभी तक संबोधित नहीं किया गया है। सवाल से भविष्यवाणी का संकेत नहीं था। इसके अलावा, बड़े पैमाने पर बजट जो कि अवधारणात्मक, अनुरूपता और स्पाइकिंग नेटवर्क के अनुरूप संगणना पर लक्षित होता है, बहुत अच्छी तरह से प्रचलित हो सकता है, लेकिन केवल तभी जब दीर्घकालिक व्यवहार्यता तर्कसंगत हो। इस प्रकार प्रश्न।

— फाहिश्रियन

6

शीघ्र जवाब

जब इंटेल ने निर्वाण का अधिग्रहण किया, तो उन्होंने अपने विश्वास का संकेत दिया कि एनालॉग वीएलएसआई का निकट भविष्य के ^{1, 2, 3} के न्यूरोमोर्फिक चिप्स में अपना स्थान है ।

क्या यह एनालॉग सर्किट में प्राकृतिक क्वांटम शोर का अधिक आसानी से दोहन करने की क्षमता के कारण था, अभी तक सार्वजनिक नहीं है। इसकी संभावना अधिक है क्योंकि समानांतर सक्रियण कार्यों की संख्या और जटिलता एक एकल वीएलएसआई चिप में पैक की जा सकती है। एनालॉग में उस संबंध में डिजिटल पर परिमाण लाभ के आदेश हैं।

यह एआई स्टैक एक्सचेंज के सदस्यों के लिए प्रौद्योगिकी के मजबूत रूप से संकेतित विकास पर तेजी से आने के लिए फायदेमंद है।

एआई में महत्वपूर्ण रुझान और गैर-रुझान

इस प्रश्न को वैज्ञानिक रूप से समझने के लिए, रुझानों के पूर्वाग्रह के बिना एनालॉग और डिजिटल सिग्नल सिद्धांत के विपरीत करना सबसे अच्छा है।

आर्टिफिशियल इंटेलिजेंस के शौकीन लोग वेब पर डीप लर्निंग, फीचर एक्सट्रैक्शन, इमेज रिकॉग्निशन और सॉफ्टवेयर लाइब्रेरी को डाउनलोड करने और तुरंत प्रयोग करने के बारे में बहुत कुछ पा सकते हैं। यह तरीका है कि अधिकांश अपने पैरों को प्रौद्योगिकी के साथ गीला कर देते हैं, लेकिन एआई के लिए फास्ट ट्रैक परिचय के नीचे की ओर भी है।

जब उपभोक्ता-सामना करने वाले AI की शुरुआती सफल तैनाती की सैद्धांतिक नींव को नहीं समझा जाता है, तो धारणाएं उन नींवों के साथ टकराव का रूप ले लेती हैं। महत्वपूर्ण विकल्प, जैसे कि एनालॉग कृत्रिम न्यूरॉन्स, नुकीला नेटवर्क और वास्तविक समय प्रतिक्रिया, अनदेखी की जाती हैं। रूपों, क्षमताओं और विश्वसनीयता के सुधार से समझौता किया जाता है।

प्रौद्योगिकी विकास में उत्साह हमेशा तर्कसंगत विचार के कम से कम एक बराबर माप के साथ गुस्सा होना चाहिए।

अभिसरण और स्थिरता

एक प्रणाली में जहां सटीकता और स्थिरता प्रतिक्रिया के माध्यम से प्राप्त की जाती है, एनालॉग और डिजिटल सिग्नल मूल्य दोनों हमेशा केवल अनुमान हैं।

एक अभिसरण एल्गोरिथ्म में डिजिटल मूल्य, या, और अधिक सटीक रूप से, एक रणनीति जिसे अभिसरण करने के लिए डिज़ाइन किया गया है
एक स्थिर परिचालन एम्पलीफायर सर्किट में एनालॉग सिग्नल मान

एक डिजिटल एल्गोरिथ्म में त्रुटि सुधार के माध्यम से अभिसरण के बीच समानांतर को समझना और एनालॉग इंस्ट्रूमेंटेशन में फीडबैक के माध्यम से प्राप्त स्थिरता इस प्रश्न के बारे में सोचने में महत्वपूर्ण है। ये समकालीन शब्दजाल का उपयोग करते हुए समानताएं हैं, बाईं ओर डिजिटल और दाईं ओर एनालॉग हैं।

┌───────────────────────────────┬───────────────── ─────────────┐
│ * डिजिटल कृत्रिम जाल * * * एनालॉग कृत्रिम जाल * ificial
├───────────────────────────────┼───────────────── ─────────────┤
│ आगे प्रसार prop प्राथमिक संकेत पथ ation
├───────────────────────────────┼───────────────── ─────────────┤
│ त्रुटि फ़ंक्शन │ त्रुटि फ़ंक्शन │
├───────────────────────────────┼───────────────── ─────────────┤
│ अभिसरण │ स्थिर │
├───────────────────────────────┼───────────────── ─────────────┤
│ प्रवणता की संतृप्ति uration आदानों पर संतृप्ति grad
├───────────────────────────────┼───────────────── ─────────────┤
│ एक्टिवेशन फंक्शन transfer फॉरवर्ड ट्रांसफर फंक्शन │
└───────────────────────────────┴───────────────── ─────────────┘

डिजिटल सर्किट की लोकप्रियता

डिजिटल सर्किट लोकप्रियता के उदय में प्राथमिक कारक इसकी शोर की रोकथाम है। आज के वीएलएसआई डिजिटल सर्किट में लंबे समय तक विफलता का समय होता है (उदाहरणों के बीच का समय जब गलत बिट मान का सामना होता है)।

शोर के आभासी उन्मूलन ने डिजिटल सर्किटरी को माप, पीआईडी नियंत्रण, गणना और अन्य अनुप्रयोगों के लिए एनालॉग सर्किटरी पर एक महत्वपूर्ण लाभ दिया। डिजिटल सर्किट्री के साथ, कोई सटीकता के पांच दशमलव अंकों को माप सकता है, उल्लेखनीय सटीकता के साथ नियंत्रण कर सकता है, और सटीकता के एक हजार दशमलव अंकों की गणना कर सकता है।

यह मुख्य रूप से वैमानिकी, रक्षा, बैलिस्टिक्स और काउंटरमेशर्स बजट थे जिन्होंने डिजिटल सर्किट निर्माण में पैमाने की अर्थव्यवस्था को प्राप्त करने के लिए विनिर्माण मांग को बढ़ाया। डिस्प्ले रिज़ॉल्यूशन और रेंडरिंग स्पीड की मांग अब डिजिटल सिग्नल प्रोसेसर के रूप में जीपीयू उपयोग को बढ़ा रही है।

क्या ये बड़े पैमाने पर आर्थिक ताकतें सबसे अच्छा डिजाइन विकल्प पैदा कर रही हैं? क्या डिजिटल आधारित कृत्रिम नेटवर्क कीमती वीएलएसआई अचल संपत्ति का सबसे अच्छा उपयोग कर रहे हैं? यह इस सवाल की चुनौती है, और यह एक अच्छा है।

आईसी जटिलता की वास्तविकताएं

जैसा कि एक टिप्पणी में उल्लेख किया गया है, सिलिकॉन में एक स्वतंत्र, पुन: प्रयोज्य कृत्रिम नेटवर्क न्यूरॉन को लागू करने के लिए दसियों हज़ार ट्रांजिस्टर लगते हैं। यह काफी हद तक वेक्टर-मैट्रिक्स गुणन के कारण प्रत्येक सक्रियण परत में होता है। यह केवल वेक्टर-मैट्रिक्स गुणन और परिचालन एम्पलीफायरों की परत के सरणी को लागू करने के लिए प्रति कृत्रिम न्यूरॉन में कुछ दर्जन ट्रांजिस्टर लेता है। परिचालन एम्पलीफायरों को बाइनरी स्टेप, सिग्मॉइड, सॉफ्ट प्लस, ईएलयू, और आईएसआरएलयू जैसे कार्यों को करने के लिए डिज़ाइन किया जा सकता है।

गोलाई से डिजिटल सिग्नल शोर

डिजिटल सिग्नलिंग शोर से मुक्त नहीं है क्योंकि अधिकांश डिजिटल सिग्नल गोल हैं और इसलिए अनुमानित हैं। बैक-प्रचार में संकेत की संतृप्ति सबसे पहले इस सन्निकटन से उत्पन्न डिजिटल शोर के रूप में प्रकट होती है। आगे संतृप्ति तब होती है जब संकेत हमेशा एक ही बाइनरी प्रतिनिधित्व के लिए गोल होता है।

$v$ $e$ $k$ $n$ $N$

$v = \sum_{n = 0}^{N} 1_n \, 2^{\, k + e + N - n}$

प्रोग्रामर कभी-कभी दोहरी या एकल परिशुद्धता IEEE फ़्लोटिंग पॉइंट नंबरों में गोलाई के प्रभावों का सामना करते हैं जब 0.2 से 0.20000000000001 के रूप में प्रकट होने की उम्मीद होती है। एक पांचवें को बाइनरी नंबर के रूप में सही सटीकता के साथ नहीं दिखाया जा सकता है क्योंकि 5 2 का कारक नहीं है।

मीडिया ओवर मीडिया प्रचार और लोकप्रिय रुझान

वैज्ञानिक जांच और प्रौद्योगिकी व्यवहार्यता अध्ययन में लगे लोगों को निश्चित रूप से अर्थशास्त्र के बारे में कुछ जागरूकता होनी चाहिए, लेकिन प्रौद्योगिकी की दिशा तकनीकी योग्यता और उपयोगिता से संचालित होनी चाहिए। यदि उन मानदंडों को पूरा किया जाता है, तो यह केवल कुछ समय पहले की बात है जब वित्तीय समुदाय उन गुणों से आश्वस्त होता है, सैद्धांतिक भौतिकी की वित्तीय योग्यता तब तक कमजोर दिखाई देती है $E = mc^2$ । वैश्विक सार्वजनिक नेटवर्क की वित्तीय योग्यता तब कमजोर लगती थी जब इंटरनेट को ARPANET कहा जाता था, इससे पहले नेटकॉम ने ईमेल पते के साथ सार्वजनिक वेब एक्सेस में डायल को बेचा था।

प्रौद्योगिकी के कई उत्पादों के साथ मशीन सीखने में, चार प्रमुख गुणवत्ता वाले मैट्रिक्स हैं।

दक्षता (जो गति और उपयोग की अर्थव्यवस्था को चलाती है)
विश्वसनीयता
शुद्धता
व्यापकता (जो स्थिरता बनाए रखता है)

कभी-कभी, लेकिन हमेशा नहीं, एक की उपलब्धि दूसरे से समझौता करती है, जिस स्थिति में संतुलन होना चाहिए। ग्रेडिएंट डिसेंट्रेज एक अभिसरण रणनीति है जिसे डिजिटल एल्गोरिथम में महसूस किया जा सकता है जो इन चारों को अच्छी तरह से संतुलित करता है, यही कारण है कि यह मल्टी-लेयर परसेप्ट्रॉन प्रशिक्षण और कई गहरे नेटवर्क में प्रमुख रणनीति है।

बेल लैब्स में पहले डिजिटल सर्किट या वैक्यूम ट्यूबों के साथ महसूस किए गए पहले फ्लिप फ्लॉप से पहले चार चीजें नोरबर्ट वीनर के शुरुआती साइबरनेटिक्स काम के लिए केंद्रीय थीं। साइबरनेटिक्स शब्द ग्रीक ήτηςρν pron (उच्चारण) से लिया गया है kyvernítis ) जिसका अर्थ है स्टीमर , जहां पतवार और पाल को लगातार बदलती हवा और करंट की भरपाई करनी होती थी और जहाज को इच्छित बंदरगाह या बंदरगाह पर परिवर्तित करने की आवश्यकता होती थी।

इस प्रश्न की प्रवृत्ति से प्रेरित WIV इस विचार को घेर सकती है कि क्या VLSI को एनालॉग नेटवर्क के लिए पैमाने की अर्थव्यवस्था को प्राप्त करने के लिए पूरा किया जा सकता है, लेकिन इसके लेखक द्वारा दिए गए मानदंड प्रवृत्ति से प्रेरित विचारों से बचने के लिए है। यहां तक कि अगर यह मामला नहीं था, जैसा कि ऊपर उल्लेख किया गया है, तो डिजिटल की तुलना में एनालॉग सर्किटरी के साथ कृत्रिम नेटवर्क परतों का उत्पादन करने के लिए काफी कम ट्रांजिस्टर की आवश्यकता होती है। उस कारण से, यह मानते हुए प्रश्न का उत्तर देना वैध है कि यदि वीएलएसआई एनालॉग एक उचित लागत पर बहुत अधिक संभव है यदि ध्यान इसे पूरा करने की ओर निर्देशित किया गया था।

एनालॉग आर्टिफिशियल नेटवर्क डिज़ाइन

एनालॉग कृत्रिम जाल दुनिया भर में जांच की जा रही, आईबीएम / एमआईटी संयुक्त उद्यम सहित, इंटेल के निर्वाण, गूगल, 1992 के शुरू के रूप में के रूप में अमेरिकी वायु सेना ⁵ , टेस्ला और कई अन्य शामिल हैं, कुछ ने टिप्पणियों में संकेत दिया और इसके लिए परिशिष्ट। सवाल।

कृत्रिम नेटवर्क के लिए एनालॉग में रुचि को समांतर सक्रियण कार्यों की संख्या के साथ करना पड़ता है, जो सीखने में शामिल हैं, वीएलएसआई चिप संपत्ति की एक वर्ग मिलीमीटर पर फिट हो सकते हैं। यह काफी हद तक निर्भर करता है कि कितने ट्रांजिस्टर की आवश्यकता है। क्षीणन matrices (सीखने पैरामीटर matrices)⁴ को वेक्टर-मैट्रिक्स गुणन की आवश्यकता होती है, जिसके लिए बड़ी संख्या में ट्रांजिस्टर की आवश्यकता होती है और इस तरह वीएलएसआई रियल एस्टेट का एक महत्वपूर्ण हिस्सा होता है।

एक बुनियादी बहुपरत परसेप्ट्रॉन नेटवर्क में पाँच स्वतंत्र कार्यात्मक घटक होने चाहिए यदि यह पूरी तरह से समानांतर प्रशिक्षण के लिए उपलब्ध हो।

वेक्टर-मैट्रिक्स गुणन जो हर परत के सक्रियण कार्यों के बीच पैराप्राइज़ेशन के आयाम को आगे बढ़ाता है
मापदंडों का प्रतिधारण
सक्रियण प्रत्येक परत के लिए कार्य करता है
सक्रियण परत के प्रतिधारण को वापस प्रसार में लागू करने के लिए आउटपुट
सक्रियण के व्युत्पन्न प्रत्येक परत के लिए कार्य करता है

एनालॉग सर्किटरी में, सिग्नल ट्रांसमिशन की विधि में निहित अधिक समानता के साथ, 2 और 4 आवश्यक नहीं हो सकते हैं। स्पाइस जैसे सिम्युलेटर का उपयोग करके सर्किट के डिजाइन पर प्रतिक्रिया सिद्धांत और हार्मोनिक विश्लेषण लागू किया जाएगा।

लागत पर विचार करने के लिए, एक समीकरण उचित सटीकता के साथ मानक वीएलएसआई पैकेजिंग लागत के एक समारोह के रूप में वीएलएसआई उत्पाद की लागत का अनुमान लगा सकता है $c_p$ उत्पादन मात्रा के एक समारोह के रूप में लागत का प्रतिनिधित्व करने वाला कार्य $c(\int r)$ , समय और लागत के एक समारोह के रूप में उत्पादन दर का कार्य $r(t, c)$ , समय $t$ , लागत ही, सूचकांक के प्रत्येक नेटवर्क परत की चौड़ाई $i$ के लिये $I$ परतों $w_i$ एटेन्यूएटर ⁴ प्रति ट्रांजिस्टर की संख्या $\tau_p$ , and the number of transistors per activation and its derivative circuits $\tau_a$ and $\tau_d$ respectively.

$c = c_p \; c(\int r(t, c) \, dt) \; \Big( \sum_{i = 0}^{I - 2} \, (\tau_p w_i w_{i-1} + \tau_a w_i + \tau_d w_i) + \tau_a w_{I-1} + \tau_d w_{I-1} \Big)$

For common values of these circuits in current analog integrated circuits, we have a cost for analog VLSI chips that converges over time to a value at least three orders of magnitude below that of digital chips with equivalent training parallelism.

Directly Addressing Noise Injection

The question states, "We are using gradients (Jacobian) or second degree models (Hessian) to estimate next steps in a convergent algorithm and deliberately adding noise [or] injecting pseudo random perturbations to improve convergence reliability by jumping out local wells in the error surface during convergence."

The reason pseudo random noise is injected into the convergence algorithm during training and in real time re-entrant networks (such as reinforcement networks) is because of the existence of local minima in the disparity (error) surface that are not the global minima of that surface. The global minima is the optimal trained state of the artificial network. Local minima may be far from optimal.

यह सतह मापदंडों के त्रुटि समारोह (इस अत्यधिक सरलीकृत मामले ⁶ में दो ) और वैश्विक मिनीमा के अस्तित्व को छिपाने वाले एक स्थानीय मिनीमाता के मुद्दे को दिखाता है । सतह के निचले बिंदु न्यूनतम प्रशिक्षण अभिसरण के स्थानीय क्षेत्रों के महत्वपूर्ण बिंदुओं पर मिनीमा का प्रतिनिधित्व करते हैं। ^7,8

त्रुटि कार्य केवल प्रशिक्षण के दौरान वर्तमान नेटवर्क स्थिति और वांछित नेटवर्क स्थिति के बीच असमानता का एक उपाय है। कृत्रिम नेटवर्क के प्रशिक्षण के दौरान, लक्ष्य इस असमानता के वैश्विक न्यूनतम को खोजने का है। इस तरह की सतह मौजूद है कि नमूना डेटा लेबल है या संयुक्त राष्ट्र लेबल है और क्या प्रशिक्षण पूरा करने का मानदंड कृत्रिम नेटवर्क के लिए आंतरिक या बाहरी है।

यदि सीखने की दर छोटी है और प्रारंभिक स्थिति पैरामीटर स्पेस के मूल में है, तो अभिसरण, ग्रेडिएंट डीसेंट का उपयोग करते हुए, बाईं ओर सबसे अच्छी तरह से अभिसरण होगा, जो स्थानीय न्यूनतम है, दाईं ओर वैश्विक न्यूनतम नहीं।

यहां तक कि अगर सीखने के लिए कृत्रिम नेटवर्क को शुरू करने वाले विशेषज्ञ दो मिनिमा के बीच के मध्य बिंदु को लेने के लिए पर्याप्त चतुर हैं, तो उस बिंदु पर ढाल अभी भी बाएं हाथ की ओर ढलान न्यूनतम है, और अभिसरण एक गैर-इष्टतम प्रशिक्षण राज्य में पहुंच जाएगा। यदि प्रशिक्षण की अनुकूलता महत्वपूर्ण है, जो अक्सर होता है, तो उत्पादन गुणवत्ता के परिणाम प्राप्त करने के लिए प्रशिक्षण विफल हो जाएगा।

उपयोग में एक समाधान अभिसरण प्रक्रिया में एन्ट्रापी को जोड़ना है, जो अक्सर एक छद्म यादृच्छिक संख्या जनरेटर के क्षीणन आउटपुट का इंजेक्शन होता है। एक और समाधान जो कम अक्सर उपयोग किया जाता है, वह है प्रशिक्षण प्रक्रिया को शाखा देना और दूसरी अभिसरण प्रक्रिया में बड़ी मात्रा में एन्ट्रापी के इंजेक्शन की कोशिश करना ताकि एक रूढ़िवादी खोज और समानांतर में चलने वाली कुछ जंगली खोज हो।

यह सच है कि बेहद छोटे एनालॉग सर्किट में क्वांटम शोर एक डिजिटल छद्म यादृच्छिक जनरेटर की तुलना में इसके एंट्रोपी से सिग्नल स्पेक्ट्रम के लिए अधिक एकरूपता है और उच्च गुणवत्ता वाले शोर को प्राप्त करने के लिए बहुत कम ट्रांजिस्टर की आवश्यकता होती है। वीएलएसआई कार्यान्वयन में ऐसा करने की चुनौतियों को दूर किया गया है या नहीं, इसका खुलासा सरकारों और निगमों में अनुसंधान प्रयोगशालाओं द्वारा किया जाना बाकी है।

क्या ऐसे स्टोकेस्टिक तत्वों का इस्तेमाल प्रशिक्षण की गति बढ़ाने के लिए यादृच्छिकता की मापी गई मात्रा को इंजेक्ट करने के लिए किया जाएगा और प्रशिक्षण के दौरान बाहरी शोर के लिए विश्वसनीयता पर्याप्त रूप से प्रतिरक्षा होगी?
क्या वे आंतरिक क्रॉस-टॉक से पर्याप्त रूप से परिरक्षित होंगे?
क्या एक मांग उत्पन्न होगी जो अत्यधिक वित्त पोषित अनुसंधान उद्यमों के बाहर अधिक से अधिक उपयोग के एक बिंदु तक पहुंचने के लिए पर्याप्त रूप से वीएलएसआई निर्माण की लागत को कम करेगी?

तीनों चुनौतियां प्रशंसनीय हैं। क्या निश्चित है और यह भी बहुत दिलचस्प है कि उच्च गति प्रशिक्षण प्राप्त करने के लिए डिजाइनर और निर्माता एनालॉग सिग्नल पाथवे और सक्रियण कार्यों के डिजिटल नियंत्रण की सुविधा कैसे देते हैं।

फुटनोट

[१] https://ieeexplore.ieee.org/abstract/document/8401400/

[२] https://spectrum.ieee.org/automaton/robotics/artific-intelligence/analog-and-neuromorphic-chips-will-rule-robotic-age

[३] https://www.roboticstomorrow.com/article/2018/04/whats-the-difference-between-analog-and-neuromorphic-chips-in-robots/11820

[४] अटेन्शन से तात्पर्य एक ट्रेन के परिमाप द्वारा एक एक्टीवेशन से एक सिग्नल आउटपुट को गुणा करने के लिए होता है, ताकि बाद की लेयर की सक्रियता के लिए इनपुट के लिए दूसरों के साथ सम्मन किया जा सके। यद्यपि यह एक भौतिकी शब्द है, इसका उपयोग अक्सर इलेक्ट्रिकल इंजीनियरिंग में किया जाता है और वेक्टर-मैट्रिक्स गुणन के कार्य का वर्णन करने के लिए उपयुक्त शब्द है जो कम शिक्षित हलकों में, जो कि लेयर इनपुट को वेटिंग कहा जाता है।

[५] http://www.dtic.mil/dtic/tr/fulltext/u2/a256621.pdf

[६] कृत्रिम नेटवर्क में दो से अधिक पैरामीटर हैं, लेकिन केवल दो को इस चित्रण में दर्शाया गया है क्योंकि प्लॉट केवल ३-डी में ही समझ में आ सकता है और हमें त्रुटि फ़ंक्शन मान के लिए तीन आयामों में से एक की आवश्यकता होती है।

[Definition] सतह की परिभाषा: $z = (x-2)^2 + (y-2)^2 + 60 - \frac {40} {\sqrt{1 + (y - 1.1)^2 + (x - 0.9)^2}} - \frac {40} {(1 + {((y - 2.2)^2 + (x - 3.1)^2)}^4)}$

[8] Associated gnuplot commands:

set title "Error Surface Showing How Global Optimum Can be Missed"
set xlabel "x"
set ylabel "y"
set pm3d at b
set ticslevel 0.8
set isosample 40,40
set xrange [0:4]
set yrange [0:4]
set nokey
splot (x-2)**2 + (y-2)**2 + 60 \
    - 40 / sqrt(1+(y-1.1)**2+(x-0.9)**2) \
    - 40 / (1+(y-2.2)**2+(x-3.1)**2)**4

— Douglas Daseeco
स्रोत

4

Digital Instrumentation of the Analog Cells

One of the key challenges in analog artificial networks is that network instrumentation would be most practical if digital. Any VLSI implementation of analog perceptrons, convolutions, or spiking networks will likely need to have digital components in a hybrid arrangement for several functions.

Health indicators
Fault indicators
Archive and retrieval of learned parameters¹
Overall system control
Setting hyper-parameters
Operational statistics
Introspection for development and debugging
Break points
Auditability

This means that the realization of a general purpose analog artificial learning network will require A-to-D and D-to-A conversion.² The VLSI design challenge then becomes avoiding the build-up of transistors from the introduction of a large number of conversion blocks. Such would defeat the density advantage of the analog realization of forward and backward propagation.

The likely solution is to use a latching matrix to distribute signals from the D-to-A converters to capacitors and the low leakage switching matrix to select which value will be read by the A-to-D converters. This must be done without introducing digital noise into the analog paths and without degrading the stored charges or loss of accuracy in charging them.

How significant the number of additional transistors and routes in an out of the primary network circuit would be is can only be found by exercising a VLSI design process.

Important Open Source Contributions

The University of Massachusetts introduced the open source BindsNet repository^3,4 in February 2018. It simulates analog spiking networks with digital software and hardware and leverages GPU acceleration through PyTorch.

This facilitates present day experimentation into spiking network designs and strategies. Success using simulation, if significant enough, would likely lead to a superior VLSI designs.

Footnotes

[1] In any practical learning system, learned parameters must be extracted from VLSI implementation, stored in a database, and made available to any number of development, test, UAT, or production systems for deployment, flaw root cause analysis, scaling, and disaster recovery. Saving and loading must be a basic feature of VLSI hybrid analog artificial networks, even between epochs during training and during actual field use.

[2] One cannot hold the learned state of an artificial network in capacitors indefinitely. Although capacitors have become the dominant passive component for analog circuits designed in standard CMOS processes, they cannot have much capacity and leakage is not zero. The half-life of the capacitive storage circuits and the required accuracy of parameter values will determine the rate of a read and conditional re-update cycle.

[3] BindsNet open source repository

[4] BindsNET [paper]: A machine learning-oriented spiking neural networks library in Python for the Harvard U publication of the abstract from the BindsNet paper.

— FauChristian
स्रोत

4

I am surprised no one mentioned some of the specific research directions in the analog AI field. And also to clarify Artificial Intelligence is not exactly the same as Machine Learning as this answer suggests. Recent advances in analog computation has only been in the field of Machine Learning.

Analog CMOS:

First off let us talk about the earliest analog implementations of neurons. Dr.Giacomo Indiveri, et al has been few of the pioneers in the field. Although with CMOS logic you can design spiking Neural Nets with STDP (Spike Time Dependent Plasticity), it is difficult to make use of in Machine Learning algorithms. Human brain is yet to be fully understood, especially how it communicates complex information with spikes. The spike based networks are good in performing relatively small image recognition and low complexity tasks (Most papers seem to be more concerned about improving the performance rather than apply to highly complex tasks). Due to the sheer number of transistors available we might be able to make use of it in complex tasks.

The best example would be Google is using this idea of low precision in TPU's and compensating precision, by using huge number of processing units which is causing some kind of trade-off between time,precision and area. This can be analogous to huge number of transistors in a processor albeit with low precision. (An in-depth look at Google’s first Tensor Processing Unit (TPU))

NOTE: Some might argue CMOS technology falls under digital domain, but since we are not specifically using CMOS here to perform any digital operation I like to think of it as analog.

Spike based tasks are apparently quite good for Winner Take All networks (kind of like Self Organising Maps), so it is the general way of implementing Machine Learning Algorithms in VLSI chips.

Spike based networks do not have ideal memory, you cannot have high precision weights. They have proposed to implement biological weights or synapses or memory using capacitors, but apparently it faces problems similar to normal silicon chips, like charge leakage and also from other Silicon based non-idealities and from what I understood, they also can model limited weights (like -1, 0, 1).

Digital Computation:

Herein, comes digital computation. Tasks that require a high amount of floating point representation cannot simply be implemented by spikes, since we don't yet to know or even able to completely mimic the biophysical or any aspects of a true neuron for that matter. Digital computation simply helps in conveying more information as well with as much precision as we like (if we design such a CPU). Even though bottlenecks are a known drawback of Von Neumann architecture for digital computation it is not as much of a problem as information representation via spikes. Spikes always have a fixed magnitude, the only way it probably conveys information is by its frequency and sign (excitatory or inhibitory). Also clock speeds are pretty high in modern computers.

Memristors: A new direction

Herein comes the most recent invention, the Memristor. This by far has been the most promising analog device in Machine Learning. Memristors are a very new concept predicted in 70's and produced only in 2008.Basically, they are RRAM's or Resisitive RAM's. In this the resistance of the Memory Resistor or Memristor is directly related to the past current history which is very similar to biophysical models of neuron. They can also be trained easily using crossbar arrays (basically matrix of electrical contacts) of memristors (crossbar arrays will represent weight matrices, the voltage applied along rows or along columns determine forward propagation or backward propagation).

Thus Memristor gives a real analog spin to Machine Learning algorithms. Unfortunately, due to its recent arrival there are a lot of problems which are yet to be resolved.

Memristors can degrade quite quickly, that is they have limited training cycles.
Memristors introduce a lot of noise, which apparently does not help in the cause of regularisation as a ML engineer might think.
Exotic elements required to make it ( $TiO_2$ and $HfO_2$ ) the users for Memristors in academic circles are very limited. But a few labs working on this area are:

Nano-electronics Research Laboratory, Purdue University

Electrochemical Materials, ETH Zurich

Human Brain Project

The MARCS Institute for Brain, Behaviour and Development

Neuromorphic Photonics:

Recently, there has been an interest in the field of Neuromorphic photonics. Here is a short article on the same. I am not familiar with the internal workings of the same, but AFAIK it involves the transmission of information in optical form within the processing chip itself. This leads to some of advantages over normal analog or digital circuits:

Faster information processing.
Higher information density.
Better data fidelity due to very less losses.

— DuttaA
स्रोत

Side note: Some of my observations are fact based while some are purely from memory, so I might be wrong (since I am a beginner in this field). Feel free to point out mistakes.

— DuttaA

2

I believe that most people have pretty much answered the question diligently in a really informative way. I would just like to say that we use digital circuits commonly because that is the existing technology and that definitely analog circuits seem really promising.

However, at this moment, this idea is not very well-developed despite the amount of research done in the past years. No company so far, has tried to implement the idea at a commercial level where they are making such chips for use outside their labs.

Besides, this idea feels like a new approach and has a great potential.

But, with our lack of understanding about how some models work, some just don't for a problem; how neural networks really solve such complex problems and many other things.Therefore, it is still quite a distant technology to reach its full potential.

PS I'm still a beginner in this field and think that my opinion does not count so, if I was redundant anywhere or failed to give you the expected answer then, I sincerely regret it.

— user79161
स्रोत

This answer shows thought. It is true too that existing technology does not show as much progress with programmable analog VLSI as digital. ... What is unknown is the result of U.S. Navy and DARPA analog control R&D that has been amply funded for decades. Only initial documents have been declassified. ICBM and countermeasure technology may all be analog intelligence circuits in the 100 GHz range. Or not. ... Your writing was neither redundant nor naive. Surely, in the open source, these technologies are just starting to be seen. Good answer. Feel free to leave it as is or develop it further.

— FauChristian

2

One can also approach the question from the information theory aspect:

There are two trade/offs to choose from:

Analog information that may represent information in a more precise/specific way, but limited in quantity.

Digital information that doesn't fully represent the real world, but may contain unlimited amount of information within a few bits. A good example could be something like a incrementing for loop:

i = 0
while True:
   print(i)
   i += 1

Which one is more powerful then?

— Aleksei Maide
स्रोत

That is generally true. Think about what that means to learning in the context of AI. We have simulated various kinds of learning in machines via rules systems with meta rules, artificial networks, extensions to Markov chain, fuzzy logic and a wide variety of other techniques and architectures. When learning occurs, there is some sort of optimal behavior that the learning attempts to acquire. How can analog or digital systems converge on or track (in real time) to that optimal behavior, and which has a long term advantage?

— FauChristian

1

Hava Siegelmann

On the first look Analog computing is superior to digital one. Quantum computers are faster than Von-Neumann computers and neuromorphic chips need less energy than Intel CPUs. Also from a theoretic point of view many speaks for analog computers. Hava Siegelmann has researched the Super-turing capability of neural network, which means that an analog computer can emulate a digital one but not the other way around. So why should we not using analog computing?

Stephen Wolfram

The reason has to do with the education system. Classical mathematics which is teached in schools is analog mathematics. It is based on slide rules, logarithm table and the thinking in circuits. In contrast, thinking in discrete values of an algorithm and describe the world in zero and ones is fundamental different and leads us to a new kind of mathematics. Stephen Wolfram has explained, that the understanding of cellular automatons is an important step to describe the universe and he is right. Ignoring analog mathematics and preferring turing capable computer languages is a powerful method in education. It helps not only to become familiar with computers but with all the other things like medicine, literature and economy too. Even if analog machines are technical superior we should prefer slow but discrete Turing-machines, especially these one which implements AI-related algorithms.

Teaching mathematics

To understand the difference between digital and analog computation we must focus on the mathematics itself which is utilized in schools. If the idea is to push analog computation forward, the appropriate kind of mathematics is grouped around electrical fields, integration and differentiation. In schools this is teached under the umbrella term “Mathematical analysis”. This topic was very important in the past, because analysis helps to build bridges, machines and cars. In all of these domains vector algebra for describing geometric space is used.

If analog computation is so powerful, why does anybody need digital mathematics? It has to do with algorithm. What planimeter and differential analyzer doesn't have to offer are programming capabilities. It is not possible to define algorithms and artificial languages. A look into the history of mathematics shows, that algorithm-theory was not very common in the past. In modern mathematics it is discussed under the term Lambda calculus and Halting problem.

The funny thing is, that on the first look Lamda calculus has no practical applications. It is not needed if somebody want's to calculate the area of a bridge. Algorithm theory is a thought school to improve critical thinking. It is a philosophy needed by humans, not by machines.

— Manuel Rodriguez
स्रोत

Nice that you gave Seigelmann mention. The second paragraph is difficult to follow logically. Certainly education is central to this question, and DNA sequencing and digital imaging have definitely improved medicine. Can you elaborate on how literature has improved? Some would argue that digital computing has worsened the economy volatility, but more central to the bounty requirements, why anyone would prefer slow discrete over fast continuous doesn't follow from Wolfram's statement. There is no reference to the statement either. Can you provide a reference and provide the missing logic?

— FauChristian