क्या तंत्रिका नेटवर्क से भुलक्कड़ होने का खतरा है?

Question

कल्पना कीजिए कि आप एक तंत्रिका नेटवर्क को 100 बार एक शेर की तस्वीर दिखाते हैं और "खतरनाक" के साथ लेबल करते हैं, इसलिए यह सीखता है कि शेर खतरनाक हैं।

अब कल्पना कीजिए कि पहले आपने इसे शेरों की लाखों छवियों को दिखाया है और वैकल्पिक रूप से इसे "खतरनाक" और "खतरनाक नहीं" के रूप में लेबल किया है, जैसे कि शेर के खतरनाक होने की संभावना 50% है।

लेकिन उन पिछले 100 बार ने शेर के बारे में "खतरनाक" के रूप में तंत्रिका नेटवर्क को बहुत सकारात्मक होने पर धकेल दिया है, इस प्रकार पिछले मिलियन सबक को अनदेखा कर रहा है।

इसलिए, ऐसा लगता है कि तंत्रिका नेटवर्क में एक दोष है, जिसमें वे हाल के साक्ष्यों के आधार पर अपने दिमाग को बहुत जल्दी बदल सकते हैं। खासकर अगर वह पिछला साक्ष्य बीच में था।

क्या एक तंत्रिका नेटवर्क मॉडल है जो इस बात का ट्रैक रखता है कि उसने कितने साक्ष्य देखे हैं? (या यह सीखने की दर को से कम करने के बराबर होगा जहां परीक्षण की संख्या है?)$1/T$$T$

Comments

मैं पर्यवेक्षित सीखने के बारे में बात कर रहा हूँ जहाँ उपयोगकर्ता बताता है कि NN शेर खतरनाक है।

— ज़ोबी

यह किन्नर लोगों के साथ भी होता है। यह वास्तव में डरावना है कि कोई "अनजान" कितना आसान हो सकता है कि कोई चीज बिना परिणाम के कई बार करने के बाद खतरनाक होती है, जो कि आपके द्वारा AI के साथ वर्णित परिदृश्य के बराबर है।

— टॉम जटो

बहुत व्यापक के रूप में चिह्नित किया गया। यह तरीका इस बात पर भी निर्भर करता है कि नेटवर्क द्वारा कौन सी मान्यता प्राप्त तकनीकों का उपयोग किया जा रहा है। जाहिर है, निश्चित रूप से, कुछ मामलों में नेटवर्क "भूल" जाएगा, लेकिन अन्य मामलों में यह अभ्यस्त नहीं होगा। यह बहुत स्पष्ट होना चाहिए कि इस प्रश्न का कोई भी उत्तर "यह निर्भर करता है" के साथ शुरू और समाप्त होना चाहिए।

— 8protons

निष्पक्ष होने के लिए, यह उन में से एक है "अपने जहर उठाओ" प्रकार के सौदे। एक एनएन जो ऐतिहासिक लोगों के हाल के अनुभवों का पक्षधर है, अतीत की अनदेखी करने के लिए प्रवण है, लेकिन यह हाल के घटनाक्रमों का जवाब देने में सक्षम है। उदाहरण के लिए, मान लें कि सभी शेर अचानक रात को मैनकिलर हो जाते हैं, तो आपका एनएन जो हाल के अनुभवों का पक्षधर है, वह नए खतरे को उठाने में बहुत तेज होगा, जैसा कि धीमी एनएन के खिलाफ है जो आधारभूत रूप से कहता है "शेर हमेशा अतीत में खतरनाक नहीं थे, मैं यह निष्कर्ष निकालो कि कुछ भी नया नहीं हो रहा है "जब तक शेर 100% खतरनाक हो जाते हैं, जब तक आप चाहें (और बाद में कई मानव मौतें)

— Flater

इसके अलावा, AGI में प्रासंगिक त्रुटि भार होगी - दो त्रुटियां परिणाम में समान रूप से खराब नहीं होती हैं।

— MSALERS

Answer 1

हां, वास्तव में, तंत्रिका नेटवर्क बहुत भयावह भूल (या हस्तक्षेप) के लिए प्रवण हैं । वर्तमान में, इस समस्या को अक्सर नजरअंदाज कर दिया जाता है क्योंकि तंत्रिका नेटवर्क को मुख्य रूप से ऑफ़लाइन (कभी-कभी बैच प्रशिक्षण कहा जाता है ), जहां यह समस्या अक्सर उत्पन्न नहीं होती है, और ऑनलाइन या वृद्धिशील रूप से नहीं होती है , जो कृत्रिम सामान्य बुद्धि के विकास के लिए मौलिक है ।

कुछ लोग हैं जो तंत्रिका नेटवर्क में निरंतर आजीवन सीखने पर काम करते हैं , जो तंत्रिका नेटवर्क को नित्य आजीवन सीखने के लिए अनुकूलित करने का प्रयास करते हैं, जो एक मॉडल की लगातार डेटा की एक धारा से सीखने की क्षमता है, ताकि वे पूरी तरह से पहले अधिग्रहित न हों नई जानकारी सीखने के दौरान ज्ञान। उदाहरण के लिए, तंत्रिका नेटवर्क के साथ सतत सतत आजीवन सीखने वाला पेपर : जर्मन आई। पेरिसी, रोनाल्ड केम्कर, जोस एल। पार्ट, क्रिस्टोफर कानन, स्टीफन वर्मर द्वारा एक समीक्षा (2019), जो समस्याओं और आपदाओं से संबंधित मौजूदा समाधानों का सारांश प्रस्तुत करती है। तंत्रिका नेटवर्क को भूल जाना।

Comments

धन्यवाद! मेरे पास आपके द्वारा सुझाए गए कागज़ का एक पाठ होगा।

— ज़ूबी

क्या माइक्रोसॉफ्ट के "टीए" चैटबोट के कुख्यात भ्रष्टाचार भयावह भूल का एक उदाहरण था?

— कोई यू

@TKK मुझे लगता है कि यह वेबसाइट पर एक अच्छा नया प्रश्न होगा!

— 20

@TKK क्या आप इसे पूछने जा रहे हैं ? यदि नहीं, तो क्या कोई और ऐसा कर सकता है? मैं वास्तव में उत्तर जानना चाहता हूं।

— wizzwizz4

मुझे पूरा यकीन है कि यह वाक्यांश "कुछ लोग हैं जो तंत्रिका नेटवर्क में निरंतर आजीवन सीखने पर काम करते हैं, जो तंत्रिका नेटवर्क के लिए तंत्रिका नेटवर्क को अनुकूलित करने का प्रयास करता है" एक तंत्रिका नेटवर्क द्वारा लिखा गया था।

— मोयली

Answer 2

हां, पुराने प्रशिक्षण के उदाहरणों को भूलने की समस्या तंत्रिका नेटवर्क की एक विशेषता है। मैं इसे "दोष" नहीं कहूंगा, क्योंकि यह उन्हें अधिक अनुकूली बनाने में मदद करता है और दिलचस्प अनुप्रयोगों जैसे हस्तांतरण सीखने की अनुमति देता है (यदि एक नेटवर्क ने पुराने प्रशिक्षण को अच्छी तरह से याद किया, तो नए डेटा के लिए इसे ठीक करना अर्थहीन होगा)।

अभ्यास में आप जो करना चाहते हैं वह खतरनाक और खतरनाक नहीं के लिए प्रशिक्षण के उदाहरणों को मिलाना है ताकि यह शुरुआत में एक श्रेणी न देखे और अंत में एक।

एक मानक प्रशिक्षण प्रक्रिया इस तरह काम करेगी:

for e in epochs:
    shuffle dataset
    for x_batch, y_batch in dataset:
        train neural_network on x_batxh, y_batch

ध्यान दें कि प्रत्येक युग में फेरबदल की गारंटी है कि नेटवर्क एक ही प्रशिक्षण के उदाहरणों को उसी क्रम में नहीं देखेगा जो प्रत्येक युग में है और कक्षाएं मिश्रित होंगी।

अब आपके प्रश्न का उत्तर देने के लिए, हाँ, सीखने की दर कम होने से नेटवर्क को अपने पिछले प्रशिक्षण को भूलने का खतरा होगा, लेकिन यह एक गैर-ऑनलाइन सेटिंग में कैसे काम करेगा? एक नेटवर्क को अभिसरण करने के लिए कई बार प्रशिक्षण की आवश्यकता होती है (यानी कई बार डेटासेट में प्रत्येक नमूने को देखकर)।

Answer 3

क्या आप ध्वनियों का वर्णन कर रहे हैं जैसे कि यह ठीक-ट्यूनिंग का एक जानबूझकर मामला हो सकता है ।

एक मौलिक धारणा है जो सीखने की समस्याओं के लिए मिनीबैच ग्रेडिएंट डिसेंट काम करती है: यह माना जाता है कि किसी भी बैच या लगातार बैचों की अस्थायी खिड़की वास्तविक वैश्विक का एक अच्छा सन्निकटन बनाती हैमॉडल के किसी भी मानकीकरण के संबंध में त्रुटि समारोह की ढाल। यदि त्रुटि सतह स्वयं एक बड़े तरीके से आगे बढ़ रही है, जो कि ढाल वंश के उद्देश्यों को विफल कर देगी - चूंकि ढाल वंश एक स्थानीय शोधन एल्गोरिथ्म है, जब आप अचानक अंतर्निहित वितरण को बदलते हैं तो सभी दांव बंद हो जाते हैं। आपके द्वारा उद्धृत उदाहरण में, भयावह विस्मरण ऐसा लगता है कि यह पहले देखे गए "भूल गए" डेटा बिंदुओं के बाद का प्रभाव होगा, और या तो वितरण का एक लक्षण है, या कुछ महत्वपूर्ण घटना के डेटा में अंडर-प्रतिनिधित्व है। , ऐसा है कि इसके महत्व के सापेक्ष शायद ही कभी देखा जाता है।

सुदृढीकरण सीखने से पुन: अनुभव एक प्रासंगिक अवधारणा है जो इस डोमेन में अच्छी तरह से स्थानांतरित होती है। यहाँ एक पेपर है जो इस अवधारणा को भयावह भूल के संबंध में बताता है। जब तक नमूना सही ग्रेडिएंट्स का पर्याप्त रूप से प्रतिनिधित्व करता है (इसके लिए प्रशिक्षण संतुलन को देखें) और मॉडल में पर्याप्त पैरामीटर हैं, तो भयावह भूलने की समस्या होने की संभावना नहीं है। प्रतिस्थापन के साथ बेतरतीब ढंग से फेरबदल करने वाले डेटासेट में, यह सबसे अधिक होने की संभावना है जहां एक विशेष वर्ग के डेटा पॉइंट इतने दुर्लभ होते हैं कि उन्हें प्रशिक्षण के दौरान लंबे समय तक शामिल किए जाने की संभावना नहीं होती है, प्रभावी रूप से मॉडल को एक अलग समस्या तक ठीक कर लेते हैं जब तक कि एक मिलान नमूना नहीं। फिर से देखा जाता है।

Answer 4

आपके प्रश्न का उत्तर देने के लिए मैं कहूंगा: शायद सिद्धांत रूप में, लेकिन व्यवहार में नहीं।

---

समस्या यह है कि आप केवल एक कालानुक्रमिक / अनुक्रमिक प्रशिक्षण पर विचार करते हैं।

केवल एक बार मैंने ऐसी क्रमिक प्रशिक्षण पद्धति का उपयोग किया है जिसे ऑनलाइन-प्रशिक्षण या ऑनलाइन मशीन लर्निंग कहा जाता है । यह woppal wabbit पुस्तकालय का उपयोग कर रहा था । यह इस पुस्तकालय की एक विशेषता है (जैसा कि आप समझते हैं कि कोई समस्या नहीं) इसके साथ खिलाए गए इनपुट के लिए कालानुक्रमिक रूप से अनुकूलित करने के लिए।

मैं जोर देता हूं : उस लाइब्रेरी वोपल वैबिट के मामले में, यह कालानुक्रमिक रूप से अनुकूलित करने की एक विशेषता है। यह चाहता है कि जब आप केवल उसे बताना शुरू करें कि शेर खतरनाक हैं, तो यह परिणामी रूप से स्वीकार करता है।

---

लेकिन पाठ्यक्रम अभ्यास से अन्य सभी मामलों में , प्रतियोगिताओं को टालने के लिए, मैंने प्रशिक्षण सेट के रूप में अपने इनपुट डेटा के यादृच्छिक उपसमूह का उपयोग किया है। और यह वास्तव में महत्वपूर्ण है :

यह मशीन लर्निंग का एक महत्वपूर्ण हिस्सा है जिसे क्रॉस वैलिडेशन कहा जाता है । यह अनुमान लगाने का तरीका है कि वास्तव में प्रशिक्षित न्यूरल नेटवर्क कितना अच्छा है।

इसलिए अपने तंत्रिका नेटवर्क की वैधता का एक अच्छा अनुमान है कि आप अपने प्रशिक्षण डेटा का एक यादृच्छिक सबसेट लेते हैं , संक्षेप में, आप प्रशिक्षण के लिए 80% डेटा की तरह कुछ लेते हैं, और शेष 20% के साथ आप कितनी बार मूल्यांकन करते हैं? प्रशिक्षित न्यूरल नेटवर्क अच्छी भविष्यवाणी देता है।

ओवरफिटिंग (जो एक और चिंता का विषय है) का पता लगाने की आवश्यकता के कारण, कोई भी बिना क्रॉस वैलिडेशन के दूर नहीं जा सकता है।

यह आपको एक संभावित सैद्धांतिक समस्या की तरह लग सकता है, लेकिन मैं यह कहना चाहता हूं कि वर्तमान क्रॉस सत्यापन विधियां आपके चिंता को अप्रासंगिक बना देती हैं।