तंत्रिका नेटवर्क की जटिलता को मापने के लिए वीसी-आयाम के विकल्प क्या हैं?

Question

मैं तंत्रिका नेटवर्क की जटिलता को मापने के लिए कुछ बुनियादी तरीकों से आया हूं:

• भोले और अनौपचारिक: न्यूरॉन्स, छिपे हुए न्यूरॉन्स, परतों या छिपी हुई परतों की संख्या की गणना करें
• वीसी-आयाम (एडुआर्डो डी। सोंटेग [1998] "तंत्रिका नेटवर्क का वीसी आयाम" [ पीडीएफ ])।
• समकक्ष$TC^0_d$ एक पाठ्यक्रम दानेदार और कम्प्यूटेशनल जटिलता को ।

क्या अन्य विकल्प हैं?

इसे पसंद किया जाता है:

• यदि एक ही पैमाने पर जटिलता मीट्रिक का उपयोग विभिन्न प्रतिमानों से तंत्रिका नेटवर्क को मापने के लिए किया जा सकता है (एक ही पैमाने पर बैकप्रॉप, डायनामिक्स न्यूरल नेट, कैस्केड सहसंबंध, आदि) को मापने के लिए। उदाहरण के लिए, वीसी-आयाम का उपयोग विभिन्न प्रकार के नेटवर्क (या तंत्रिका नेटवर्क के अलावा अन्य चीजों) के लिए भी किया जा सकता है, जबकि न्यूरॉन्स की संख्या केवल बहुत विशिष्ट मॉडलों के बीच उपयोगी होती है जहां सक्रियण फ़ंक्शन, सिग्नल (मूल sums बनाम स्पाइक्स), और अन्य नेटवर्क के गुण समान हैं।
• यदि यह नेटवर्क द्वारा सीखे जाने वाले कार्यों की जटिलता के मानक उपायों के लिए अच्छा पत्राचार करता है
• यदि विशिष्ट नेटवर्क पर मीट्रिक की गणना आसानी से की जाती है (यह अंतिम नहीं होना चाहिए, हालांकि।)

टिप्पणियाँ

यह प्रश्न CogSci.SE पर एक अधिक सामान्य प्रश्न पर आधारित है।

Comments

क्या जटिलता सीखने के एल्गोरिथ्म पर भी निर्भर नहीं होनी चाहिए? वीसी आयाम आमतौर पर उत्तल हानि कार्यों के साथ तरीकों पर लागू होता है। यदि आपके पास एक गैर-उत्तल हानि है, तो आप उस स्थिति में पहुंच सकते हैं जहां आप मॉडल कुछ बिंदुओं को अलग करने में सक्षम होंगे, लेकिन आप एल्गोरिथ्म सीख रहे हैं यह समाधान कभी नहीं मिलेगा। मुझे लगता है कि नेटवर्क की संरचना का उपयोग करते हुए सीमाएं होना काफी कठिन होना चाहिए। मैं @ के साथ सहमत हूं कि सामान्यीकरण त्रुटि जाने का रास्ता है। सांख्यिकीय शिक्षा सिद्धांत पर वाप्निक का पेपर उस बारे में सीखना शुरू करने के लिए एक अच्छी जगह हो सकती है।

— एंड्रियास म्यूलर

Answer 1

आप कागज़ पर एक नज़र डालना चाह सकते हैं "(नहीं) जॉन लैंगफोर्ड और रिच कारुआना (एनआईपीएस, 2001) द्वारा ट्रू एरर का बन्धन

सार बताता है:

हम पीएसी-बेयस सीमा पर आधारित एक निरंतर मूल्यवान क्लासिफायरियर की वास्तविक त्रुटि दर को सीमित करने के लिए एक नया दृष्टिकोण प्रस्तुत करते हैं। विधि पहले क्लासिफायर पर एक वितरण का निर्माण करती है, यह निर्धारित करके कि मॉडल में प्रत्येक पैरामीटर कितना संवेदनशील है। संवेदनशीलता विश्लेषण के साथ स्टोकेस्टिक क्लासिफायर की सही त्रुटि दर तब पीएसी-बेयर बाउंड का उपयोग करके कसकर बंधी हो सकती है। इस पत्र में हम कृत्रिम तंत्रिका नेटवर्क पर विधि का प्रदर्शन करते हैं जिसमें परिमाण में सुधार के 2 3 क्रम के परिणाम हैं। सबसे अच्छा नियतात्मक तंत्रिका शुद्ध सीमा बनाम।

वे बताते हैं कि आप स्टोकेस्टिक न्यूरल नेटवर्क के लिए पीएसी-बेयस स्टाइल सीमा लागू कर सकते हैं। हालाँकि विश्लेषण केवल 2-लेयर फीड-फॉरवर्ड न्यूरल नेटवर्क पर सिग्मायोडल ट्रांसफर फ़ंक्शन के साथ लागू होता है। इस मामले में जटिलता शब्द केवल नोड्स की संख्या और वज़न के विचरण पर निर्भर करता है। वे बताते हैं कि इस सेटिंग के लिए बाध्य प्रभावी रूप से भविष्यवाणी करता है जब ओवर-ट्रेनिंग होगी। दुर्भाग्य से यह वास्तव में आपके "पसंदीदा" गुणों में से कोई भी हिट नहीं करता है!

Comments

+1 जो शांत दिखता है - धन्यवाद, मैं एक नज़र डालूंगा। लेकिन मैं मानता हूं कि यह किसी भी पसंदीदा गुण के लायक नहीं है और पहली बार में यह वास्तव में नेटवर्क की जटिलता को मापता नहीं है जितना कि इसका प्रदर्शन ... लेकिन मुझे लगता है कि वे अविभाज्य हैं।

— Artem Kaznatcheev

यह सामान्यीकरण त्रुटि क्या है । जो सीमाएं बनाई जाती हैं, उनमें आमतौर पर एक शब्द होता है जो प्रशिक्षण त्रुटि पर आधारित होता है, और मॉडल की जटिलता के आधार पर एक दंड शब्द। आप जिस चीज में रुचि रखते हैं, वह जटिलता शब्द है, लेकिन यह लगभग हर सीमा में एक घटक होगा। यह वीडियो मुझे जितना अच्छा है उससे बेहतर समझाता है!

— tdc

लगता है कि यह दिशा सही नहीं है। त्रुटि नेटवर्क जटिलता से बहुत अलग है। यद्यपि मौजूदा सिद्धांत दोनों को धुंधला कर सकता है। एक साधारण उदाहरण ओवरफिटिंग है जहां त्रुटि कम है लेकिन जटिलता अधिक है। इसके अलावा, त्रुटि काउंटरिन्टिव तरीके wrt जटिलता में व्यवहार कर सकती है। जैसे पूर्वाग्रह। ऐसा लगता है जैसे एक छोटा नेटवर्क त्रुटि को कम कर सकता है। वगैरह

@vzn लेकिन सामान्यीकरण त्रुटि भविष्य के डेटा पर त्रुटि है - अर्थात यदि आपके पास कम प्रशिक्षण त्रुटि और उच्च जटिलता है, तो आपकी त्रुटि बाध्य ढीली होगी।

— टीडीसी

Answer 2

इसके अलावा, आपको प्रोफेसर पीटर बार्टलेट द्वारा किए गए वसा-चकनाचूर आयाम कार्य में भी रुचि हो सकती है। यहाँ 1998 के IEEE पेपर में तंत्रिका नेटवर्क जटिलता के विश्लेषण का परिचय दिया गया है: तंत्रिका नेटवर्क के साथ पैटर्न वर्गीकरण का नमूना जटिलता: वजन का आकार नेटवर्क के आकार से अधिक महत्वपूर्ण है (बार्टलेट 1998) http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]