क्षमता एक अनौपचारिक शब्द है। यह मॉडल जटिलता के लिए बहुत करीब है (यदि एक पर्यायवाची नहीं है)। यह एक तरीके के बारे में बात करने का तरीका है जो एक पैटर्न या रिश्ते को कितना जटिल बना सकता है। आप उच्च क्षमता वाले मॉडल से कम क्षमता वाले मॉडल की तुलना में अधिक चर के बीच अधिक संबंधों को मॉडल करने में सक्षम होने की उम्मीद कर सकते हैं।
क्षमता की बोलचाल की परिभाषा से एक सादृश्य आरेखण, आप इसे अधिक से अधिक डेटा से सीखने के लिए एक मॉडल की क्षमता के रूप में सोच सकते हैं, जब तक कि यह पूरी तरह से जानकारी से "भरा" न हो।
क्षमता को औपचारिक रूप देने और इसके लिए एक संख्यात्मक मान की गणना करने के विभिन्न तरीके हैं, लेकिन महत्वपूर्ण रूप से ये क्षमता के सिर्फ कुछ संभव "संचालन" हैं (उसी तरह से, अगर कोई सौंदर्य की गणना करने के लिए एक सूत्र के साथ आया है, तो आप महसूस करेंगे कि सूत्र सौंदर्य की केवल एक व्याख्या योग्य व्याख्या है)।
वीसी आयाम क्षमता का एक गणितीय रूप से कठोर सूत्रीकरण है। हालांकि, एक मॉडल के वीसी आयाम और डेटा को फिट करने की मॉडल की वास्तविक क्षमता के बीच एक बड़ा अंतर हो सकता है। भले ही वीसी मंद जानना मॉडल के सामान्यीकरण त्रुटि पर एक बाध्यता देता है, यह आमतौर पर तंत्रिका नेटवर्क के साथ उपयोगी होने के लिए बहुत ढीला है।
अनुसंधान की एक अन्य पंक्ति यह देखने के लिए है कि क्षमता के माप के रूप में एक तंत्रिका नेटवर्क में भार मैट्रिक्स के वर्णक्रमीय मानदंड का उपयोग किया जाए। इसे समझने का एक तरीका यह है कि वर्णक्रमीय मान नेटवर्क के Lipschitz स्थिरांक को बांधता है।
किसी मॉडल की क्षमता का अनुमान लगाने का सबसे आम तरीका मापदंडों की संख्या की गणना करना है। अधिक पैरामीटर, सामान्य रूप से क्षमता जितनी अधिक होगी। बेशक, अक्सर एक छोटा नेटवर्क एक बड़े नेटवर्क की तुलना में अधिक जटिल डेटा को मॉडल करना सीखता है, इसलिए यह उपाय भी एकदम सही है।
क्षमता को मापने का एक और तरीका हो सकता है कि आप अपने मॉडल को यादृच्छिक लेबल ( Neyshabur et। Al ) के साथ प्रशिक्षित कर सकें - यदि आपका नेटवर्क यादृच्छिक लेबल के साथ-साथ इनपुट का एक गुच्छा ठीक से याद रख सकता है, तो यह अनिवार्य रूप से दर्शाता है कि मॉडल में उन सभी को याद रखने की क्षमता है। डेटा व्यक्तिगत रूप से इंगित करता है। अधिक इनपुट / आउटपुट जोड़े जो "सीखा" जा सकता है, उच्च क्षमता।
ऑटो-एनकोडर में इसे अपनाने से, आप यादृच्छिक इनपुट उत्पन्न कर सकते हैं, नेटवर्क को फिर से संगठित करने के लिए प्रशिक्षित कर सकते हैं, और फिर गणना कर सकते हैं कि कितने यादृच्छिक इनपुट आप सफलतापूर्वक कम से कम त्रुटि के साथ पुन: निर्मित कर सकते हैं ।ε