1) अधिकांश तंत्रिका नेटवर्क गुणा नहीं कर सकते हैं; वे केवल रकम की गणना कर सकते हैं (जो तब सक्रिय रूप से सक्रिय फ़ंक्शन के माध्यम से खिलाया जाता है )। इसके बजाय उन्हें उन गुणाओं का अनुमान लगाना चाहिए यदि वे महत्वपूर्ण हैं, जिनके लिए बहुत अधिक न्यूरॉन्स की आवश्यकता होती है, खासकर यदि कारक बड़ी श्रेणियों को फैला सकते हैं।
यदि यह पता चलेगा कि घर क्षेत्र वास्तव में एक महत्वपूर्ण विशेषता है, तो आप नेटवर्क प्रदान करेंगे यदि आप इसे क्षेत्र प्रदान करते हैं, क्योंकि यह तब न्यूरॉन्स का उपयोग कर सकता है जो चौड़ाई और लंबाई के गुणन का अनुमान लगाने के लिए आवश्यक होगा। अन्य काम करने के लिए।
इसलिए, बहुपद सुविधाओं सहित कुछ मामलों में नेटवर्क के लिए फायदेमंद हो सकता है, लेकिन अन्य मामलों में कोई महत्वपूर्ण प्रभाव नहीं है। इसके अलावा, बहुपद विशेषताएं केवल एक प्रकार की व्युत्पन्न विशेषताएं हैं जो नेटवर्क के लिए सहायक हो सकती हैं। एक अन्य प्रकार की व्युत्पन्न विशेषता जो सहायक हो सकती है, उदाहरण के लिए इनपुट चर के लघुगणक (माना जाता है कि वे सकारात्मक हैं) जिसे नेटवर्क को भी प्राप्त करने के लिए अनुमान लगाना होगा।
एक विचार यह होगा कि नेटवर्क को केवल परिवर्धन की तुलना में संख्याओं के बीच अधिक संचालन करने की अनुमति दी जाए, ताकि वह खुद को बहुपद सुविधाओं की तरह कुशलतापूर्वक गणना कर सके, लेकिन यह स्पष्ट नहीं है कि यह कैसे काम करेगा। एक आर्किटेक्चर जो दिखता है, वह कुछ ऐसा ही करता है, जो सम-उत्पाद नेटवर्क है ।
2) कम्प्यूटेशनल लागत जो जॉन उल्लेख से छोड़कर, मॉडल है, जो अपरिहार्य होता है जब आप अधिक जानकारी के परिचय, यह भी करने के लिए नेटवर्क के लिए खतरा बढ़ जाता है में पैरामीटर की संख्या में वृद्धि overfit , खासकर यदि आप थोड़ा प्रशिक्षण डेटा है।
हालांकि, यह एक समस्या का बहुत कम में बनाया जा सकता है अगर एक अच्छा नियमितीकरण विधि का उपयोग किया जाता है। (ड्रॉपआउट उस के लिए बहुत अच्छा काम करता है) सैद्धांतिक रूप से, एक अच्छा पर्याप्त नियमितीकरण विधि के साथ, ओवरफिटिंग बिल्कुल भी समस्या नहीं होनी चाहिए। जैसा कि हिंटन बताते हैं, एक मानव के मस्तिष्क में 10 ^ 14 सिनैप्स के क्रम में होता है (तंत्रिका नेटवर्क में कनेक्शन के अनुसार), लेकिन केवल 10 ^ 9 सेकंड के क्रम में रहता है, लेकिन हम अभी भी सक्षम प्रतीत होते हैं काफी अच्छी तरह से। तो स्पष्ट रूप से, कई मापदंडों को रखा जा सकता है जो सही एल्गोरिथ्म के साथ होना चाहिए केवल एक फायदा होगा।