k-NN एक बहुत ही प्रतिबंधात्मक अर्थ में सामान्यीकृत करता है। यह बस चिकनाई पुजारी (या निरंतरता धारणा) का उपयोग करता है। इस धारणा का तात्पर्य है कि फीचर स्पेस में बंद होने वाले पैटर्न सबसे अधिक एक ही वर्ग के हैं। पैटर्न-वितरण में कोई कार्यात्मक नियमितता k-NN द्वारा पुनर्प्राप्त नहीं की जा सकती है।
इस प्रकार, इसके लिए प्रतिनिधि प्रशिक्षण नमूनों की आवश्यकता होती है, जो विशेष रूप से अत्यधिक आयामी स्थानों के मामलों में बहुत बड़े हो सकते हैं। इससे भी बदतर, ये नमूने अनुपलब्ध हो सकते हैं। नतीजतन, यह आक्रमणकारियों को नहीं सीखा सकता है। यदि पैटर्न को उनके लेबल को बदले बिना कुछ परिवर्तनों के अधीन किया जा सकता है, और प्रशिक्षण के नमूने में सभी स्वीकार्य तरीकों से रूपांतरित पैटर्न नहीं हैं, तो k-NN उन रूपांतरित पैटर्न को कभी नहीं पहचान पाएंगे, जो प्रशिक्षण के दौरान प्रस्तुत नहीं किए गए थे। यह सही है, उदाहरण के लिए, स्थानांतरित या घुमाए गए चित्रों के लिए, यदि उन्हें के-एनएन चलाने से पहले कुछ अपरिवर्तनीय रूप में प्रतिनिधित्व नहीं किया जाता है। k-NN अप्रासंगिक सुविधाओं से भी अमूर्त नहीं हो सकता है।
एक और कुछ कृत्रिम उदाहरण निम्नलिखित है। कल्पना कीजिए कि विभिन्न वर्गों से संबंधित पैटर्न समय-समय पर वितरित किए जाते हैं (जैसे साइन के अनुसार - यदि यह 0 से कम है, तो पैटर्न एक वर्ग से संबंधित है, और यह अधिक है, फिर पैटर्न दूसरे वर्ग के हैं)। प्रशिक्षण सेट परिमित है। तो, यह एक परिमित क्षेत्र में स्थित होगा। इस क्षेत्र के बाहर मान्यता त्रुटि 50% होगी। एक आवधिक आधार कार्यों के साथ लॉजिस्टिक प्रतिगमन की कल्पना कर सकता है जो इस मामले में बहुत बेहतर प्रदर्शन करेगा। अन्य तरीके पैटर्न वितरण और अतिरिक्त रूप से अच्छी तरह से अन्य नियमितताओं को सीखने में सक्षम होंगे।
इसलिए, यदि किसी को संदेह है कि उपलब्ध डेटा सेट प्रतिनिधि नहीं है, और पैटर्न के कुछ परिवर्तनों के लिए इनविरेंस प्राप्त किया जाना चाहिए, तो यह मामला है, जिसमें किसी को k-NN से आगे बढ़ना चाहिए।