पाठ वर्गीकरण की समस्याएं काफी उच्च आयामी (कई विशेषताएं) होती हैं, और उच्च आयामी समस्याओं के रैखिक रूप से अलग होने की संभावना होती है (जैसा कि आप किसी भी d + 1 अंक को d- आयामी स्थान में रैखिक रैखिक वर्गीकरण के साथ अलग कर सकते हैं, भले ही अंक कैसे भी हों लेबल हैं)। तो रैखिक वर्गीय, चाहे रिज प्रतिगमन या एक रैखिक कर्नेल के साथ एसवीएम, अच्छी तरह से करने की संभावना है। दोनों मामलों में, SVM के लिए रिज पैरामीटर या C (tdc मेंट 1 के रूप में) क्लासिफायर की जटिलता को नियंत्रित करता है और बड़े मार्जिन द्वारा प्रत्येक वर्ग के पैटर्न को अलग करके ओवर-फिटिंग से बचने में मदद करता है (यानी निर्णय सतह नीचे से गुजरती है बिंदुओं के दो संग्रहों के बीच का अंतर)। हालांकि अच्छा प्रदर्शन प्राप्त करने के लिए रिज / नियमितीकरण मापदंडों को ठीक से ट्यून करने की आवश्यकता है (मैं सस्ते होने के साथ-साथ एक-बाहर क्रॉस-सत्यापन का उपयोग करता हूं)।
हालांकि, रिज प्रतिगमन अच्छी तरह से काम करने का कारण यह है कि गैर-रैखिक तरीके बहुत शक्तिशाली हैं और अति-फिटिंग से बचना मुश्किल है। एक गैर-रैखिक क्लासिफायरियर हो सकता है जो सर्वश्रेष्ठ रैखिक मॉडल की तुलना में बेहतर सामान्यीकरण प्रदर्शन देता है, लेकिन उन मापदंडों का अनुमान लगाना बहुत मुश्किल है जो प्रशिक्षण डेटा के परिमित नमूने का उपयोग करते हैं। व्यवहार में, मॉडल जितना सरल है, मापदंडों का अनुमान लगाने में हमें उतनी ही कम समस्या है, इसलिए अधिक फिट होने की प्रवृत्ति कम है, इसलिए हमें अभ्यास में बेहतर परिणाम मिलते हैं।
एक और मुद्दा सुविधा चयन है, रिज रिग्रेशन उन्हें छोटा रखने के लिए वजन को नियमित करके ओवर-फिटिंग से बचा जाता है, और मॉडल का चयन सीधे आगे होता है क्योंकि आपको केवल एकल प्रतिगमन पैरामीटर का मूल्य चुनना होता है। यदि आप सुविधाओं के इष्टतम सेट को चुनकर ओवर-फिटिंग से बचने की कोशिश करते हैं, तो मॉडल चयन मुश्किल हो जाता है क्योंकि प्रत्येक सुविधा के लिए स्वतंत्रता (सॉर्ट) की एक डिग्री है, जो सुविधा चयन मानदंड को ओवर-फिट करना संभव बनाता है और आप डेटा के इस विशेष नमूने के लिए इष्टतम है कि सुविधाओं के एक सेट के साथ अंत, लेकिन जो खराब सामान्यीकरण प्रदर्शन देता है। इसलिए फीचर का चयन नहीं करना और नियमितीकरण का उपयोग करना अक्सर बेहतर भविष्य कहनेवाला प्रदर्शन दे सकता है।
मैं अक्सर रिज-प्रतिगमन मॉडल के साथ बैगिंग (प्रशिक्षण सेट से बूटस्ट्रैप किए गए नमूनों पर प्रशिक्षित मॉडल की एक समिति बनाता हूं) का उपयोग करता हूं, जो अक्सर प्रदर्शन में सुधार देता है, और सभी मॉडल रैखिक होने के नाते आप उन्हें एक रेखीय मॉडल बनाने के लिए जोड़ सकते हैं , इसलिए ऑपरेशन में कोई प्रदर्शन हिट नहीं है।