कुछ अर्थों में मुझे लगता है कि यह प्रश्न अचूक है। मैं ऐसा इसलिए कहता हूं क्योंकि एक विशेष रूप से अनुपलब्ध विधि कितना अच्छा प्रदर्शन करती है, यह बहुत हद तक इस बात पर निर्भर करता है कि कोई पहली जगह में अप्रशिक्षित शिक्षा क्यों कर रहा है, अर्थात क्या विधि आपके अंतिम लक्ष्य के संदर्भ में अच्छा प्रदर्शन करती है? जाहिर है कि यह पूरी तरह सच नहीं है, लोग इन समस्याओं पर काम करते हैं और उन परिणामों को प्रकाशित करते हैं जिनमें किसी प्रकार का मूल्यांकन शामिल होता है। मैं उन कुछ दृष्टिकोणों की रूपरेखा तैयार करूँगा जिनसे मैं परिचित हूँ।
क्लस्टरिंग के लिए एक अच्छा संसाधन (संदर्भ के साथ) स्केलेरेंस का प्रलेखन पृष्ठ है, क्लस्टरिंग प्रदर्शन मूल्यांकन । यह कई विधि को कवर करता है, लेकिन सभी लेकिन एक, सिल्हूट गुणांक, मानता है कि जमीनी सच्चाई लेबल उपलब्ध हैं। इस विधि का उल्लेख क्लस्टरिंग के मूल्यांकन उपाय में भी किया गया है , इस प्रश्न के लिए टिप्पणियों में जुड़ा हुआ है।
यदि आपकी बिना पढ़ी हुई सीखने की विधि संभाव्य है, तो एक अन्य विकल्प डेटा बाहर आयोजित किए जाने पर कुछ संभाव्यता माप (लॉग-संभावना, गड़बड़ी, आदि) का मूल्यांकन करना है। यहां प्रेरणा यह है कि यदि आपकी अनप्लग्ड लर्निंग विधि समान डेटा के लिए उच्च संभावना प्रदान करती है जो मापदंडों को फिट करने के लिए उपयोग नहीं किया गया था, तो संभवत: इसने ब्याज के वितरण पर कब्जा करने का अच्छा काम किया है। एक डोमेन जहां इस प्रकार के मूल्यांकन का आमतौर पर उपयोग किया जाता है वह है भाषा मॉडलिंग।
अंतिम विकल्प जिसका मैं उल्लेख करूंगा, एक संबंधित सहायक कार्य पर एक पर्यवेक्षित शिक्षार्थी का उपयोग कर रहा है। यदि आप अनुपयोगी विधि अव्यक्त चर उत्पन्न करते हैं, तो आप इन अव्यक्त चर को इनपुट का निरूपण मान सकते हैं। इस प्रकार, इन अव्यक्त चरों का उपयोग करने के लिए समझदारी है क्योंकि डेटा जिस डोमेन से संबंधित है वह कुछ कार्य करने वाले पर्यवेक्षक के लिए इनपुट का उपयोग करता है। पर्यवेक्षित विधि का प्रदर्शन तब अप्रशिक्षित शिक्षार्थी के प्रदर्शन के लिए एक सरोगेट के रूप में काम कर सकता है। यह अनिवार्य रूप से सेटअप है जिसे आप प्रतिनिधित्व सीखने पर अधिकांश काम में देखते हैं।
यह विवरण शायद थोड़ा अस्पष्ट है, इसलिए मैं एक ठोस उदाहरण दूंगा। शब्द प्रतिनिधित्व सीखने पर लगभग सभी कार्य मूल्यांकन के लिए निम्नलिखित दृष्टिकोण का उपयोग करते हैं:
- एक अप्रशिक्षित शिक्षार्थी का उपयोग करके शब्दों का प्रतिनिधित्व जानें।
- वाक् टैगिंग या नामित इकाई पहचान के कुछ हिस्सों की तरह एनएलपी कार्य करने वाले पर्यवेक्षक के लिए इनपुट के रूप में सीखे गए अभ्यावेदन का उपयोग करें।
- इनपुट के रूप में द्विआधारी शब्द उपस्थिति सुविधाओं की तरह, एक मानक प्रतिनिधित्व का उपयोग कर आधार रेखा की तुलना में पर्यवेक्षित शिक्षार्थी के प्रदर्शन में सुधार करने की क्षमता से अप्रशिक्षित शिक्षार्थी के प्रदर्शन का आकलन करें।
एक्शन में इस दृष्टिकोण के एक उदाहरण के लिए डाह एट अल द्वारा वर्ड ऑब्जर्वेशन पर पेपर ट्रेनिंग प्रतिबंधित बोल्ट्जमैन मशीनें देखें ।