इसलिए मैं सोच रहा था कि उदाहरण के लिए, उच्च पूर्वाग्रह या उच्च विचरण द्वारा प्रस्तुत मुद्दों के साथ सामना करने के लिए वे जिस मॉडल का निर्माण करने की कोशिश कर रहे हैं, उसे सर्वश्रेष्ठ रूप से अनुकूलित कर सकते हैं। अब, बेशक, आप एक संतोषजनक अंत पाने के लिए नियमितीकरण पैरामीटर के साथ खेल सकते हैं, लेकिन मैं सोच रहा था कि क्या नियमितीकरण पर भरोसा किए बिना ऐसा करना संभव है।
यदि b एक मॉडल का पूर्वाग्रह आकलनकर्ता और उसके विचरण का v है, तो क्या यह b * v को कम करने की कोशिश करने का कोई मतलब नहीं होगा?
जवाबों:
बहुत सारे तरीके हैं पूर्वाग्रह और विचरण को कम से कम किया जा सकता है और लोकप्रिय कहने के बावजूद यह हमेशा एक व्यापार नहीं है।
के लिए दो मुख्य कारण उच्च पूर्वाग्रह हैं अपर्याप्त मॉडल क्षमता और underfitting क्योंकि प्रशिक्षण चरण पूरा नहीं हुआ था। उदाहरण के लिए, यदि आपके पास हल करने के लिए एक बहुत ही जटिल समस्या है (जैसे छवि मान्यता) और आप निम्न क्षमता वाले मॉडल (जैसे रैखिक प्रतिगमन) का उपयोग करते हैं, तो इस मॉडल में उच्च पूर्वाग्रह होगा क्योंकि मॉडल की जटिलता को समझने में सक्षम नहीं है समस्या।
उच्च विचरण का मुख्य कारण प्रशिक्षण सेट पर ओवरफिटिंग है ।
कहा जा रहा है कि एक एमएल मॉडल पर पूर्वाग्रह और विचरण दोनों को कम करने के तरीके हैं । उदाहरण के लिए इसे प्राप्त करने का सबसे आसान तरीका अधिक डेटा प्राप्त करना है (कुछ मामलों में सिंथेटिक डेटा सहायता भी)।
हम व्यवहार में क्या करते हैं:
सबसे पहले, हम यथासंभव सेट किए गए प्रशिक्षण पर विचरण को कम करने के लिए मॉडल की क्षमता बढ़ाते हैं। दूसरे शब्दों में, हम मॉडल को ओवरफिट बनाना चाहते हैं (यहां तक कि प्रशिक्षण सेट पर 0 की हानि तक पहुंच सकते हैं)। ऐसा इसलिए किया जाता है क्योंकि हम यह सुनिश्चित करना चाहते हैं कि मॉडल में डेटा को पर्याप्त रूप से समझने की क्षमता हो।
फिर हम पूर्वाग्रह को कम करने की कोशिश करते हैं । यह नियमितीकरण ( प्रारंभिक रोक , मानक दंड , ड्रॉपआउट , आदि) के माध्यम से किया जाता है