मॉडल हाइपरपरमेटर्स और मॉडल मापदंडों के बीच अंतर क्या है?

Question

मैंने देखा है कि मॉडल हाइपरपरमीटर और मॉडल पैरामीटर जैसे शब्दों को पूर्व स्पष्टीकरण के बिना वेब पर परस्पर उपयोग किया गया है। मुझे लगता है कि यह गलत है और स्पष्टीकरण की आवश्यकता है। एक मशीन लर्निंग मॉडल पर विचार करें, एक एसवीएम / एनएन / एनबी आधारित क्लासिसिपेटर या छवि पहचानकर्ता, बस कुछ भी जो पहले मन में झरता हो।

मॉडल के हाइपरपैरामीटर और पैरामीटर क्या हैं ?
कृपया अपने उदाहरण दें।

Comments

एंड्रयू एनजी मापदंडों और हाइपरपरमेटर्स के बीच अंतर को विस्तृत करता है। coursera.org/learn/neural-networks-deep-learning/lecture/TBvb5/…

— शेखर

Answer 1

हाइपरपैरमीटर और मापदंडों का उपयोग अक्सर परस्पर विनिमय किया जाता है लेकिन उनके बीच अंतर होता है। यदि आप सीधे अनुमानक के भीतर सीखे नहीं जा सकते हैं तो आप कुछ 'हाइपरपैरमीटर' कहते हैं। हालांकि, 'पैरामीटर' अधिक सामान्य शब्द है। जब आप कहते हैं कि 'मॉडल के मापदंडों को पार कर रहे हैं', तो इसका मतलब आम तौर पर कुछ अन्य मापदंडों के साथ हाइपरपरमेटर्स का संयोजन होता है जो सीधे आपके अनुमानक से संबंधित नहीं होते हैं लेकिन आपके मॉडल के लिए आवश्यक होते हैं।

उदाहरण के लिए, मान लें कि आपके एसवीएम क्लासिफायर को स्केलेर में बना रहे हैं:

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]
clf = svm.SVC(C =0.01, kernel ='rbf', random_state=33)
clf.fit(X, y) 

उपरोक्त कोड में SVM का एक उदाहरण आपके मॉडल के लिए आपका अनुमानक है, जिसके लिए हाइपरपरमेटर्स, इस मामले में, हैं Cऔर kernel। लेकिन आपके मॉडल में एक और पैरामीटर है जो हाइपरपरमीटर नहीं है और वह है random_state।

Comments

यह उत्तर random_stateएक पैरामीटर है। मुझे लगता है कि यह भ्रामक है, क्योंकि (अन्य उत्तर देखें); एक पैरामीटर मॉडल द्वारा सीखा जाता है , जबकि हाइपरपरमीटर हमारे द्वारा निर्दिष्ट किया जाता है ; पसंद है random_state=33। लेकिन, random_stateकाफी हाइपरपैरमीटर भी नहीं है, क्योंकि इसके लिए कोई सबसे अच्छा मूल्य नहीं है random_state; देख जेसन ब्राउनली चर्चा यहाँ

— लाल मटर

Answer 2

उपरोक्त उत्तर के अलावा।

मॉडल पैरामीटर प्रशिक्षण डेटा के गुण हैं जो कि वर्गीकरण या अन्य एमएल मॉडल द्वारा प्रशिक्षण के दौरान सीखे जाते हैं। उदाहरण के लिए कुछ एनएलपी कार्य के मामले में: शब्द आवृत्ति, वाक्य की लंबाई, संज्ञा या क्रिया का वितरण प्रति वाक्य, विशिष्ट वर्ण n-ग्राम प्रति शब्द, शाब्दिक विविधता, आदि। मॉडल पैरामीटर प्रत्येक प्रयोग के लिए भिन्न होते हैं और प्रकार पर निर्भर करते हैं डेटा और कार्य हाथ में।

दूसरी ओर, मॉडल हाइपरपरमेटर्स समान मॉडल के लिए सामान्य हैं और प्रशिक्षण के दौरान नहीं सीखा जा सकता है, लेकिन पहले से निर्धारित हैं। एनएन के लिए हाइपरपरमेटर्स के एक विशिष्ट सेट में छिपी हुई परतों की संख्या और आकार, वजन आरंभीकरण योजना, सीखने की दर और इसके क्षय, ड्रॉपआउट और ढाल कतरन सीमा आदि शामिल हैं।

Answer 3

हाइपर-पैरामीटर वे हैं जो हम मॉडल को आपूर्ति करते हैं, उदाहरण के लिए: छिपे हुए नोड्स और लेयर्स की संख्या, इनपुट फीचर्स, लर्निंग रेट, न्यूरल नेटवर्क में एक्टिवेशन फंक्शन आदि, जबकि पैरामीटर्स वे हैं जिन्हें मशीन द्वारा सीखा जाएगा जैसे वेट्स और बायसेस ।

Answer 4

मशीन लर्निंग में, पैरामीटर्स और हाइपर-पैरामीटर्स वाला एक मॉडल दिखता है,$M$

$Y \approx M_{\mathcal{H}}(\Phi | D)$

जहां पैरामीटर हैं और H हाइपर-पैरामीटर हैं। D प्रशिक्षण डेटा है और Y आउटपुट डेटा है (वर्गीकरण कार्य के मामले में वर्ग लेबल)।$\Phi$$\mathcal{H}$$D$$Y$

प्रशिक्षण के दौरान उद्देश्य मापदंडों का अनुमान लगाने के लिए है Φ कि अनुकूलन कर कुछ नुकसान समारोह एल हम निर्दिष्ट किया है। चूंकि, मॉडल M और लॉस-फंक्शन L H पर आधारित हैं , इसलिए परिणामी पैरामीटर Φ भी हाइपर-पैरामीटर्स H पर निर्भर हैं ।$\hat{\Phi}$$\mathcal{L}$$M$$\mathcal{L}$$\mathcal{H}$$\Phi$$\mathcal{H}$

$\mathcal{H}$$M$$M_{\mathcal{H}}$

$M_{\mathcal{H}}$$\mathcal{H}$$\hat{\Phi}$$\mathcal{H}$

$Y_{pred}$$\Phi$$\mathcal{H}$

$\Phi = \{\bar{\mu}, \bar{\sigma} \}$$\bar{\mu}$$N$$\bar{\sigma}$$N$$N$

$N$$\mathcal{H} = \{N \}$$N$$D$$N$$N$$\Phi = \{\bar{\mu}, \bar{\sigma}, N \}$

$d$$D$$GMM(\bar{\mu}, \bar{\sigma})$$N$$N$$d$$d$$\mu$$\sigma$$N$

$M$$\mathcal{L}$

Answer 5

सरल शब्दों में,

मॉडल पैरामीटर कुछ ऐसा है जो एक मॉडल अपने आप सीखता है। उदाहरण के लिए, 1) रैखिक प्रतिगमन मॉडल में स्वतंत्र चर के वजन या गुणांक। 2) वजन और स्वतंत्र चर SVM के गुणांक। 3) निर्णय ट्री में विभाजित बिंदु।

मॉडल प्रदर्शन को अनुकूलित करने के लिए मॉडल हाइपर-मापदंडों का उपयोग किया जाता है। उदाहरण के लिए, 1) एसवीएम में कर्नेल और सुस्त। 2) KNN में K का मान। 3) निर्णय वृक्षों में वृक्ष की गहराई।

Comments

जरूरी नहीं कि उनका किसी मॉडल के अनुकूलन से कोई लेना-देना हो। हाइपरपैराम मॉडल निर्माण प्रक्रिया के लिए सिर्फ एक पैरामीटर है।

— सीन ओवेन

Answer 6

मॉडल मापदंडों का अनुमान डेटा से स्वचालित रूप से लगाया जाता है और मॉडल हाइपरपरमेटर्स को मैन्युअल रूप से सेट किया जाता है और मॉडल मापदंडों का अनुमान लगाने में मदद करने के लिए प्रक्रियाओं में उपयोग किया जाता है।

मॉडल हाइपरपरमेटर्स को अक्सर मापदंडों के रूप में संदर्भित किया जाता है क्योंकि वे मशीन सीखने के कुछ भाग हैं जिन्हें मैन्युअल रूप से और ट्यून किया जाना चाहिए।

मूल रूप से, पैरामीटर वे हैं जो "मॉडल" का उपयोग भविष्यवाणियां बनाने के लिए करते हैं। उदाहरण के लिए, रैखिक गुणांक मॉडल में भार गुणांक। Hyperparameters वे हैं जो सीखने की प्रक्रिया में मदद करते हैं। उदाहरण के लिए, के-मीन्स में क्लस्टर्स की संख्या, रिज रिग्रेशन में सिकुड़न कारक। वे अंतिम भविष्यवाणी के टुकड़े में दिखाई नहीं देंगे, लेकिन उनका एक बड़ा प्रभाव है कि सीखने के चरण के बाद पैरामीटर कैसे दिखेंगे।

देखें: https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/