regularization पर टैग किए गए जवाब

एक अतिरिक्त अवरोध के साथ रिज प्रतिगमन पर विचार करें, जिसमें आवश्यक है कि में यूनिट योग है वर्गों (समकक्ष, इकाई विचरण); यदि आवश्यक हो, तो कोई मान सकता है कि पास इकाई राशि का योग है:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

मान लीजिए, मैं कुछ उच्च-नियमित डेटा से बड़ी संख्या में मापदंडों का अनुमान लगाने की कोशिश कर रहा हूं, कुछ प्रकार के नियमित अनुमानों का उपयोग कर रहा हूं। नियमितकर्ता कुछ पूर्वाग्रह को अनुमानों में पेश करता है, लेकिन यह अभी भी एक अच्छा व्यापार-बंद हो सकता है क्योंकि विचरण …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

मैंने समझा है कि रिज रिग्रेशन गुणांक को शून्य ज्यामितीय रूप से कैसे सिकोड़ता है। इसके अलावा मुझे पता है कि विशेष "ऑर्थोनॉमिक केस" में यह कैसे साबित किया जाए, लेकिन मैं भ्रमित हूं कि यह सामान्य मामले में "स्पेक्ट्रल अपघटन" के माध्यम से कैसे काम करता है।

20 regression  multiple-regression  regularization  ridge-regression  svd 

मेरे पास सांख्यिकीय सीखने के एल्गोरिथ्म को चलाने से पहले सुविधा चयन विधियों (रैंडम फ़ॉरेस्ट्स फ़ीचर महत्व मान या Univariate सुविधा चयन विधियों आदि) का उपयोग करने की आवश्यकता के संबंध में एक प्रश्न है। हम जानते हैं कि ओवरफिटिंग से बचने के लिए हम वेट वैक्टर पर रेगुलराइजेशन पेनल्टी …

20 regression  machine-learning  feature-selection  lasso  regularization 

मैं डिग्री 2 के बहुपद कर्नेल के साथ C-SVC मोड में libsvm का उपयोग कर रहा हूं और मुझे कई एसवीएम को प्रशिक्षित करने की आवश्यकता है। प्रत्येक प्रशिक्षण सेट में 10 सुविधाएँ और 5000 वैक्टर हैं। प्रशिक्षण के दौरान, मुझे अधिकांश SVM के लिए यह चेतावनी मिल रही है …

20 machine-learning  cross-validation  svm  regularization  libsvm 

प्रतिगमन में नियमितीकरण (लीनियर, लॉजिस्टिक ...) ओवर-फिटिंग को कम करने का सबसे लोकप्रिय तरीका है। जब लक्ष्य भविष्यवाणी सटीकता (व्याख्या नहीं) है, तो क्या नियमितीकरण के लिए कोई अच्छा विकल्प हैं, विशेष रूप से बड़े डेटा-सेट (मील / अरबों टिप्पणियों और लाखों विशेषताओं) के लिए उपयुक्त हैं?

19 regression  regularization  overfitting 

क्या नियमितीकरण मददगार हो सकता है यदि हम मॉडल के मापदंडों का केवल अनुमान लगाने (और व्याख्या) में रुचि रखते हैं, पूर्वानुमान या भविष्यवाणी में नहीं? मैं देखता हूं कि यदि आपका लक्ष्य नए डेटा पर अच्छे पूर्वानुमान लगाना है, तो नियमितीकरण / क्रॉस-वैरिफिकेशन कितना उपयोगी है। लेकिन क्या होगा …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

मुझे याद है कि वेब पर कहीं भी रिज रिग्रेशन ( नियमितीकरण के साथ) और PCA रिग्रेशन के बीच एक कनेक्शन पढ़ा गया है : हाइपरपरमीटर साथ -इग्रेटेड रिग्रेशन का उपयोग करते समय , यदि , तो प्रतिगमन हटाने के बराबर है सबसे छोटे eigenvalue के साथ पीसी चर।ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to …

19 regression  pca  regularization  ridge-regression 

यह सर्वविदित है कि दंड के साथ रैखिक प्रतिगमन सह-गुणकों पर पूर्व में गाऊसी द्वारा दिए गए एमएपी अनुमान को खोजने के बराबर है। इसी तरह, एल 1 दंड का उपयोग करना पूर्व के रूप में लाप्लास वितरण का उपयोग करने के बराबर है।l2l2l^2l1l1l^1 और एल 2 नियमितीकरण के कुछ …

18 regression  bayesian  regularization  prior  elastic-net 

यदि आपके पास ड्रॉपआउट की व्याख्या करने के लिए आधा पृष्ठ है , तो आप कैसे आगे बढ़ेंगे? इस तकनीक के पीछे तर्क क्या है?

17 neural-networks  deep-learning  regularization  dropout 

बिशप की पुस्तक "पैटर्न वर्गीकरण और मशीन लर्निंग" में, यह तंत्रिका नेटवर्क के संदर्भ में नियमितीकरण के लिए एक तकनीक का वर्णन करता है। हालाँकि, मुझे यह बताने में कोई पैराग्राफ समझ में नहीं आता है कि प्रशिक्षण प्रक्रिया के दौरान, मॉडल जटिलता के साथ-साथ स्वतंत्रता की डिग्री की संख्या …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

इस पोस्ट के लिए एक टिप्पणी में रॉबी मैककिलियम कहते हैं : यह ध्यान दिया जाना चाहिए कि, आवृत्ति के दृष्टिकोण से, ऐसा कोई कारण नहीं है कि आप पूर्व ज्ञान को मॉडल में शामिल नहीं कर सकते हैं। इस अर्थ में, अक्सर देखने वाला दृष्टिकोण सरल होता है, आपके …

17 bayesian  prior  regularization  frequentist 

मेरे पास 150 विशेषताओं का एक सेट है, और उनमें से कई एक-दूसरे के साथ अत्यधिक सहसंबद्ध हैं। मेरा लक्ष्य एक असतत चर के मूल्य का अनुमान लगाना है, जिसकी सीमा 1-8 है । मेरे नमूने का आकार 550 है , और मैं 10-गुना क्रॉस-सत्यापन का उपयोग कर रहा हूं …

17 regression  lasso  regularization  ridge-regression  elastic-net 

यदि हम डेटा सेट से शुरू करते हैं , तो इसके लिए Lasso को लागू करें और β L का समाधान प्राप्त करें , हम Lasso को फिर से डेटा सेट ( X S , Y ) पर लागू कर सकते हैं , जहां S , गैर-शून्य का सेट है …

16 regression  optimization  lasso  regularization  shrinkage 

लासो या रिज रिग्रेशन में, एक संकोचन पैरामीटर को निर्दिष्ट करना होता है, जिसे अक्सर या द्वारा कहा जाता है । यह मान अक्सर क्रॉस सत्यापन के माध्यम से चुना जाता है प्रशिक्षण डेटा पर विभिन्न मूल्यों का एक गुच्छा की जाँच करके और देखने के लिए कि परीक्षण डेटा …

16 regression  lasso  regularization  ridge-regression  penalized