द्विघात प्रोग्रामिंग और लासो

मैं एक लासो प्रतिगमन करने की कोशिश कर रहा हूं, जिसके निम्नलिखित रूप हैं:

कम से कम में $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

एक को देखते हुए , मुझे द्विघात प्रोग्रामिंग की मदद से इष्टतम खोजने की सलाह दी गई थी , जो निम्न रूप लेता है: $\lambda$ $w$

को में कम से कम , अधीन करें $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

अब मुझे एहसास हुआ कि टर्म को constraint शब्द में बदलना चाहिए , जो कि सीधा है। हालाँकि, मैं किसी भी तरह से यह नहीं देखता कि मैं पहले समीकरण के पहले शब्द को दूसरे के पहले कार्यकाल में कैसे स्थानांतरित कर सकता हूँ। मैं नेट पर इसके बारे में ज्यादा नहीं जान सका, इसलिए मैंने यहां पूछने का फैसला किया। $\lambda$ $Ax \le b$

regression lasso quadratic-form

— spurra
स्रोत

जवाबों:

यह ध्यान में रखते हुए कि हम मानक रूप में ' ' चर के रूप में साथ काम कर रहे हैं , विस्तार और में शब्दों को एकत्रित करें और और , और स्थिरांक में। $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

समझाएं कि आप स्थिरांक को अनदेखा क्यों कर सकते हैं।

समझाएं कि आप और शब्दों को क्यों जोड़ सकते हैं । $w'$ $w$

जैसा कि BananaCode ने अब तक पथ के साथ कुछ अग्रणी के साथ सोचा है, आप या तो और लिख सकते हैं या अधिक बस, आप बस और ( बाद से और में किसी भी लिए एक ही argmin है । $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b -Reinstate मोनिका
स्रोत

स्थिरांक को अनदेखा किया जा सकता है, क्योंकि यदि x_ f (x) के लिए न्यूनतम है, तो x_ + c न्यूनतम f (x) + c है, इसलिए हम निरंतर c को अनदेखा कर सकते हैं। मैं अपने प्रश्न को यह दिखाने के लिए संपादित करूंगा कि मैं कहां फंस गया हूं।

— १२:१४

BananaCode आपकी व्याख्या में कई दोष हैं। द्वारा यदि "करने के लिए कम से कम है

" क्या आपका मतलब "में जो तर्क है

कम से कम है", आप कहते हैं की तरह कुछ "

है

की

"। लेकिन आपका निष्कर्ष गलत है। आप जोड़ देते हैं तो

के लिए

, आप न जोड़ें

argmin करने के लिए।

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -Reinstate Monica

देखो, जहां मैंने लिखा

मेरे उत्तर में

? क्या हैकुछतुम अब के बीच है

और

अपने प्रश्न के तल पर ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -Reinstate मोनिका

हाँ, मैं मतलब

है

के

। क्या आप एक उदाहरण दे सकते हैं जहां मेरा निष्कर्ष गलत है?

है

मैट्रिक्स मैं फार्म के लिए कोशिश कर रहा हूँ। अगर मैं विस्तार

मैं

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

। पहले भाग के रूप का प्रतिनिधित्व करते हैं

मैट्रिक्स, फिर भी मैं दूसरे कार्यकाल से छुटकारा नहीं मिल सकता है

।

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— २२

@ AD.Net बाधाएं अधिकतर अन्य उत्तर में शामिल हैं।

— Glen_b -Reinstate मोनिका

मैं बाधाओं बदलने का समाधान करने के लिए कैसे जोड़ना चाहते थे , द्विघात प्रोग्रामिंग के लिए एक प्रयोग करने योग्य प्रपत्र में के रूप में यह काफी सरल नहीं के रूप में के रूप में मैंने सोचा था कि है। यह एक वास्तविक मैट्रिक्स को खोजने के लिए संभव नहीं है ऐसी है कि । $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

दृष्टिकोण मैं इस्तेमाल किया तत्वों विभाजित करने के लिए था वेक्टर के में और , ताकि । अगर , आप और , और आप और $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ । या अधिक गणितीय शब्दों में, $w_i^+ = 0$ और $w_i^+ = \frac{|w_i| + w_i}{2}$ दोनों और गैर नकारात्मक संख्या हैं। संख्याओं को विभाजित करने के पीछे विचार यह है कि अब आपके पास है , प्रभावी रूप से पूर्ण मूल्यों से छुटकारा पा रहा है। $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$

अनुकूलन करने का कार्य में बदल जाता है, के अधीन $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

जहां और को Glen_b द्वारा ऊपर दिया गया है $Q$ $c$

इसे एक प्रयोग करने योग्य रूप में बदलने की आवश्यकता है, अर्थात हमें एक वेक्टर की आवश्यकता है। यह निम्नलिखित तरीके से किया जाता है:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

का विषय है

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

कहाँ है आयामी इकाई मैट्रिक्स, एक आयामी वेक्टर केवल मूल्य से मिलकर और एक आयामी शून्य वेक्टर। पहली छमाही सुनिश्चित करता है , दूसरी अब इसे खोजने के लिए द्विघात प्रोग्रामिंग का उपयोग करने के लिए एक प्रयोग करने योग्य रूप में है $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ और , यह देखते हुए । एक बार यह हो जाता है, के संबंध में अपने इष्टतम पैरामीटर है । $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

स्रोत और आगे पढ़ने: पूर्ण मूल्यों वाले रैखिक बाधाओं के साथ द्विघात प्रोग्रामिंग समस्या का समाधान

— spurra
स्रोत

मान लीजिए कि हमने एक इष्टतम

-डायमेंशनल वेक्टर

। क्या सुनिश्चित करता है कि

और

वास्तव में कुछ वेक्टर

के सकारात्मक भाग और नकारात्मक भाग हैं , अर्थात उनकी

प्रविष्टि स्थिति से मेल खाती हैं?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— मैथ

अंतिम अभिव्यक्ति में मैट्रिक्स और वेक्टर अधिक सरल हो सकता है, और वास्तव में अधिक सही हो सकता है। इसके बजाय [Id Id] [w + w−] 'could Sd आप बस [1 1 .... 1] [w + w-]' 's डाल सकते हैं। यह वस्तुतः ∑ | wi के बराबर है = = (Wi + + wi−) i s।

— मार्को