लसो पेनल्टी डबल एक्सपोनेंशियल (लाप्लास) के बराबर क्यों है?

27

मैं अनेक संदर्भ उपस्थित में पढ़ा है कि प्रतिगमन पैरामीटर वेक्टर के लिए कमंद अनुमान $B$ के पीछे मोड के बराबर है $B$ जिसमें प्रत्येक के लिए पूर्व वितरण $B_i$ एक डबल घातीय वितरण (यह भी लाप्लास वितरण के रूप में जाना जाता है) है।

मैं यह साबित करने की कोशिश कर रहा हूं, क्या कोई विवरण दे सकता है?

— Wintermute
स्रोत

@ user777 मैं उस पुस्तक के माध्यम से आज थोड़ी देर के लिए अंगूठा लगा रहा था। कुछ भी प्रासंगिक नहीं मिल सका।

— विंटरम्यूट

3

संबंधित: stats.stackexchange.com/questions/177210/...

— टिम

30

के लिए सादगी देना सिर्फ एक चर के एक भी अवलोकन करने पर विचार कर रहा है $Y$ ऐसी है कि

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ और अनुचित पूर्व $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ ।

तब के संयुक्त घनत्व $Y, \mu, \sigma^2$ है आनुपातिक के लिए

f (Y, μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

लॉग लेना और ऐसे शब्दों को त्यागना जिसमें शामिल नहीं हैं , $\mu$

\log f (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

इस प्रकार (1) की अधिकतम एक एमएपी अनुमान हो सकता है और हम reparametrize के बाद वास्तव में कमंद समस्या है जाएगा । $\tilde \lambda = \lambda \sigma^2$

प्रतिगमन को विस्तार स्पष्ट है - की जगह के साथ सामान्य संभावना में, और सेट पर पहले स्वतंत्र लाप्लास के एक दृश्य होने के लिए वितरण। $\mu$ $X\beta$ $\beta$ $(\lambda)$

— एंड्रयू एम
स्रोत

25

यह उस मात्रा के निरीक्षण से स्पष्ट होता है जिसे LASSO अनुकूलन कर रहा है।

के लिए पहले ले लो मतलब शून्य और कुछ पैमाने के साथ स्वतंत्र लाप्लास होने के लिए । $\beta_i$ $\tau$

तो । $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

डेटा के लिए मॉडल सामान्य प्रतिगमन धारणा है । $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

अब माइनस दो बार पोस्टीरियर का लॉग फॉर्म का है

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

चलो और हम मिल -posterior की $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

के लिए एमएपी आकलनकर्ता ऊपर है, जो कम करता है को कम करता है $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

तो लिए MAP आकलनकर्ता LASSO है। $\beta$

(यहाँ मैं इलाज किया के रूप में प्रभावी रूप से तय हो गई है, लेकिन आप इसके साथ अन्य काम कर सकते हैं और अभी भी बाहर आ रहा LASSO मिलता है।) $\sigma^2$

संपादित करें: यह वही है जो मुझे एक ऑफ लाइन रचना के लिए मिलता है; मैंने देखा कि एंड्रयू द्वारा पहले से ही एक अच्छा जवाब पोस्ट नहीं किया गया था। मेरा वास्तव में कुछ भी नहीं करता है जो पहले से ही नहीं करता है। मैं अब के लिए मेरा छोड़, क्योंकि यह करने के मामले में एक जोड़े को विकास के अधिक विवरण देता हूँ । $\beta$

— Glen_b -Reinstate मोनिका
स्रोत

1

आपके उत्तर और एंड्रयू के अंतर में अंतर प्रतीत होता है। आपका जवाब regularizer का सही रूप है:

, जबकि एंड्रयू है

, जहां रैखिक प्रतिगमन में, हमें

मिलता है ।

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— एलेक्स आर।

2

@AlexR मुझे लगता है कि आप एंड्रयू के उत्तर में μ गलत व्याख्या कर रहे हैं। Μ वहाँ एक से मेल खाती है

केवल एक अवरोध पैदा करने के लिए नहीं के साथ एक प्रतिगमन में

एक बहु प्रतिगमन में; एक ही तर्क बड़े मामले के लिए अनुसरण करता है (मेरे जवाब के साथ समानताएं नोट करें) लेकिन सरल मामले में इसका पालन करना आसान है। एंड्रयू का उत्तर अनिवार्य रूप से सही है, लेकिन सभी बिंदुओं को मूल प्रश्न से नहीं जोड़ता है, जिससे पाठक को भरने के लिए थोड़ी सी राशि मिल जाती है। मुझे लगता है कि हमारे उत्तर सुसंगत हैं (can से संबंधित कुछ मामूली अंतरों के लिए हिसाब लगाया जा सकता है) और वह पूरी तरह से टिक के हकदार थे

β_{0}

$\beta_0$

X β

$X\beta$

— Glen_b -Reinstate Monica