Iteratively रिवाइस्टेड लिस्ट स्क्वायर की परिभाषा और अभिसरण

मैं निम्नलिखित फॉर्म के कार्यों को कम से कम करने के लिए पुनरावृत्त कम से कम वर्ग (IRLS) का उपयोग कर रहा हूं,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

जहां $N$ के उदाहरण की संख्या है $x_i \in \mathbb{R}$ , $m \in \mathbb{R}$ मजबूत अनुमान है कि मैं चाहता हूँ है, और $\rho$ एक उपयुक्त मजबूत दंड कार्य है। मान लें कि यह उत्तल है (हालांकि जरूरी नहीं कि सख्ती से) और अभी के लिए अलग हो। इस तरह के एक $\rho$ का एक अच्छा उदाहरण ह्यूबर लॉस फ़ंक्शन है ।

मैं जो कुछ कर रहा हूं , उसे प्राप्त करने के लिए (और जोड़ तोड़) के संबंध में को विभेदित कर रहा हूं , $J(m)$ $m$

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

और iteratively यह सेट करके ऐसा सुलझाने 0 के बराबर और यात्रा पर भार फिक्सिंग $k$ के लिए $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ (ध्यान दें कि कम से कथित व्यक्तित्व $x_i=m{(k)}$ वास्तव में सभी में एक हटाने योग्य व्यक्तित्व है $\rho$ 's मैं के बारे में परवाह सकता है)। फिर मैं प्राप्त करता हूं,

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

और मैं प्राप्त करने के लिए हल, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ ।

मैं इस निश्चित बिंदु एल्गोरिथ्म को "अभिसरण" तक दोहराता हूं। मैं ध्यान दूंगा कि यदि आप एक निश्चित बिंदु पर आते हैं, तो आप इष्टतम हैं, क्योंकि आपका व्युत्पन्न 0 है और यह एक उत्तल कार्य है।

इस प्रक्रिया के बारे में मेरे दो सवाल हैं:

क्या यह मानक IRLS एल्गोरिथ्म है? विषय पर कई पत्र पढ़ने के बाद (और वे बहुत बिखरे हुए थे और IRLS क्या है के बारे में अस्पष्ट) यह एल्गोरिथ्म की सबसे सुसंगत परिभाषा है जो मुझे मिल सकती है। मैं कागजात पोस्ट कर सकते हैं अगर लोग चाहते हैं, लेकिन मैं वास्तव में यहाँ किसी को पूर्वाग्रह नहीं करना चाहता था। बेशक, आप वेक्टर शामिल समस्याओं के कई अन्य प्रकार के लिए इस बुनियादी तकनीक सामान्यीकरण कर सकते हैं की और अन्य की तुलना में तर्क $x_i$ $\left|x_i-m{(k)}\right|$ , तर्क प्रदान करना आपके मापदंडों के एक समृद्ध कार्य का एक मानक है। कोई मदद या अंतर्दृष्टि इस पर बहुत अच्छा होगा।
अभिसरण अभ्यास में काम करने लगता है, लेकिन मुझे इसके बारे में कुछ चिंताएं हैं। मुझे इसका प्रमाण देखना बाकी है। कुछ सरल मतलाब सिमुलेशन के बाद मैं देखता हूं कि इसमें से एक पुनरावृत्ति एक संकुचन मानचित्रण नहीं है (मैंने और कंप्यूटिंग के दो यादृच्छिक उदाहरण उत्पन्न किए हैं $m$ और देखा कि यह कभी-कभार 1 से अधिक है)। इसके अलावा लगातार कई पुनरावृत्तियों द्वारा परिभाषित मानचित्रण कड़ाई से संकुचन मानचित्रण नहीं है, लेकिन लिप्साचिट्ज़ निरंतर 1 से ऊपर होने की संभावना बहुत कम हो जाती है। तो क्यासंभावना में संकुचन मानचित्रणकी धारणा है? मैं यह साबित करने के लिए किस मशीनरी का उपयोग करूंगा? क्या यह भी एकाग्र होता है? $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$

सभी में कोई भी मार्गदर्शन सहायक है।

संपादित करें: मुझे Daubechies et al द्वारा विरल रिकवरी / कंप्रेसिव सेंसिंग के लिए IRLS पर पेपर पसंद है। 2008 में "Iteratively री-वेटेड लीस्ट स्क्वेयर मिनरलाइज़ेशन फॉर स्पार्स रिकवरी" अर्क्सिव। लेकिन यह ज्यादातर गैर-समस्याओं के लिए वजन पर ध्यान केंद्रित करने के लिए लगता है। मेरा मामला काफी सरल है।

— क्रिस ए।
स्रोत

पर विकि पृष्ठ को देखते हुए IRWLS प्रक्रिया आपके द्वारा बताई गई और IRWLS के बीच अंतर करने के लिए मैं संघर्ष (वे सिर्फ का उपयोग

उनके विशेष

फ़ंक्शन के रूप में)। क्या आप बता सकते हैं कि आपको क्या लगता है कि आपके द्वारा प्रस्तावित एल्गोरिथ्मIRWLS सेअलगहै?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— user603

मैंने कभी नहीं कहा कि यह अलग था, और अगर मैंने इसे निहित किया, तो मेरा मतलब यह नहीं था।

— क्रिस ए।

आपके पहले प्रश्न के लिए, किसी को "मानक" को परिभाषित करना चाहिए, या स्वीकार करना चाहिए कि "विहित मॉडल" को धीरे-धीरे स्थापित किया गया है। इंगित की गई टिप्पणी के रूप में, यह कम से कम दिखाई देता है कि आप जिस तरह से IRWLS का उपयोग करते हैं वह मानक है।

आपके दूसरे प्रश्न के लिए, "पुनरावृत्ति मानचित्रण संभावना में" (हालांकि अनौपचारिक रूप से) "पुनरावर्ती स्टोचस्टिक एल्गोरिदम" के अभिसरण से जोड़ा जा सकता है। मैंने जो पढ़ा है, उसमें मुख्यतः इंजीनियरिंग में इस विषय पर बहुत बड़ा साहित्य है। अर्थशास्त्र में, हम इसका एक छोटा सा उपयोग करते हैं, विशेष रूप से लेन्नेर्ट लजुंग के सेमिनल कार्य-पहला पेपर लजुंग (1977) था - जिसमें दिखाया गया था कि एक पुनरावर्ती स्टोचस्टिक एल्गोरिथ्म का अभिसरण (या नहीं) स्थिरता द्वारा निर्धारित किया जा सकता है (या संबंधित सामान्य अंतर समीकरण का नहीं)।

(टिप्पणियों में ओपी के साथ एक सार्थक चर्चा के बाद क्या फिर से काम किया गया है)

कन्वर्जेंस

मैं रेफरेंस सेबर एलायडी "एन इंट्रोडक्शन टू डिफरेंश इक्वेशन", 2005, 3 डी एड के रूप में उपयोग करूंगा। इसलिए विश्लेषण, कुछ दिए गए डेटा नमूना पर सशर्त है इलाज कर रहे हैं तय है। $x's$

उद्देश्य समारोह के न्यूनीकरण के लिए पहले क्रम हालत, में एक पुनरावर्ती समारोह के रूप में देखा , $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

एक निश्चित बिंदु है (उद्देश्य फ़ंक्शन का तर्क)। एलेडी के थियोरम 1.13 पीपी 27-28 के द्वारा, यदि आरएचएस के के संबंध में पहला व्युत्पन्न , निर्धारित बिंदु पर मूल्यांकन किया गया है , तो इसे निरूपित करें , निरपेक्ष मान में एकता से छोटा है , तो है asymptotically स्थिर (के रूप में)। थ्योरम 4.3 p.179 से अधिक हमारे पास यह है कि इसका अर्थ यह भी है कि निश्चित बिंदु समान रूप से (यूएएस) है। "एसिम्पोटॉटिक रूप से स्थिर" का अर्थ है कि निश्चित बिंदु के आसपास मूल्यों की कुछ सीमा के लिए, एक पड़ोस $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
, जरूरी आकार में छोटे नहीं, तय हैआकर्षकहै, और यदि ऐसा है तो एल्गोरिथ्म इस पड़ोस में मान देता है, यह अभिसरण होगा। संपत्ति "वर्दी" होने का मतलब है कि इस पड़ोस की सीमा, और इसलिए इसका आकार, एल्गोरिथ्म के प्रारंभिक मूल्य से स्वतंत्र है। निश्चित बिंदु हो जाता हैविश्व स्तर परयूएएस, यदि । तो हमारे मामले में, अगर हम यह साबित करते हैं $(m^* \pm \gamma)$ $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

हमने यूएएस संपत्ति साबित की है, लेकिन वैश्विक अभिसरण के बिना। फिर हम या तो यह स्थापित करने की कोशिश कर सकते हैं कि आकर्षण का पड़ोस वास्तव में पूरे विस्तारित वास्तविक संख्याएं हैं, या, कि विशिष्ट प्रारंभिक मूल्य ओपी का उपयोग करता है जैसा कि टिप्पणियों में उल्लेख किया गया है (और यह IRLS पद्धति में मानक है), अर्थात नमूना मतलब की की, , हमेशा तय बिंदु के आकर्षण का पड़ोस के अंतर्गत आता है। $x$ $\bar x$

हम गणना व्युत्पन्न

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

and

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

we have

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Inserting this into $[3]$ we have

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

This is the condition that must be satisfied for the fixed point to be UAS. Since in our case the penalty function is convex, the sums involved are positive. So condition $[4]$ is equivalent to

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

If $\rho(|x_i-m|)$ is Hubert's loss function, then we have a quadratic ( $q$ ) and a linear ( $l$ ) branch,

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

and

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Since we do not know how many of the $|x_i-m^*|$ 's place us in the quadratic branch and how many in the linear, we decompose condition $[5]$ as ( $N_q + N_l = N$ )

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

which holds. So for the Huber loss function the fixed point of the algorithm is uniformly asymptotically stable, irrespective of the $x$ 's. We note that the first derivative is smaller than unity in absolute value for any $m$ , not just the fixed point.

What we should do now is either prove that the UAS property is also global, or that, if $m(0) = \bar x$ then $m(0)$ belongs to the neighborhood of attraction of $m^*$ .

— Alecos Papadopoulos
स्रोत

Thanks for the response. Give me some time to analyze this answer.

— Chris A.

Certainly. After all, the question waited 20 months.

— Alecos Papadopoulos

Yeah, I was reminded of the problem and decided to put up a bounty. :)

— Chris A.

Lucky me. I wasn't there 20 months ago - I would have taken up this question, bounty or not.

— Alecos Papadopoulos

Thanks so much for this response. It's looking like, so far, that you've earned the bounty. BTW, your indexing on the derivative of

v_{i}

$v_i$ w.r.t

m

$m$ is notationally weird. Couldn't the summations on the second line of this use another variable, such as

j

$j$ ?

— Chris A.