मैट्रिक्स की कमी के साथ रैखिक प्रोग्रामिंग

अवलोकन

आप मल्टीप्लायरों की वैकल्पिक दिशा विधि (ADMM) के एक संस्करण का प्रयास करना चाह सकते हैं , जो कि लसो प्रकार की समस्याओं के लिए आश्चर्यजनक रूप से जल्दी से परिवर्तित करने के लिए पाया गया है। रणनीति एक संवर्धित Lagrangian के साथ समस्या को तैयार करना है और फिर दोहरी समस्या पर क्रमिक चढ़ाई करना है। यह इस विशेष नियमित समस्या के लिए विशेष रूप से अच्छा है क्योंकि विधि के प्रत्येक पुनरावृत्ति के निरर्थक भाग का एक सटीक समाधान है आप बस तत्व द्वारा तत्व का मूल्यांकन कर सकते हैं, जबकि चिकनी भाग में एक रैखिक प्रणाली को हल करना शामिल है। $l_1$ $l^1$

इस पोस्ट में हम

अपनी समस्या के सामान्यीकरण के लिए एक समग्र ADMM सूत्र तैयार करें,
प्रत्येक ADMM पुनरावृत्ति के लिए उपप्रक्रमों को प्राप्त करें और उन्हें अपनी स्थिति में विशेषज्ञता दें, और फिर
परिणामी रैखिक प्रणाली की जांच करें जिसे प्रत्येक पुनरावृत्ति को हल करने की आवश्यकता है, और और लिए ईजेनवल्यू डीकंपोजिशन (या निम्न रैंक सन्निकटन) को प्रीकोम्प्यूट करने के आधार पर एक तेज सॉल्वर (या प्रीकॉन्डिशनर) विकसित करना होगा । $M^TM$ $YY^T$
कुछ समापन टिप्पणियों के साथ संक्षेप में प्रस्तुत करें

यहाँ अधिकांश बड़े विचारों को निम्नलिखित शानदार समीक्षा पत्र में शामिल किया गया है,

बॉयड, स्टीफन, एट अल। "मल्टीप्लायरों की वैकल्पिक दिशा विधि के माध्यम से वितरित अनुकूलन और सांख्यिकीय शिक्षा।" मशीन लर्निंग 3.1 (2011) में नींव और रुझान®: 1-122। http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

विवरण में जाने से पहले, मैं यह नोट करना चाहता हूं कि यह एक विधि / एल्गोरिथ्म का उत्तर है, व्यावहारिक मौजूदा कोड का जवाब नहीं है - यदि आप इस पद्धति का उपयोग करना चाहते हैं, तो आपको अपना स्वयं का कार्यान्वयन रोल करना होगा।

एडीएमएम का गठन

सामान्य तौर पर, मान लीजिए कि आप को हल करना चाहते हैं

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

मूल पद में समस्या उपयुक्त वैश्वीकरण के बाद इस श्रेणी में आती है। (यह केवल सिद्धांत में है - हम देखेंगे कि वैश्वीकरण को अभ्यास करने की आवश्यकता नहीं है)

आप इसके बजाय समतुल्य समस्या को हल कर सकते हैं, जिसके पास लैग्रेंजियन है _

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

मल्टीप्लायरों की वैकल्पिक दिशा विधि दोहरी समस्या को हल करती है, दोहरे चर पर ढाल चढ़ाई के माध्यम से, को छोड़कर दोहरी उपप्रक्रमों पर सटीक वैकल्पिक अनुमान। यानी, एक व्यक्ति पुनरावृत्ति

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

पैरामीटर और (ऊपर बताए गए बॉयड और पारिख पेपर में समझाया गया ) पर कुछ हल्के स्थितियों के तहत , एडीएमएम विधि सही समाधान में परिवर्तित हो जाएगी। अभिसरण दर रैखिक है, क्योंकि यह मूल में एक ढाल चढ़ाई विधि है। अक्सर इसे 1 के द्वारा सुपरलाइनर होने के लिए तेज किया जा सकता है) हेस्टरिस्टिक्स या 2 पर आधारित के रूप में आप Nesterov त्वरण का उपयोग करते हुए पैरामीटर और को बदलते हैं । पेनल्टी पैरामीटर्स बदलने पर नोट्स के लिए, बॉयड सर्वे पेपर देखें, और ADMM के साथ नेस्टरोव त्वरण का उपयोग करने के लिए निम्न पेपर देखें, $\alpha$ $\beta$ $\alpha$ $\beta$

गोल्डस्टीन, टॉम, ब्रेंडन ओ'डोनग्यू और साइमन सेज़र। "तेजी से वैकल्पिक दिशा अनुकूलन के तरीके।" सीएएम रिपोर्ट (2012): 12-35। ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

हालाँकि, भले ही समग्र अभिसरण दर केवल रैखिक है, समस्याओं के लिए विधि को बहुत तेज़ी से स्पार्सिटी पैटर्न खोजने के लिए देखा गया है, और फिर सटीक मानों पर और अधिक धीरे-धीरे परिवर्तित करें। चूँकि स्पार्सिटी पैटर्न सबसे कठिन हिस्सा है, इसलिए यह बहुत भाग्यशाली है! वर्तमान शोध का एक क्षेत्र क्यों लगता है सटीक कारण। सभी देखते हैं कि स्पर्सिटी पैटर्न तेजी से परिवर्तित होता है, लेकिन किसी को भी यह पता नहीं लगता है कि ऐसा क्यों होता है। कुछ समय पहले मैंने बॉयड और पारिख से इस बारे में ईमेल पर पूछा था और पारिख ने सोचा कि इसे एक नियंत्रण प्रणाली के संदर्भ में विधि की व्याख्या करके समझाया जा सकता है। घटना का एक और अनुमानवादी विवरण निम्नलिखित पेपर के परिशिष्ट में मिलता है, $l^1$

गोल्डस्टीन, टॉम और स्टेनली ऑशर। "एल 1-नियमित समस्याओं के लिए विभाजित ब्रैगमैन विधि।" एसआईएएम जर्नल पर इमेजिंग साइन्स 2.2 (2009): 323-343। ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

बेशक अब कठिनाई और अद्यतन को हल करने में निहित है आपकी विशिष्ट स्थिति के लिए उपप्रोमा। चूंकि लैग्रेंजियन में द्विघात है , इसलिए अपडेट सबप्रॉब्लम को बस एक लीनियर सिस्टम को हल करने की आवश्यकता होती है। subproblem कठिन लगता है, क्योंकि यह nondifferentiable है, लेकिन यह पता चला है कि समाधान तत्व द्वारा लागू तत्व हो सकता है के लिए एक सटीक फार्मूला है कि वहाँ! अब हम इन उपप्रकारों पर अधिक विस्तार से चर्चा करते हैं और उन्हें मूल पोस्ट में समस्या के लिए निर्दिष्ट करते हैं। $x$ $z$ $z$ $z$ $x$

अपडेट सबप्रॉब्लम (लीनियर सिस्टम) के लिए सेटअप $z$

के लिए अद्यतन, हम $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

आपकी समस्या के लिए विशिष्ट यह बन जाता है,

\begin{aligned} {a r g m i n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

कहाँ फ़्रोब (एलिमेंटवाइज़ ) मान को दर्शाता है। यह एक द्विघात न्यूनता समस्या है, जहां और संबंध में उद्देश्य के आंशिक व्युत्पत्ति लेने और उन्हें शून्य पर सेट करने से पहले क्रम की इष्टतमता की स्थिति पाई जा सकती है। यह है, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

जैसा कि मूल पोस्टर जस्टिन सोलोमन द्वारा टिप्पणियों में उल्लेख किया गया है लिए यह प्रणाली सममित है इसलिए संयुग्म ढाल एक आदर्श मैट्रिक्स-मुक्त विधि है। एक बाद के खंड में इस प्रणाली और इसे कैसे हल किया जाए / इस पर अधिक विस्तार से चर्चा की गई है। $Z_J,Z_B$

सुलझाने अद्यतन subproblem (विश्लेषणात्मक थ्रेशोल्डिंग समाधान) $x$

अब हम , $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {a r g m i n}_{x} \sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

देखने वाली पहली बात यह है कि योग को तत्व से विभाजित किया जा सकता है,

\sum_{i} | x_{i} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \sum_{i} | x_{i} | + \frac{α}{2} \sum_{i} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

इसलिए हम अनुकूलन समस्या तत्व को समानांतर में तत्व द्वारा हल कर सकते हैं,

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

इस समीकरण का सामान्य रूप है,

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

निरपेक्ष मान फ़ंक्शन इष्टतम बिंदु को ओर खींचने का प्रयास कर रहा है , जबकि द्विघात शब्द इष्टतम बिंदु को ओर खींचने का प्रयास कर रहा है । सच्चे समाधान इसलिए कहीं खंड पर स्थित है में वृद्धि के साथ दोनों के बीच, रखरखाव की ओर इष्टतम बिंदु खींचने के लिए , और कम हो रही की ओर इष्टतम बिंदु खींच । $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

यह एक उत्तल कार्य है लेकिन यह शून्य पर भिन्न नहीं है। एक न्यूनतम बिंदु के लिए शर्त यह है कि उस बिंदु पर उद्देश्य का उपश्रेणी शून्य होता है। द्विघात शब्द में व्युत्पन्न , और पूर्ण मान फ़ंक्शन में लिए व्युत्पन्न , अंतराल के रूप में सेट-वैल्यूड सबरेटिव जब , और व्युत्पन्न से । इस प्रकार हम समग्र उद्देश्य समारोह के लिए उपश्रेणी प्राप्त करते हैं, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

इस से हम देखते हैं कि कम से उद्देश्य की subderivative शामिल यदि और केवल यदि , जिस स्थिति में न्यूनतम है। दूसरी ओर, यदि मिनिमाइज़र नहीं है, तो हम शून्य के बराबर एकल-मूल्यवान व्युत्पन्न सेट कर सकते हैं और न्यूनतम के लिए हल कर सकते हैं। इस पैदावार को करने से, $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

इस समस्या के लिए फिर से परिणाम प्राप्त करें जिससे हम मूल प्रश्न में हल करने का प्रयास कर रहे हैं जहां yields, लिए अपडेट बस $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

जैसा कि टिप्पणी में मूल पोस्टर जस्टिन सोलोमन ने नोट किया है। कुल मिलाकर, लिए अपडेट करने के लिए बस आपके मैट्रिसेस की प्रविष्टियों के माध्यम से लूपिंग की आवश्यकता है और प्रत्येक प्रविष्टि के लिए उपरोक्त सूत्रों का मूल्यांकन करना है। $J,B$

सिस्टम के लिए Schur पूरक $Z_J,Z_B$

पुनरावृत्ति का सबसे महंगा चरण प्रणाली को हल कर रहा है,

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

यह अंत करने के लिए, इस प्रणाली के लिए एक अच्छा सॉल्वर / प्रीकॉन्डिशनर बनाने के लिए कुछ प्रयास के लायक है। इस खंड में हम ऐसा करते हुए वेक्टरिंग करते हैं , शूर पूरक बनाते हैं , कुछ क्रनोकेर उत्पाद जोड़तोड़ करते हैं और फिर अनावरण करते हैं। परिणामस्वरूप शूर पूरक प्रणाली थोड़ा संशोधित सिल्वेस्टर समीकरण है ।

वेक्टराइजेशन और क्रोनकर उत्पादों के बारे में निम्नलिखित पहचान निम्नलिखित हैं:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ , और
$(A \otimes B)^T = A^T \otimes B^T$ ।

जब भी मैट्रिक्स का आकार और औंधाता ऐसी होती हैं, तो ये पहचान होती है कि समीकरण का प्रत्येक पक्ष एक मान्य अभिव्यक्ति है।

सिस्टम का रूप है,

(α I + β [\begin{matrix} I \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes I \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

या,

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α I + β Y Y^{T}) \otimes I \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

जहाँ और दाहिने हाथ की ओर संकेतन संकेतन हैं। अब हम क्रोनर उत्पादों को संघनित करने की प्रक्रिया में मैट्रिक्स के निचले बाएँ ब्लॉक को खत्म करने के लिए ब्लॉक-गॉसियन-एलिमिनेशन / शूर पूरक करते हैं। यह, $F$ $G$

[\begin{matrix} I \otimes (α I + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} \end{matrix}] \dots \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G) - β Y \otimes M (α I + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

अनावरण करते हुए, हमें अनुक्रम में हल करने वाले दो समीकरण हैं,

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

शू, पूरक प्रणाली का समाधान जब चौकोर होता है, उच्च रैंक होता है $Y,M$

इस खंड में हम (समीकरण 1. ऊपर) के लिए शूर पूरक प्रणाली को हल करते हैं , जिसमें मेट्रिसेस के फुल एसवीडी का उपयोग करके और सिल्वेस्टर के लिए बार्टल्स-स्टैवर्ट एल्गोरिथ्म का संशोधित संस्करण लागू करते हैं। समीकरण। एल्गोरिथ्म को दूसरे शब्द पर अतिरिक्त लिए मानक संस्करण से थोड़ा संशोधित किया गया है , जो इसे सिल्वेस्टर समीकरण नहीं बनाता है। एक बार को पहले समीकरण के माध्यम से पाया जाता है, को दूसरे समीकरण से आसानी से पाया जा सकता है। दूसरा समीकरण आपके द्वारा पसंद की गई किसी भी विधि के माध्यम से हल करने के लिए तुच्छ है। $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

इस विधि को ADMM प्रक्रिया शुरू होने से पहले दो पूर्ण SVDs पूर्वगामी लागत की आवश्यकता होती है, लेकिन फिर वास्तविक ADMM पुनरावृत्तियों में लागू करने के लिए तेज़ है। चूंकि विधि बाधा मैट्रिक्स के पूर्ण एसवीडी से संबंधित है, इसलिए यह उपयुक्त है जब वे वर्ग और उच्च रैंक के करीब हों। कम रैंक एसवीडी का उपयोग करके एक अधिक जटिल तरीका भी संभव है, लेकिन बाद के अनुभाग में प्रस्तुत किया गया है।

विधि इस प्रकार विकसित होती है। बता दें कि पूर्ववर्ती पूर्ण एकवचन मूल्य विघटन को निरूपित करता है, और को होने के लिए दाईं ओर ले जाता है । तो पहले समीकरण बन जाता है, गुणा ऑर्थोगोनल कारकों द्वारा बाएं और दाएं को खाली करने और एक नया अस्थायी अज्ञात , यह आगे बन जाता है,

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

अब हम विकर्ण प्रणाली को हल करके पा सकते हैं , $A$

((α I + D) \otimes I + D \otimes β Σ (α I + Σ)^{- 1} Σ) v e c (A) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

पाने के बाद , हम गणना , और जानकर हम लिए ऊपर दिए गए दूसरे समीकरण को हल करते हैं , जो कि तुच्छ है क्योंकि हमारे पास लिए पहले से ही अपघटन है । $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

अग्रिम लागत और दो सममित सकारात्मक निश्चित ईजेनवल्यू डिकम्पोजिशन की गणना कर रहा है , और फिर एक पूर्ण समाधान के लिए लागत-प्रति-पुनरावृत्ति मुट्ठी भर मैट्रिक्स-मैट्रिक्स गुणा पर हावी है, जो उसी क्रम पर है 1 CG उप-विभाजन करने के रूप में परिमाण। यदि अपफ्रंट ईगेंवल्यू डीकंपोजिशन बहुत महंगा है, तो उन्हें उदाहरण के लिए, लैंक्ज़ोस पुनरावृत्ति को जल्दी से समाप्त करने और सबसे बड़े ईजेनवेक्टर को रखने के द्वारा, सटीक रूप से गणना की जा सकती है । फिर विधि को एक प्रत्यक्ष सॉल्वर के बजाय सीजी के लिए एक अच्छा पूर्व शर्त के रूप में इस्तेमाल किया जा सकता है। $M^TM$ $YY^T$

समाधान विधि जब बहुत आयताकार होते हैं या कम रैंक सन्निकटन होते हैं $M,Y$

अब हम को हल करने या पूर्व- करने पर अपना ध्यान करते हैं जब या तो a) इनपुट मैट्रिसेस बहुत आयताकार होते हैं - जिसका अर्थ है कि उनके पास कॉलम या इसके विपरीत की तुलना में कई अधिक पंक्तियाँ हैं - या b) उनके पास कम सन्निकटन है। नीचे दी गई व्युत्पत्ति में वुडबरी फार्मूला, शूर पूरक और इसी तरह के अन्य हेरफेर के व्यापक उपयोग शामिल हैं। $Z_J,Z_B$ $M,Y$

हम अपने शूर पूरक प्रणाली के साथ शुरू करते हैं,

(α I + β Y Y^{T}) \otimes I - β^{2} Y Y^{T} \otimes M (α I + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

कुछ जोड़तोड़ इस प्रणाली को और अधिक सममित रूप में परिवर्तित करते हैं,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I) v e c (Z_{B}) = (I \otimes (I + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

अब हम निम्न रैंक सन्निकटन में लाते हैं। चलो हो या तो की कम SVD के या कम रैंक अनुमानों और ( एक प्लेसहोल्डर है और नहीं है उपयोग किया गया)। हमारे सिस्टम में इनका उपयोग करने से निम्न मैट्रिक्स का लाभ मिलता है, जिसे हम लागू करना चाहते हैं,

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α I + β I \otimes W Σ W^{T} + β Y Y^{T} \otimes I)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

चूंकि हम जिस मैट्रिक्स को करते हैं, वह पहचान के लिए एक निम्न-श्रेणी का अद्यतन है, तार्किक रणनीति वुडबरी फॉर्मूला, का उपयोग करने का प्रयास करना है।

(A + U C U^{T})^{- 1} = A^{- 1} - A^{- 1} U (C^{- 1} + U^{T} A^{- 1} U)^{- 1} U^{T} A^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

हालाँकि, कुछ देखभाल की आवश्यकता है क्योंकि निम्न रैंक के टुकड़े और orthogonal नहीं हैं। इस प्रकार वुडबरी फॉर्मूला लागू करने के लिए हम दोनों लो रैंक अपडेट को एक बड़े अपडेट में इकट्ठा करते हैं। ऐसा करो और वुडबरी फार्मूला पैदावार को लागू करो, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} I + β [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] [\begin{matrix} I \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}])}^{- 1} = α I - \frac{β}{α^{2}} [\begin{matrix} I \otimes W & Q \otimes I \end{matrix}] {[\begin{matrix} I \otimes (Σ^{- 1} + \frac{β}{α} I) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} I) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} I \otimes Σ^{T} \\ Q^{T} \otimes I \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

कोर इनवर्स की गणना ब्लॉकवाइज 2x2 व्युत्क्रम सूत्र द्वारा की जा सकती है,

{[\begin{matrix} A & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (A - B C^{- 1} B^{T})^{- 1} & - A^{- 1} B (C - B^{T} A^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (A - B C^{- 1} B^{T})^{- 1} & (C - B^{T} A^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

यह पोस्ट पहले से ही काफी लंबी है, इसलिए मैं गणना के लंबे विवरणों को छोड़ दूंगा, लेकिन अंतिम परिणाम यह है कि ब्लॉकवेट व्युत्क्रम में आवश्यक सबमैट्रीज़ को प्लग करना और सबकुछ पैदावार के माध्यम से गुणा करना, कुल उलटा,

(α I + β I \otimes M M^{T} + β Y Y^{T} \otimes I)^{- 1} = \frac{1}{α} I - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

जहाँ

\begin{aligned} t_{11} & = \frac{α}{β} I \otimes W l^{- 1} W^{T} \\ s_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes I \\ s_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes I - I \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(I \otimes l - h^{- 1} \otimes I)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + I \\ h & = \frac{α}{β} D^{- 1} + I . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

इस रूप में, हम व्युत्क्रम को लागू कर सकते हैं और 8 बाएँ और दाएँ मैट्रिक्स गुणन सैंडविच के माध्यम से शब्द पा सकते हैं । उत्पादों के योग को लागू करने के लिए सामान्य सूत्र है, $Z_B$

((A_{1} \otimes B_{1}) + (A_{2} \otimes B_{2}) + \dots) v e c (C) = v e c (B_{1}^{T} C A_{1} + B_{2}^{T} C A_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

ध्यान दें कि हमारे द्वारा समाप्त किए गए सभी स्पष्ट व्युत्क्रम विकर्ण हैं, इसलिए "हल" होने के लिए कुछ भी नहीं है।

रैखिक विलायक कोड

मैंने में उपरोक्त दो लागू किया । अच्छा काम करने लगता है। सॉल्वर कोड यहाँ है। $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

जाँच करने के लिए एक परीक्षण स्क्रिप्ट कि सॉल्वर्स का काम यहाँ है। यह भी उदाहरण से पता चलता है कि सॉल्वर कोड को कैसे कॉल किया जाता है।

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

समापन टिप्पणी

ADMM- प्रकार विधियां इस तरह की समस्याओं के लिए अच्छी तरह से अनुकूल हैं, लेकिन आपको अपने स्वयं के कार्यान्वयन को रोल करने की आवश्यकता होगी। विधि की समग्र संरचना बहुत सरल है इसलिए कार्यान्वयन MATLAB जैसी किसी चीज़ में बहुत मुश्किल नहीं है।

इस पोस्ट से गायब हुआ टुकड़ा जिसे आपकी समस्या के लिए पूरी तरह से परिभाषित करने के लिए निर्दिष्ट करने की आवश्यकता होगी, पेनल्टी पैरामीटर का एक विकल्प है । सौभाग्य से विधि आम तौर पर बहुत मजबूत होती है जब तक कि पैरामीटर वाल्व पागल नहीं होते हैं। द बॉयड एंड पारिख पेपर में पेनल्टी पैरामीटर्स के बारे में एक सेक्शन है, क्योंकि इसमें रेफरेंस दिए गए हैं, लेकिन मैं सिर्फ पैरामीटर्स के साथ प्रयोग करूंगा जब तक कि आपको उचित कन्वर्सेशन रेट्स न मिल जाएं। $\alpha,\beta$

प्रस्तुत solver रणनीतियों अत्यधिक प्रभावी अगर बाधा मैट्रिक्स या तो एक) कर रहे हैं घने, squareish, और उच्च रैंक, या ख) एक अच्छा कम रैंक सन्निकटन हैं। एक और उपयोगी सॉल्वर जो भविष्य के काम का एक विषय हो सकता है, निम्नलिखित मामले के लिए अनुकूलित एक सॉल्वर होगा - बाधा मैट्रिक्स विरल और चौकोर और उच्च रैंक है, लेकिन लिए एक अच्छा पूर्व शर्त मौजूद है । यह मामला होगा यदि, उदाहरण के लिए, एक विवेकाधीन लाप्लासियन है। $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— निक अल्जर
स्रोत

अब इसे लागू करना! जांच करने के लिए, और लिए मैट्रिक्स हल करना सममित / सकारात्मक निश्चित होना चाहिए क्योंकि यह कम से कम वर्गों से आता है, है ना? यह अनुभवजन्य रूप से सच प्रतीत होता है :-)। तो, क्या GMRES की तुलना में CG बेहतर विकल्प है?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— जस्टिन सोलोमन

इसके अलावा, मुझे लगता है कि B के लिए अपडेट गलत है? मैं इसके माध्यम से और अधिक विस्तार से काम कर रहा हूं, लेकिन रिकॉल बी मेरे ऊर्जा फ़ंक्शन (नहीं टर्म) में दिखाई नहीं देता है , इसलिए मुझे यकीन नहीं है कि इसे केवल में मान लेना चाहिए क्या मैं इस बारे में गलत सोच रहा हूं? धन्यवाद!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— जस्टिन सोलोमन

[ बजाय, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— जस्टिन सोलोमन

गजब का! और लिए अपने स्वयं के फ़ार्मुलों में डालने के बाद (संभवतः आपके द्वारा पोस्ट की गई चीज़ के बराबर / समतुल्य, लेकिन कुछ काम नहीं कर रहा था), यह IRLS विधि से बेहतर है। धन्यवाद!

J

$J$

B

$B$

— जस्टिन सोलोमन

बढ़िया खबर। यह देख कर अच्छा लगा कि जब यहाँ योगदान वास्तविक परिणाम की ओर ले जाता है।

— माइकल ग्रांट

आप शायद रैखिक प्रोग्रामिंग के लिए मैट्रिक्स-मुक्त पद्धति का उपयोग करना चाहते हैं। मैं विशेष रूप से रैखिक प्रोग्रामिंग के लिए तैयार किसी भी विधि के बारे में नहीं जानता, लेकिन द्विघात कार्यक्रमों के लिए और सामान्य nonlinear कार्यक्रमों के लिए मैट्रिक्स मुक्त आंतरिक बिंदु विधियाँ मौजूद हैं। द्विघात कार्यक्रम का मामला आपकी समस्या से बिल्कुल मेल खाता है, जहां द्विघात रूप गुणांक सभी शून्य हैं। (आप उन तरीकों को भी दर्ज़ कर सकते हैं जो आपकी समस्या की संरचना के लिए सटीक रेखीय हल का उपयोग करते हैं, लेकिन उस तरह का bespoke कार्यान्वयन इसके लायक नहीं हो सकता है, और मैट्रिक्स-मुक्त पद्धति का उपयोग करने से कम व्यावहारिक है।)

मैं किसी भी व्यावसायिक अनुकूलन पैकेज के बारे में नहीं जानता जो आंतरिक बिंदु विधियों के मैट्रिक्स-मुक्त वेरिएंट को लागू करता है। IPOPT नॉनलाइनर प्रोग्रामिंग के लिए एक मैट्रिक्स-फ्री इंटीरियर पॉइंट विधि को लागू करने वाला है, लेकिन मैं एपीआई कॉल को ट्रैक करने में सक्षम नहीं हूं जो आपको इसका उपयोग करने में सक्षम बनाता है।

CVX के अलावा, आप शायद मैट्रिक्स का एक बार इनपुट करने के लिए GAMS या AMPL का उपयोग कर सकते हैं और उस मैट्रिक्स का उपयोग करने के लिए मॉडलिंग भाषा में अपनी बाधाओं को सेट कर सकते हैं। हालाँकि, सॉल्वर द्वारा उपयोग की जाने वाली विधियाँ CVX, GAMS और AMPL में मैट्रिक्स-फ्री सॉल्वर का उपयोग नहीं करती हैं; सभी को मानक रूप में रैखिक कार्यक्रम के लिए पूर्ण गुणांक मैट्रिक्स की आवश्यकता होगी, जो बहुत बड़ा होगा (यह मैट्रिसेस का एक क्रोनकर उत्पाद होगा)। शायद यह क्या होगा कि आप अपने रैखिक कार्यक्रम को मॉडलिंग भाषा का उपयोग करके ऊपर दिए गए फॉर्म में इनपुट करें, और फिर मॉडलिंग भाषा डेटा को बैकएंड सॉल्वरों द्वारा प्रयोग करने योग्य रूप में अनुवाद करेगी। इस फॉर्म के लिए भारी मैट्रेस की आवश्यकता होगी, और मुझे संदेह है कि आप एक ही तरह की त्रुटियों (जब तक आप पर्याप्त मेमोरी वाले मशीन पर नहीं चलते हैं) में चलेंगे।

— ज्योफ ऑक्सबेरी
स्रोत

लगता है कि मैंने सभी सही चीजों की कोशिश की! मैंने शुरू में सीवीएक्स के साथ प्रयोग किया और यह विफल रहा, इसलिए मैंने आईपीओपीटी पर स्विच किया। लेकिन IPOPT में भी यही समस्या थी। मुझे पता नहीं था कि इसमें एक मैट्रिक्स-मुक्त विकल्प है, इसलिए मैं देखूंगा कि क्या मैं इसका पता लगा सकता हूं।

— जस्टिन सोलोमन

मुझे यकीन नहीं है कि GAMS / AMPL मेरे मुद्दे में मदद करेगा। मुझे इस समस्या को कोड करने में खुशी हो रही है कि जो भी रूप में सॉल्वर को सही काम करने में मदद करेगा, लेकिन जैसा कि आप कहते हैं कि क्रोनकर उत्पाद लेने वाले पर्दे के पीछे काम करने वाला नहीं है।

— जस्टिन सोलोमन