एक यादृच्छिक रसोई सिंक कैसे काम करता है?

Question

एनआईपीएस 2017 में पिछले साल अली रहीमी और बेन रेचट ने अपने पेपर "रैंडम फीचर्स फॉर लार्ज-स्केल कर्नेल मशीन" के लिए समय पुरस्कार का परीक्षण जीता था, जहां उन्होंने यादृच्छिक सुविधाओं को पेश किया था, बाद में यादृच्छिक रसोई सिंक एल्गोरिथ्म के रूप में कोडित किया गया था। अपने पेपर को सार्वजनिक करने के हिस्से के रूप में, उन्होंने दिखाया कि उनके मॉडल को मटलब की 5 लाइनों में लागू किया जा सकता है।

% Approximates Gaussian Process regression
%     with Gaussian kernel of variance gamma^2
% lambda: regularization parameter
% dataset: X is dxN, y is 1xN
% test: xtest is dx1
% D: dimensionality of random feature

% training
w = randn(D,d);
b = 2 * pi * rand(D, 1);
Z = cos(gamma * w * X + b * ones(1,N));

alpha = (lambda * eye(D) +Z * Z') \ (Z * y);

% testing
ztest = alpha' * cos(gamma * w * xtest + b);

उपरोक्त एल्गोरिथ्म कैसे सीखता है कि कुछ भी मेरे लिए अस्पष्ट है। एक यादृच्छिक रसोई सिंक कैसे काम करता है? यह गाऊसी प्रक्रियाओं और वेक्टर मशीनों का समर्थन कैसे करता है?

संपादित करें

रहीमी की बात को दोहराते हुए, रैंडम किचन सिंक शब्द को उस पेपर में पेश नहीं किया गया जिसके लिए उन्होंने पुरस्कार जीता, बल्कि "बड़े-पैमाने की कर्नेल मशीनों के लिए रैंडम फीचर्स" के साथ शुरू होने वाले कागजों की त्रयी के अंत में। अन्य कागजात हैं:

रहीमी, अली और बेंजामिन रिचाट। "यादृच्छिक ठिकानों के साथ कार्यों का एक समान सन्निकटन।" संचार, नियंत्रण और कम्प्यूटिंग, 2008 में 46 वां वार्षिक एलर्टन सम्मेलन। IEEE, 2008।

रहीमी, अली और बेंजामिन रिचाट। "यादृच्छिक रसोई सिंक के भारित रकम: सीखने में यादृच्छिककरण के साथ न्यूनतमकरण की जगह।" न्यूरल इन्फर्मेशन प्रोसेसिंग सिस्टम्स में प्रगति। 2009।

मुझे लगता है कि ऊपर प्रस्तुत कोड स्निपेट अंतिम पेपर में एलगोरिदम 1 की विशेषज्ञता है।

Comments

लिंक पेपर में न तो "सिंक" शब्द और न ही आपके द्वारा उद्धृत कोड दिखाई देता है। क्या आप एक संदर्भ याद कर रहे हैं?

— कोडियालॉजिस्ट

आप काफी सही हैं, धन्यवाद। 2017 की बात के संदर्भ के बिना, सवाल थोड़ा असंतुष्ट लगता है! विचार पहले पेपर में विकसित किया गया था, मुझे लगता है कि लेकिन यादृच्छिक रसोई सिंक शब्द केवल बाद में पेश किया गया था। कोड स्निपेट को स्पष्ट रूप से कागज के लिए 2007 पोस्टर सत्र में वितरित किया गया था। मैंने इसे

— एनआईपीएस

Answer 1

रैंडम किचन सिंक (या रैंडम फ़ॉयर फीचर्स) और अन्य संबंधित तरीके इंट्रेंस प्रदर्शन करने का प्रयास नहीं करते हैं, बल्कि वे कर्नेल की अड़चन आधारित तरीकों को कम करने की कोशिश करते हैं।

$n \times n$$O(n^3)$

रैंडम फूरियर विशेषताओं (Rehimi & Recht 2007) को माना जाता है कि शिफ्ट इन्वेरिएंट कर्नेल की कम रैंक सन्निकटन बनाने के लिए केवल गुठली फूरियर घटकों के एक यादृच्छिक सबसेट का नमूना लिया जाता है। फ़ॉयर स्पेस शिफ्ट अपरिवर्तनीय होने के कारण, यह गुण संरक्षित था लेकिन अब इन फ़ूरियर कंपोनेंट्स के मिलन से एक स्पष्ट परिमित आयामी प्रजनन कर्नेल हिल्बर्ट स्पेस का निर्माण हुआ। एक बार अनंत आयामी आरकेएचएस पतित अनुमानित कर्नेल द्वारा अनुमानित होता है।

कोड स्निपेट पर नोट्स: 5 पंक्तियों में ब्रश किए गए कुछ विवरण हैं। सबसे महत्वपूर्ण यह है कि गौसियन फ़ंक्शन भी फूरियर अंतरिक्ष में एक गाऊसी फ़ंक्शन है, बस विचरण उलटा है। यही कारण है कि वे रैंडन से नमूना ले रहे हैं और फिर विचरण द्वारा गुणा कर रहे हैं। फिर वे अल्फ़ा का उत्पादन करते हैं जो ज़ेस्टेस्ट खोजने के लिए केवल एक उप-प्रक्रिया है। अनिवार्य रूप से सामान्य कर्नेल भविष्यवाणी की तरह दिखता है,

$z_{test} = K(x_{test}, x)(K(x, x) + \lambda I)^{-1} y.$

$z_{test} = \Phi(x_{test})^T\Phi(x)(\Phi(x)^T\Phi(x) + \lambda I)^{-1} y.$

$\Phi(\cdot)$

साइड कमेंट: क्या आपको इसका इस्तेमाल करना चाहिए? उत्तर स्पष्ट नहीं है। यह पूरी तरह से इस बात पर निर्भर करता है कि आप क्या मॉडलिंग कर रहे हैं। फूरियर अंतरिक्ष का उपयोग गैर-स्थिर गैर-शिफ्ट अपरिवर्तनीय गुठली के लिए आवश्यक नहीं है। लोगों ने कभी यह दावा नहीं किया कि यह इस सेटिंग में काम करेगा लेकिन अगर आप उस क्षेत्र में शुरुआत कर रहे हैं तो कभी-कभी बारीकियां स्पष्ट नहीं होती हैं।

Comments

मुझे यह महसूस करने के लिए एक सेकंड में ले लिया कि यहाँ कंप्यूटिंग अल्फा एक्स और वाई में रेग्युलर लैम्ब्डा के साथ रिज रिग्रेशन की समस्या को हल कर रहा है। यदि आप जीपी से आते हैं तो अपने फॉर्मूले को देखते हुए यह कुछ हद तक स्पष्ट है, एसवीएम कोण से आने वाला यह थोड़ा भ्रामक है। आपका "सामान्य कर्नेल भविष्यवाणी" एक जीपी है जिसमें शोर जोड़ा जाता है, उर्फ ​​कर्नेल रिज प्रतिगमन।

— एंड्रियास म्यूलर

@AndreasMueller हाँ क्षमा करें जो सही है! मैं मूल रूप से जीपी समुदाय से बहुत अधिक हूं इसलिए कभी-कभी इसे अनदेखा कर देता हूं! खुशी है कि तुम मुझे क्या मतलब है :)

— j__

@j__, अगर आपके पास समय है, तो मुझे यहाँ पर RFF के बारे में एक प्रश्न है: आंकड़े ।stackexchange.com / questions / 440633 । ऐसा लगता है कि मेरे प्रश्न का उत्तर आरकेएचएस और रिप्रजेंटेटर प्रमेय को बेहतर ढंग से समझने में है।

— gwg