क्या कार्य एक कर्नेल हो सकता है?

Question

मशीन लर्निंग और पैटर्न मान्यता के संदर्भ में, कर्नेल ट्रिक नामक एक अवधारणा है । उन समस्याओं का सामना करना, जहां मुझे यह निर्धारित करने के लिए कहा जाता है कि क्या कोई फ़ंक्शन कर्नेल फ़ंक्शन हो सकता है या नहीं, वास्तव में क्या किया जाना चाहिए? क्या मुझे पहले जांचना चाहिए कि क्या वे तीन या चार कर्नेल कार्यों जैसे कि बहुपद, आरबीएफ और गॉसियन के रूप में हैं? फिर मैं क्या करने वाला हूं? क्या मुझे यह दिखाना चाहिए कि यह सकारात्मक है? क्या कोई इस तरह की समस्याओं के लिए एक कदम-दर-चरण समाधान दिखाने के लिए एक उदाहरण को हल कर सकता है? उदाहरण के लिए की तरह, है $f(x)=e^{x^tx'}$ एक कर्नेल समारोह (मान लीजिए कि हमें यह एक गाऊसी गिरी है पता नहीं है)?

Answer 1

आम तौर पर, एक फ़ंक्शन $k(x,y)$ एक वैध कर्नेल फ़ंक्शन है (कर्नेल ट्रिक के अर्थ में) यदि यह दो प्रमुख गुणों को संतुष्ट करता है:

• समरूपता: $k(x,y) = k(y,x)$

• सकारात्मक अर्ध-निश्चितता।

संदर्भ: http://www.cs.berkeley.edu/~jordan/courses/281B-spring04/lectures/lec3.pdf के पेज 4

निरीक्षण द्वारा समरूपता की जांच आमतौर पर सीधी होती है। सकारात्मक अर्ध-निश्चितता को विश्लेषणात्मक रूप से सत्यापित करना कभी-कभी काफी बालों वाला हो सकता है। मैं इस तथ्य की जाँच के लिए दो रणनीतियों के बारे में सोच सकता हूँ:

• (1) "आंतरिक-उत्पाद" प्रतिनिधित्व के लिए निरीक्षण

पर विचार करें । हम कुछ मिल सकता है φ ( एक ) ऐसी है कि कश्मीर ( एक्स , वाई ) = φ ( एक्स ) टी φ ( y ) ? एक छोटी सी गणित से पता चलता है कि ई एक्स + y = ई एक्स ई y , इसलिए φ ( एक ) = ई एक और हम काम हो गया।$k(x,y) = e^{x+y}$$\phi(a)$$k(x,y) = \phi(x)^T \phi(y)$$e^{x+y} = e^x e^y$$\phi(a)=e^a$

यदि आप भाग्यशाली हैं, तो आपका इस विश्लेषण के लिए उत्तरदायी होगा। यदि नहीं, तो आप विकल्प (2) का सहारा ले सकते हैं:$k()$

• (2) यादृच्छिक सिमुलेशन द्वारा सकारात्मक निश्चित-नेस की जाँच करना।

पर समारोह पर विचार -dim वैक्टर कश्मीर ( → एक्स , → y ) = Σ डी डी = 1 मिनट ( एक्स डी , y घ ) है, जहां प्रत्येक वेक्टर → एक्स , → y गैर नकारात्मक और योग एक करने के लिए किया जाना चाहिए। क्या यह एक वैध कर्नेल है?$D$$k(\vec{x},\vec{y}) = \sum_{d=1}^D \min( x_d, y_d)$$\vec{x}, \vec{y}$

हम सिमुलेशन द्वारा इसकी जांच कर सकते हैं। यादृच्छिक वैक्टर { → x i } N i = 1 का एक सेट बनाएं और एक ग्राम मैट्रिक्स बनाएँ जहाँ । फिर जांचें कि क्या पॉजिटिव (सेमी-) निश्चित है।$N$$\{\vec{x}_i\}_{i=1}^N$K i j = k ( → x i , → x j ) $K$$K_{ij} = k( \vec{x}_i , \vec{x}_j )$$K$

इस संख्यात्मक तरीके से करने का सबसे अच्छा तरीका मैट्रिक्स के आइगेनवैल्यूज़ (अच्छे मौजूदा संख्यात्मक पुस्तकालयों जैसे कि स्कैपी या मैटलैब का उपयोग करके) को ढूंढना है, और यह सत्यापित करना है कि सबसे छोटा ईजेनवल्यू 0 से बड़ा या बराबर है । यदि हाँ, तो मैट्रिक्स psd है अन्यथा, आपके पास एक वैध कर्नेल नहीं है।$K$

नमूना MATLAB / ऑक्टेव कोड:

D=5;
N=100;

X = zeros(N,D);
for n = 1:N
   xcur = rand(1,D);
   X(n,:) = xcur/sum(xcur);
end

K = zeros(N,N);
for n = 1:N;  for m = 1:N
    K(n,m) = sum( min( X(n,:), X(m,:) ) );
end;  end;

disp( min( eig(K) ) );

यह एक बहुत ही सरल परीक्षण है, लेकिन सावधान रहें । यदि परीक्षण विफल हो जाता है, तो आप सुनिश्चित कर सकते हैं कि कर्नेल मान्य नहीं है, लेकिन यदि यह कर्नेल को पास करता है तब भी मान्य नहीं हो सकता है।

$N$$D$

$k(\vec{x},\vec{y}) = \sum_{d=1}^D max( x_d, y_d)$

मैं वास्तव में इस दूसरे विकल्प को पसंद करता हूं क्योंकि यह औपचारिक प्रमाणों की तुलना में डिबग करने में काफी तेज और बहुत आसान है। जितेंद्र मलिक की स्लाइड 19 के अनुसार , चौराहे की गिरी 1991 में शुरू की गई थी, लेकिन 2005 तक सही साबित नहीं हुई। औपचारिक प्रमाण बहुत चुनौतीपूर्ण हो सकते हैं!

Comments

जैसा कि मैं समझता हूं कि दूसरी स्थिति केवल सकारात्मक अर्ध- सक्रियता है। और मुझे जो बताया गया है, उसमें से केवल यह आवश्यक है कि आप एसवीएम एल्गोरिथ्म के अभिसरण को सिद्ध करना चाहते हैं। व्यवहार में, कई कर्नेल हैं जो PSD नहीं हैं, लेकिन व्यवहार में अच्छी तरह से काम करते हैं।

— पीटर

@ अभिनेता: हाँ, आप सही कह रहे हैं। यह * अर्ध- * निश्चित हो सकता है, न कि केवल निश्चित। तदनुसार संपादित किया गया।

— माइक ह्यूजेस

SVM डोमेन में, PSD कर्नेल का उपयोग करने से यह सुनिश्चित होता है कि समस्या उत्तल है, इसलिए ऑप्टिमाइज़ेशन एक अद्वितीय, विश्वव्यापी इष्टतम समाधान प्राप्त करता है। पीएसडी-प्रॉपर्टी के बिना, इस बात की कोई गारंटी नहीं है कि जो समाधान मिला है वह कहीं भी संभव है। लेकिन, हाँ कई कर्नेल हैं (सिग्मॉइड की तरह) जो कि PSD नहीं हैं लेकिन फिर भी अभ्यास में सफल हैं। इस मुद्दे के लिए एक अच्छा संदर्भ है: perso.lcpc.fr/tarel.jean-philippe/publis/jpt-icme05.pdf ।

— माइक ह्यूजेस