डूडा एट अल के पैटर्न वर्गीकरण में कोई मुफ्त लंच प्रमेय समझना

मेरे पास डूडा, हार्ट और स्टॉर्क के पैटर्न क्लासिफिकेशन में किसी भी क्लासिफायर के इनहेरेंट सुपीरियरिटी के सेक्शन 9.2 लैक में इस्तेमाल किए गए नोटिफिकेशन के बारे में कुछ सवाल हैं । पहले मुझे पुस्तक से कुछ प्रासंगिक पाठ उद्धृत करने दें:

सादगी के लिए एक दो-श्रेणी की समस्या पर विचार करें, जहां प्रशिक्षण सेट में पैटर्न और संबंधित श्रेणी के लेबल लिए को ज्ञात किए जाने वाले अज्ञात लक्ष्य फ़ंक्शन द्वारा उत्पन्न किया गया है, , जहां । $D$ $x^i$ $y_i = ± 1$ $i = 1,..., n$ $F(x)$ $y_i = F(x^i)$

Let निरूपित परिकल्पना, या मापदंडों के संभव सेट की (असतत) सेट सीखना पड़ता। एक विशेष परिकल्पना एक कार्यात्मक नेटवर्क में मात्रात्मक भार, या एक कार्यात्मक मॉडल में पैरामीटर 0, या एक पेड़ में निर्णय के सेट द्वारा वर्णित किया जा सकता है, और इसी तरह। $H$ $h(x) \in H$

इसके अलावा, पूर्व संभावना है कि एल्गोरिथ्म प्रशिक्षण के बाद परिकल्पना उत्पादन करेगा ; ध्यान दें कि यह संभावना नहीं है कि सही है। $P(h)$ $h$ $h$

अगला, इस संभावना को दर्शाता है कि एल्गोरिथ्म डेटा पर प्रशिक्षित होने पर हाइपोथीसिस पैदा करेगा । नियतात्मक शिक्षण एल्गोरिदम जैसे निकटतम पड़ोसी और निर्णय पेड़, एक परिकल्पना को छोड़कर हर जगह शून्य होगा । स्टोकेस्टिक विधियों के लिए (जैसे कि यादृच्छिक प्रारंभिक भार से प्रशिक्षित तंत्रिका नेटवर्क), या स्टोकेस्टिक बोल्ट्जमैन शिक्षण, एक व्यापक वितरण हो सकता है। $P(h|D)$ $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

शून्य-एक या अन्य हानि फ़ंक्शन के लिए त्रुटि होने दें । $E$

जब सही फ़ंक्शन और वें उम्मीदवार के लिए एल्गोरिथ्म सीखने की संभावना है , तो अपेक्षित ऑफ़-ट्रेनिंग-सेट क्लासिफिकेशन त्रुटि द्वारा दी गई है $F(x)$ $k$ $P_k(h(x)|D)$
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
प्रमेय 9.1। (नो फ्री लंच) किसी भी दो लर्निंग एल्गोरिदम और , निम्नलिखित सही हैं, सैंपलिंग डिस्ट्रीब्यूशन और प्रशिक्षण बिंदुओं की संख्या से स्वतंत्र हैं : $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

सभी लक्षित कार्यों पर समान रूप से औसतन , $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

किसी निश्चित प्रशिक्षण सेट , , पर समान रूप से औसतन $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

भाग 1 वास्तव में कह रहा है
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
भाग 2 वास्तव में कह रहा है
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

मेरे सवाल हैं

के सूत्र में , यानी क्या मैं को बदल सकता हूं और इसे बाहर ले जा सकता हूं। , क्योंकि यह वास्तव में की एक वितरण है से अधिक दिया के लिए वें स्टोकेस्टिक सीखने एल्गोरिथ्म? $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
यह देखते हुए कि वें उम्मीदवार सीखने का एल्गोरिथ्म एक स्टोकेस्टिक विधि है, क्यों के सूत्र में , पर कोई योग नहीं है , अर्थात ? $k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
कैसे एक-दूसरे से अलग हो रहे हैं और ? $\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

क्या अर्थ है ऑफ़-ट्रेनिंग एरर रेट, ट्रेनिंग सेट ? $\mathcal{E}_i (E|F, D)$ $D$

क्या अर्थ है ऑफ-ट्रेनिंग एरर रेट, ट्रेनिंग सेट दिए गए सभी प्रशिक्षण सेटों पर औसत ? यदि हाँ, तो क्यों एनएफएल प्रमेय औसत में भाग 1 आता है प्रशिक्षण सेट पर फिर से लिखकर , और क्यों फॉर्मूला में , प्रशिक्षण आकार दिए गए सभी प्रशिक्षण सेट पर कोई औसत नहीं है ? $\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
एनएफएल प्रमेय के भाग 1 में, निश्चित प्रशिक्षण आकार साथ सभी प्रशिक्षण सेटों पर योग मतलब है ? $\sum_D$ $n$
यदि आगे भाग 1 में प्रशिक्षण आकार में सभी संभावित मानों को जाता है, तो परिणाम अभी भी 0, सही है? $\mathbb{N}$ $n$
के सूत्र में , अगर मैं को to , अर्थात आवश्यक रूप से प्रशिक्षण सेट के बाहर होने के लिए प्रतिबंधित नहीं है, तो दोनों भागों में होगा एनएफएल प्रमेय अभी भी सच है? $\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
यदि और बीच वास्तविक संबंध को नियतात्मक कार्य रूप में नहीं माना जाता है , लेकिन इसके बजाय सशर्त वितरण , या एक संयुक्त वितरण जो समकक्ष है। और जानना मेरा दूसरा प्रश्न भी देखें ), तो मैं को be कर सकता हूँ। (विचित्र भाग 1 और 2 में बताया गया है। क्या एनएफएल प्रमेय में दो हिस्से अभी भी सही हैं? $x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

सादर धन्यवाद!

machine-learning

— टिम
स्रोत

है डिराक / क्रोनेकर-डेल्टा? In

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

क्या यह कोई फ्री लंच प्रमेय हैल्टिंग समस्या के समान नहीं है? क्या वे जुड़े हुए हैं?

मैं उन सवालों के जवाब दूंगा जो मुझे लगता है कि मुझे जवाब पता है।

यह उत्तर नहीं है क्योंकि आप एक ऐसे को चुन रहे हैं जो फिट सेट का हिस्सा नहीं था और इसलिए पर निर्भर करता है । $x$ $D$ $h$ $x$
$h$ का मूल्यांकन अपेक्षित त्रुटि दर प्राप्त करने के लिए परीक्षण सेट में मान पर किया जाता है, इसलिए इसका मूल्यांकन पूरे सेट पर नहीं किया जाता है, लेकिन केवल परीक्षण सेट में के असतत सेट पर होता है । $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ बंद प्रशिक्षण सेट त्रुटि दी समारोह दर की उम्मीद है और प्रशिक्षण सेट । लेकिन मुझे लगता है कि अलग है क्योंकि आप केवल प्रशिक्षण बिंदुओं की संख्या पर कंडीशनिंग कर रहे हैं और वास्तविक मान नहीं। लेकिन बाद के बयानों को देखते हुए यह हैरान करने वाला है। $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ प्रशिक्षण वैक्टर का सेट है। हैं में प्रशिक्षण वैक्टर । तो आप में तय प्रशिक्षण वैक्टर पर योग कर रहे हैं । केवल एक सेट । $n$ $D$ $n$ $D$ $D$
मुझे लगता है कि 5 का जवाब नहीं है। संकेतन थोड़ा भ्रामक लगता है।

6 और 7 पर टिप्पणी नहीं कर सकते।

— माइकल आर
स्रोत

+1। साइट पर आपका स्वागत है, मैं अमेज़न पर आपकी समीक्षाओं का बहुत बड़ा प्रशंसक हूं। संपादन में मेरे अनुमान को माफ करें, गणितीय संकेतन ज्यादातर किसी चीज के दोनों ओर $ लगाकर किया जाता है। यदि आप पीले-सर्कल पर क्लिक करें- लिखते समय ऊपरी दाएं में, आपको "उन्नत सहायता" के लिए एक लिंक दिखाई देगा, जो अधिक जानकारी देगा; इसके अलावा, आप कुछ मौजूदा मैथजैक्स (जैसे उपरोक्त में से कोई भी) पर राइट-क्लिक कर सकते हैं और यह देखने के लिए "शो मैथ अस -> टीएक्सएक्स कमांड" का चयन करें कि यह कैसे किया गया था।

— गूँग - मोनिका

दूसरे शब्दों में, @gung कह रहा है: इस साइट का समर्थन करता है में (लगभग) सटीक रूप से आपकी करने के लिए उम्मीद थी, प्रदर्शन गणित भी शामिल है। साइट पर आपका स्वागत है।

L A T E X

$\LaTeX$

— कार्डिनल

@ मिचेल कृपया मुझे इन अन्य लोगों में अपना स्वागत जोड़ने की अनुमति दें: मैं आपको यहां देखकर प्रसन्न हूं। (माइकल अमेरिकी सांख्यिकीय एसोसिएशन चर्चा सूचियों पर असाधारण जानकार योगदान दिया है।)

— whuber