डेइगो के उत्तर की तर्ज पर जारी रखने के लिए, सीखने के सिद्धांत से मानक नमूना जटिलता सीमाएं बताती हैं कि यदि आप एक प्रोग्राम खोजने में संतुष्ट हैं जो "लगभग सही" है, तो आपको बहुत सारे बिंदुओं पर प्रयास करने की आवश्यकता नहीं है। आओ हम बाइनरी में प्रोग्राम एन्कोडिंग कर रहे हैं, ताकि लंबाई d के केवल प्रोग्राम हों। मान भी लें कि इनपुट उदाहरण डी पर कुछ वितरण है । शायद आपका लक्ष्य एक ऐसा कार्यक्रम ढूंढना है जो आपको पूरा यकीन है कि लगभग सही है ("संभवतः लगभग सही है" अर्थात वैलिंट्स पीएसी लर्निंग मॉडल के रूप में)। यही कारण है, आप एक एल्गोरिथ्म है कि नमूने की एक छोटी संख्या में ले जाएगा चलाना चाहते हैं x ~ डी के साथ मिलकर च ( एक्स )2dDx∼Df(x), और संभावना कम से कम के साथ होगा उत्पादन कुछ कार्यक्रम पी जो के साथ सहमत हैं च पर कम से कम एक ( 1 - ε ) से ली गई जानकारी के के अंश डी । (1−δ)Pf(1−ϵ)D
हम तो बस आकर्षित करेगा उदाहरण x ~ डी , और उत्पादन किसी भी कार्यक्रम पी लंबाई की ≤ घ कि के साथ सहमत हैं च उदाहरण के सभी पर। (एक की मौजूदगी की गारंटी है क्योंकि हम मानते हैं कि च में सबसे अधिक d पर Kolmogorov जटिलता है ...)mx∼DP≤dffd
संभावना क्या है कि एक विशेष कार्यक्रम है कि से असहमत च एक की तुलना में अधिक पर ε उदाहरण के अंश के साथ संगत है मीटर उदाहरण हम चयनित? यह सबसे अधिक ( 1 - ϵ ) m है । हम इस संभावना लेने के लिए अधिक से अधिक होना चाहते हैं δ / 2 घ इसलिए है कि हम एक संघ सब कुछ खत्म हो बाध्य ले जा सकते हैं 2 डी कार्यक्रमों और कहते हैं कि संभावना कम से कम के साथ 1 - δ , कोई "बुरा" कार्यक्रम हमारे तैयार उदाहरण के अनुरूप है । को हल करने पर हम देखते हैं कि यह केवल लेने के लिए पर्याप्त है
मीटर ≥ 1Pfϵm(1−ϵ)mδ/2d2d1−δ
उदाहरण। (केवल रैखिक की Kolmogorov जटिलता में कई यानीच...)
m≥1ϵ(d+log1/δ)
f
BTW, इस तरह के तर्कों को "ओक्टम के रेजर" को सही ठहराने के लिए इस्तेमाल किया जा सकता है: उन सभी सिद्धांतों के बीच एक निश्चित संख्या में अवलोकन दिए गए हैं, जो आपको समझाते हैं, आपको सबसे कम कोलमोगोरोव जटिलता के साथ एक को चुनना चाहिए, क्योंकि ओवरफिटिंग की कम से कम संभावना है।
बेशक, अगर आप केवल इस तरह से एक भी तय कार्यक्रम जाँच करना चाहते हैं, आप केवल जरूरत उदाहरण ...O(log(1/δ)/ϵ)