आर में स्नातक वंशज बनाम एलएम () फ़ंक्शन?

Question

मैं स्टैनफोर्ड में एंड्रयू एनजी के मुफ्त ऑनलाइन मशीन सीखने के पाठ्यक्रम में वीडियो के माध्यम से जा रहा हूं । उन्होंने यह प्रदर्शन करने के लिए ऑक्टेव में रैखिक प्रतिगमन और लेखन कार्यों को हल करने के लिए एक एल्गोरिथ्म के रूप में ग्रेडिएंट डिसेंट की चर्चा की। संभवत: मैं आर में उन कार्यों को फिर से लिख सकता हूं, लेकिन मेरा सवाल यह नहीं है कि एलएम () फ़ंक्शन पहले से ही मुझे रैखिक अभिव्यक्ति का उत्पादन देता है? मैं अपने स्वयं के ढाल वंश कार्य क्यों लिखना चाहूंगा? क्या कुछ फायदा है या यह विशुद्ध रूप से सीखने के अभ्यास के रूप में है? क्या lm () ग्रेडिएंट डिसेंट करता है?

Comments

मुझे लगता है कि आपको उन मामलों में एक और भाषा में खुद को ढालने की आवश्यकता हो सकती है जहां आर में कोई अच्छा समाधान नहीं है (उदाहरण के लिए, प्रतिगमन की कुछ भिन्नता, बड़े डेटा के साथ नियमित रूप से प्रतिगमन की तरह)

— मनोबल गैल्डिनो

Answer 1

ग्रेडिएंट वंश वास्तव में एक रेखीय प्रतिगमन समस्या को हल करने का एक बहुत ही खराब तरीका है। lm()आर में समारोह आंतरिक का एक रूप का उपयोग करता QR अपघटन है, जो काफी अधिक कुशल है। हालांकि, ढाल मूल एक आम तौर पर उपयोगी तकनीक है, और इस सरल संदर्भ में पेश करने के लायक है, ताकि यह स्पष्ट हो कि इसे और अधिक जटिल समस्याओं में कैसे लागू किया जाए। यदि आप अपने स्वयं के संस्करण को सीखने के अभ्यास के रूप में लागू करना चाहते हैं, तो यह करना एक सार्थक बात है, लेकिन lm()यदि आप चाहते हैं कि रैखिक प्रतिगमन करने के लिए एक उपकरण है तो बेहतर विकल्प है।

Comments

@ मर्टिन एलएम () अभी भी बेहतर हो सकता है अगर हमारे पास कई विशेषताएं हैं?

— user2626445

Answer 2

ऑनलाइन ढाल उपयोगी होने के कारण बड़े पैमाने पर अनुप्रयोगों के लिए है। किसी भी मामले में, अब पुस्तकालय हैं जो इसे लागू करते हैं ताकि आपको इसे प्रोग्राम करने की आवश्यकता न हो। यह सीखने का एक अच्छा तरीका है कि चीजें कैसे काम करती हैं।

लियोन बोटौ शब्दों में:

बड़े पैमाने पर मशीन सीखने को पहले एक इंजीनियरिंग समस्या के रूप में संपर्क किया गया था। उदाहरण के लिए, एक बड़े प्रशिक्षण सेट का लाभ उठाने के लिए, हम एक ज्ञात मशीन लर्निंग एल्गोरिदम को चलाने के लिए एक समानांतर कंप्यूटर का उपयोग कर सकते हैं या एक ज्ञात मशीन लर्निंग उद्देश्य फ़ंक्शन को अनुकूलित करने के लिए अधिक उन्नत संख्यात्मक तरीकों को अनुकूलित कर सकते हैं। इस तरह के दृष्टिकोण अपील की धारणा पर निर्भर करते हैं कि कोई मशीन सीखने की समस्या के कम्प्यूटेशनल पहलुओं से सांख्यिकीय पहलुओं को कम कर सकता है।

यह काम दिखाता है कि यह धारणा गलत है, और इसे देने से सीखने की क्षमता बहुत अधिक प्रभावी हो जाती है। एक नया सैद्धांतिक ढांचा सीखने के एल्गोरिदम पर अनुमानित अनुकूलन के प्रभाव को ध्यान में रखता है।

विश्लेषण छोटे पैमाने पर और बड़े पैमाने पर सीखने की समस्याओं के मामले के लिए अलग-अलग ट्रेडऑफ़ दिखाता है। छोटे पैमाने पर सीखने की समस्याएं सामान्य सन्निकटन-आकलन ट्रेडऑफ के अधीन हैं। बड़े पैमाने पर सीखने की समस्याएं एक गुणात्मक रूप से अलग-अलग ट्रेडऑफ़ के अधीन हैं, जिसमें गैर-तुच्छ तरीकों से अंतर्निहित अनुकूलन एल्गोरिदम की कम्प्यूटेशनल जटिलता शामिल है। उदाहरण के लिए, स्टोचस्टिक ग्रेडिएंट डिसेंट (SGD) एल्गोरिदम औसत दर्जे का अनुकूलन एल्गोरिदम प्रतीत होता है और फिर भी बड़े पैमाने पर सीखने की समस्याओं पर बहुत अच्छा प्रदर्शन करने के लिए दिखाया जाता है।

बड़े पैमाने पर शिक्षा

sgd प्रोजेक्ट