क्या तंत्रिका नेटवर्क एक फ़ंक्शन या प्रायिकता घनत्व फ़ंक्शन सीखते हैं?

Question

सवाल थोड़ा अजीब लग सकता है क्योंकि मैं सांख्यिकीय अनुमान और तंत्रिका नेटवर्क के लिए नया हूं।

तंत्रिका नेटवर्क का उपयोग करते समय वर्गीकरण समस्याओं में हम कहते हैं कि हम एक समारोह सीखना चाहते कि आदानों की अंतरिक्ष नक्शे एक्स , निर्गम की जगह के लिए y :$f^*$$x$$y$

$$f^*(x; \theta) = y$$

हम फिटिंग कर रहे हैं मानकों ( ) एक गैर रेखीय समारोह मॉडल करने के लिए, या एक प्रायिकता घनत्व समारोह मॉडल करने के लिए?$\theta$

मैं वास्तव में नहीं जानता कि प्रश्न को बेहतर तरीके से कैसे लिखा जाए। मैंने कई बार दोनों चीजों (संभावना घनत्व फ़ंक्शन, या बस उसी तरह कार्य करता है) को पढ़ा है इसलिए मेरा भ्रम।

Answer 1

कड़ाई से बोलते हुए, तंत्रिका नेटवर्क एक गैर-रेखीय फ़ंक्शन फिटिंग कर रहे हैं।

वे एक प्रायिकता घनत्व समारोह फिटिंग यदि उपयुक्त सक्रियण कार्यों चुना जाता है और कुछ शर्तों के सम्मान किया जाता है (मान सकारात्मक होना चाहिए और के रूप में व्याख्या की जा सकती , 1 आदि ...)। लेकिन यह एक सवाल है कि आप उनके आउटपुट की व्याख्या कैसे चुनते हैं, न कि वे वास्तव में क्या कर रहे हैं। हुड के तहत, वे अभी भी गैर-रेखीय फ़ंक्शन अनुमानक हैं, जिसे आप पीडीएफ अनुमान की विशिष्ट समस्या पर लागू करने के लिए चुन रहे हैं।$\leq$

Comments

@sdiabr वास्तव में आप थ्रेशोल्ड का उपयोग नहीं करेंगे यदि आप चाहते थे कि नेटवर्क एक पीडीएफ का अनुकरण करे - क्योंकि एक पीडीएफ में 1 और 0. के अलावा अन्य मान हो सकते हैं लेकिन थ्रेशोल्ड के साथ यह एक सीधा क्लासीफायर बन जाता है।

— स्कैंडल एच।

इसे देखने का उचित तरीका यह है कि थ्रॉल्डिंग एक समस्या है जो नेटवर्क से सीखी गई बाहरी चीज़ है। इस अंतर का सम्मान नहीं करने से वास्तविक दुनिया की समस्याओं के लिए एमएल के अनुप्रयोगों में बहुत सारी समस्याएं होती हैं।

— मैथ्यू ड्र्यू

हाँ ओके, मैं समझता हूँ। इसलिए थ्रेसहोल्ड को भूलकर, तो मैं एक पीडीएफ मॉडलिंग करूंगा? मुझे लगता है कि मैं थ्रेसहोल्ड के साथ भ्रमित हो गया क्योंकि मैंने एक बर्नौली वितरण मॉडलिंग के बारे में कुछ पढ़ा। हालांकि, दहलीज के बिना, यह पहले से ही बर्नोइली सही है? मामले में हमारे पास सिग्मॉइड सक्रियण फ़ंक्शन के साथ केवल एक आउटपुट नोड है, जो कि 0 या 1 को प्रायिकता p या (1-p) के साथ आउटपुट करेगा

— sabrabr

हां, मैं फिर से भ्रमित हो गया, धन्यवाद @CagdasOzgenc। आइए फिर से कोशिश करें: आउटपुट लेयर में सिग्मॉइड फ़ंक्शन का उपयोग करके हम सीधे एक पीडीएफ मॉडलिंग कर रहे हैं, है ना? जो भी वितरण का पालन करना सीख सकता है।

— सादीराब

हालाँकि, आप अज्ञात गुणांकों की प्रायिकता वितरण के बारे में नहीं सीख रहे हैं, इस प्रकार आप पश्चवर्ती पूर्वानुमान वितरण के बारे में नहीं सीख रहे हैं।

— ब्राश इक्विलिब्रियम

Answer 2

आमतौर पर न्यूरल नेटवर्क्स का उपयोग पूर्ण संभावना घनत्व को मॉडल करने के लिए नहीं किया जाता है। उनका ध्यान सिर्फ वितरण का मतलब (या एक निर्दिष्‍ट स्थिति में एक गैर-रेखीय कार्य) को मॉडल करना है। फिर भी न्यूरल नेटवर्क्स के माध्यम से पूरी संभावना घनत्वों को मॉडल करना बहुत संभव है।

एक आसान तरीका यह करने के लिए उदाहरण के लिए है के लिए एक गाऊसी मामले नेटवर्क का एक और उत्पादन से एक उत्पादन और विचरण से मतलब फेंकना और फिर कम से कम है समारोह के हिस्से के रूप सामान्य चुकता त्रुटि के बजाय प्रशिक्षण प्रक्रिया। यह एक तंत्रिका नेटवर्क के लिए अधिकतम संभावना प्रक्रिया है।$-log N(y | x ;\mu,\sigma)$

आप इस नेटवर्क हर आप एक प्लग ट्रेन एक बार एक इनपुट के रूप मूल्य यह आप दे देंगे μ और σ , तो आप पूरे त्रिक प्लग कर सकते हैं y , μ , σ घनत्व के च ( y | एक्स ) ~ एन ( μ , σ ) आप की तरह किसी भी y के लिए घनत्व मूल्य प्राप्त करने के लिए । इस स्तर पर आप वास्तविक डोमेन हानि फ़ंक्शन के आधार पर किस y मान का उपयोग कर सकते हैं । एक बात का ध्यान रखें कि μ के लिए आउटपुट सक्रियण अप्रतिबंधित होना चाहिए ताकि आप उत्सर्जन कर सकें $x$$\mu$$\sigma$$y,\mu,\sigma$$f(y|x)\sim N(\mu,\sigma)$$y$$y$$\mu$ के लिए + inf जबकि σ एक सकारात्मक केवल सक्रियण होना चाहिए।$-\inf$$+\inf$$\sigma$

सामान्य तौर पर, जब तक कि यह एक नियतात्मक कार्य नहीं है, जिसके बाद हम हैं, तंत्रिका नेटवर्क में उपयोग किए जाने वाले मानक चुकता प्रशिक्षण बहुत समान प्रक्रिया है जो मैंने ऊपर वर्णित की है। हुड एक के तहत वितरण परोक्ष के बारे में ध्यान रखने वाली बिना माना जाता है σ और अगर आप ध्यान से जांच - एल ओ जी एन ( y | x ; μ , σ ) आप वर्ग घटाने के लिए एक अभिव्यक्ति (देता है नुकसान गाऊसी अधिकतम संभावना अनुमानक का कार्य )। इस परिदृश्य में, हालांकि, एक के बजाय$Gaussian$$\sigma$$-log N(y|x;\mu,\sigma)$$y$अपनी पसंद के हिसाब से जब आप नया एक्स मान देते हैं तो हर बार उत्सर्जक के साथ अटक जाते हैं ।$\mu$$x$

वर्गीकरण के लिए उत्पादन एक हो जाएगा एक के बजाय वितरण जी एक यू एस एस मैं एक n है, जो उत्सर्जन करने के लिए एक एकल पैरामीटर है। जैसा कि अन्य उत्तर में निर्दिष्ट है कि यह पैरामीटर 0 और 1 के बीच है ताकि आउटपुट सक्रियण तदनुसार हो। यह एक लॉजिस्टिक फ़ंक्शन या कुछ और हो सकता है जो समान उद्देश्य को प्राप्त करता है।$Bernoulli$$Gaussian$$0$$1$

एक अधिक परिष्कृत दृष्टिकोण बिशप का मिक्सचर डेंसिटी नेटवर्क है। आप इसके बारे में अक्सर संदर्भित पेपर में यहां पढ़ सकते हैं:

https://publications.aston.ac.uk/373/1/NCRG_94_004.pdf

Comments

आउच आप मुझे हरा दें 😀 मैं बिशप के एमडीएन का हवाला देना चाहता था ... न्यूरल नेटवर्क्स को आउटपुट पीडीएफ़ में लाने का एक और तरीका भी है, जो निश्चित रूप से बायेसियन प्रतिमान है। मैं उस पर एक उत्तर लिखूंगा।

— डेल्टावी

मिश्रण घनत्व नेटवर्क पर एक और मजेदार पेपर, सर्फिंग की स्थिति की भविष्यवाणी करने के लिए उपयोग किया जाता है: icml.cc/Conferences/2005/proceedings/papers/…

— मैथ्यू ड्र्यू

"संपूर्ण ट्रिपल y, μ, to" को "संपूर्ण ट्रिपल x, μ, tri" में बदलना चाहिए?

— मोह

@ मोह न। x दिया गया है और घनत्व में दिखाई नहीं देगा।

— कागदस ओजेंकेन

Answer 3

My dissenting answer is that in most impressive practical applications (those where they get the most coverage in the media, for instance) it's neither the function nor the probabilities. They implement stochastic decision making.

सतह पर ऐसा लगता है जैसे एनएन केवल फ़ंक्शन को फिट कर रहे हैं, सार्वभौमिक सन्निकटन संदर्भ को कतारबद्ध करते हैं । कुछ मामलों में, जब कुछ सक्रियण फ़ंक्शन और विशेष मान्यताओं जैसे कि गौसियन त्रुटियों का उपयोग किया जाता है या जब आप बायेसियन नेटवर्क पर कागजात पढ़ते हैं, तो ऐसा प्रतीत होता है कि एनएन संभावना वितरण का उत्पादन कर सकता है।

हालांकि, यह सब वैसे ही है। निर्णय लेने के लिए NN क्या करने का इरादा रखता है। जब कोई कार AI द्वारा संचालित होती है, तो उसका एनएन इस संभावना की गणना करने की कोशिश नहीं कर रहा है कि उसके सामने एक वस्तु है, फिर यह देखते हुए कि संभावना की गणना करने के लिए एक वस्तु है कि यह एक मानव है। न ही यह विभिन्न प्रकार की वस्तुओं के लिए सेंसर इनपुट की मैपिंग की गणना कर रहा है। नहीं, NN के लिए सभी इनपुट के आधार पर एक निर्णय लेना है जो कि फुटपाथ को चलाने के लिए या ड्राइविंग के माध्यम से बनाए रखने के लिए है। यह संभावना की गणना नहीं कर रहा है, यह कार को बता रहा है कि क्या करना है।