क्रमचय अपरिवर्तनीय तंत्रिका नेटवर्क

Question

एक तंत्रिका नेटवर्क $f$ को देखते हुए जो इनपुट $n$ डेटा बिंदुओं के रूप में लेता है : $x_1, \dots, x_n$ । हम कहते हैं कि $f$ है क्रमचय अपरिवर्तनीय अगर

$$f(x_1 ... x_n) = f(pi(x_1 ... x_n))$$

के लिए किसी भी परिवर्तन $pi$ ।

क्या कोई व्यक्ति क्रमिक अपरिवर्तनीय तंत्रिका नेटवर्क के लिए प्रारंभिक बिंदु (लेख, उदाहरण या अन्य कागज) की सिफारिश कर सकता है?

Comments

दिलचस्प सवाल। आप एक वेक्टर के बजाय एक सेट के रूप में इनपुट का इलाज करना चाहते हैं। मान लें कि आपके इनपुट स्केलर हैं या अन्यथा तुलनीय हैं, तो क्या आपने अपने इनपुट को क्रमबद्ध करने के लिए क्रमपरिवर्तन-अपरिवर्तनीय विहित प्रतिनिधित्व बनाने और एक नियमित नेटवर्क को खिलाने पर विचार किया है?

— mjul

@mjul मेरे इनपुट्स ग्राहकों के दांवों की श्रृंखला हैं (प्रत्येक दांव कुछ कैथीटेरिकल और निरंतर चर के वेक्टर द्वारा दर्शाया गया है)। मैं उन्हें कालानुक्रमिक रूप से उदाहरण के लिए आदेश दे सकता था, लेकिन जैसा कि प्रत्येक ग्राहक के लिए दांव के बीच का समय बहुत अलग होता है, इससे बहुत समझ में नहीं आएगा। यह शायद समय के कुछ फ़ंक्शन (निश्चित या सीखा) का उपयोग करके हल किया जा सकता है जो प्रत्येक शर्त के लिए गुणांक को क्षय करेगा। लेकिन मुझे लगता है कि इस मामले में वास्तव में आदेश देने से कोई फर्क नहीं पड़ता है, इसलिए मैं पहले अनियंत्रित डेटा की कोशिश करना चाहता था, जो स्पष्ट रूप से प्रत्येक ग्राहक के लिए सममित रूप से दांव का इलाज करने की आवश्यकता है।

— जोसेफ ओन्ड्रेज

नेटवर्क आउटपुट क्या है? यदि नेटवर्क क्रमचय अपरिवर्तनीय है, तो आउटपुट किसी भी क्रम के इनपुट के लिए समान होगा। क्या ये वही है जो तुम चाहते हो?

— BlueMoon93

@ BlueMoon93 हां, यह वही है, जो मैं चाहता हूं। आउटपुट कुछ भी हो सकता है (संख्या, वेक्टर) जब तक यह इनपुट के आदेश पर निर्भर नहीं करता है।

— जोसेफ ओन्ड्रेज

आप एक क्रमचय अपरिवर्तनीय तंत्रिका नेटवर्क क्यों चाहते हैं?

— kc Sayz 'kc Sayz'

Answer 1

जहां तक ​​मुझे पता है, किसी ने भी यह कोशिश नहीं की है, जिस तरह से नेटवर्क संरचित है। प्रत्येक इनपुट में वजन का एक सेट होता है, जो अधिक इनपुट से जुड़ा होता है। यदि इनपुट स्विच करते हैं, तो आउटपुट भी होगा ।

हालाँकि, आप एक नेटवर्क का निर्माण कर सकते हैं जो इस व्यवहार से संपर्क करता है। अपने प्रशिक्षण सेट में, बैच लर्निंग का उपयोग करें और प्रत्येक प्रशिक्षण नमूने के लिए, नेटवर्क को सभी संभव क्रमपरिवर्तन दें जैसे कि यह क्रमपरिवर्तन अपरिवर्तनीय होना सीखता है। यह वास्तव में कभी नहीं होगा, यह सिर्फ करीब हो सकता है ।

ऐसा करने का एक और तरीका यह है कि सभी इनपुट के लिए वेट को दोहराया जाए। उदाहरण के लिए, मान लें कि आपके पास 3 इनपुट (i0, i1, i2) हैं, और अगली छिपी हुई परत में 2 नोड्स (hl0, hl1) और सक्रियण फ़ंक्शन है। पूरी तरह से जुड़ी हुई परत को मानते हुए, आपके पास 2 वजन 0 और w1 है। छिपी हुई परत के नोड्स hl0 और hl1 क्रमशः, द्वारा दिए गए हैं

• hl0 = F (i0w0 + i1w0 + i2w0)

• hl1 = F (i0w1 + i1w1 + i2w1)

इस प्रकार आपको एक छिपी हुई परत दी जा रही है जिसके मान इनपुट से क्रमपरिवर्तन अपरिवर्तनीय हैं। अब से, आप बाकी नेटवर्क को सीख और बना सकते हैं जैसा कि आप फिट देखते हैं। यह एक दृष्टिकोण है, जो कि परतों की परतों से निकला है।

---

ऑफ-टॉपिक, यह एक शांत परियोजना की तरह लगता है। यदि आप किसी शोध परियोजना में सहयोग करना चाहते हैं, तो मुझसे संपर्क करें (मेरी प्रोफ़ाइल जांचें)

Comments

सुझाव दिया गया पहला दृष्टिकोण कम्प्यूटेशनल जटिलता के कारण मेरे मामले में लागू नहीं होगा। दूसरी ओर दूसरा भी शायद प्रतिबंधक लगता है। लेकिन यह निश्चित रूप से एक अच्छी शुरुआत है। अब तक मैं जो भी लेकर आया हूं, वह इस पेपर में पाए गए दृष्टिकोण के समान है: arxiv.org/pdf/1612.04530.pdf । पहले मैं इनपुट के सभी जोड़े (आमतौर पर सभी k-tuples) x_i, x_j, i, j से 0 ... n पर विचार करता हूं और उन सभी पर कुछ तंत्रिका नेटवर्क (प्रत्येक जोड़ी पर एक ही nn) लागू करता हूं। यह मुझे n ** 2 आउटपुट f (x_i, x_j) देता है और फिर मैं उन्हें औसत (या अधिकतम लेता हूं) और परिणाम पर एनोटर एनएन लागू करता हूं।

— जोसेफ ओन्ड्रेज

यह मैं अब तक के साथ आया हूं: github.com/josefondrej/Symmetric-Layers

— जोसेफ ओन्ड्रेज

Answer 2

यहाँ कुछ है जो आप के लिए देख रहे हो सकता है:

• डीप सेट, https://papers.nips.cc/paper/6931-deep-sets.pdf
• BRUNO: विनिमेय डेटा के लिए एक गहन पुनरावर्ती मॉडल, https://arxiv.org/pdf/1802.0758.pdf
• डीप लर्निंग विथ सेट्स एंड पॉइंट क्लाउड्स, https://openreview.net/pdf?id=HJF3iD9xe
• क्रमपरिवर्तन-संतुलन तंत्रिका नेटवर्क ने डायनामिक्स भविष्यवाणी पर लागू किया, https://arxiv.org/pdf/1612.04530.pdf

Answer 3

मैंने यहाँ Keras का उपयोग करके क्रमिक लेयर लागू किया है: https://github.com/off99555/superkeras/blob/master/permutational_layer.py

आप PermutationalModuleइसे उपयोग करने के लिए फ़ंक्शन को कॉल कर सकते हैं ।

इस पत्र के बाद लागू किया गया: https://arxiv.org/pdf/1612.04530.pdf

विचार के सभी जोड़े तुलना करने के लिए है एन ^ 2 से जोड़े एन , आदानों साझा वजन के साथ मॉडल का उपयोग, तो समारोह पूलिंग का उपयोग एन पर बार एन आदानों। आउटपुट आप पूलिंग का फिर से उपयोग कर सकते हैं लेकिन कागज में, वे अन्य पूलिंग का उल्लेख नहीं करते हैं।