यहां सभी उत्तर महान हैं, लेकिन, किसी कारण से, अभी तक कुछ भी नहीं कहा गया है कि यह प्रभाव आपको आश्चर्यचकित क्यों नहीं करना चाहिए । खाली भर दूंगा।
मुझे एक आवश्यकता के साथ शुरू करना चाहिए जो काम करने के लिए बिल्कुल आवश्यक है: हमलावर को तंत्रिका नेटवर्क वास्तुकला (परतों की संख्या, प्रत्येक परत का आकार, आदि) जानना होगा । इसके अलावा, सभी मामलों में जिनकी मैंने खुद जांच की, हमलावर को उस मॉडल का स्नैपशॉट पता है जो उत्पादन में उपयोग किया जाता है, अर्थात सभी भार। दूसरे शब्दों में, नेटवर्क का "स्रोत कोड" एक रहस्य नहीं है।
यदि आप इसे ब्लैक बॉक्स की तरह मानते हैं तो आप एक तंत्रिका नेटवर्क को मूर्ख नहीं बना सकते। और आप विभिन्न नेटवर्कों के लिए एक ही मूर्ख छवि का पुन: उपयोग नहीं कर सकते। वास्तव में, आपको अपने आप को लक्ष्य नेटवर्क को "प्रशिक्षित" करना है, और यहां प्रशिक्षण से मेरा मतलब है कि मैं आगे और पीछे के मार्ग से गुजरता हूं, लेकिन विशेष रूप से किसी अन्य उद्देश्य के लिए तैयार किया गया है।
यह सब क्यों काम कर रहा है?
अब, यहाँ अंतर्ज्ञान है। छवियां बहुत अधिक आयामी हैं: यहां तक कि छोटे 32x32 रंग छवियों के स्थान में 3 * 32 * 32 = 3072आयाम हैं। लेकिन प्रशिक्षण डेटा सेट अपेक्षाकृत छोटा है और इसमें वास्तविक चित्र शामिल हैं, जिनमें से सभी में कुछ संरचना और अच्छे सांख्यिकीय गुण हैं (जैसे रंग की चिकनाई)। तो प्रशिक्षण डेटा सेट छवियों के इस विशाल स्थान के एक छोटे से कई गुना पर स्थित है।
दृढ़ नेटवर्क इस कई गुना पर बहुत अच्छी तरह से काम करते हैं, लेकिन मूल रूप से, बाकी जगह के बारे में कुछ भी नहीं जानते हैं। कई गुना के बाहर बिंदुओं का वर्गीकरण कई गुना के आधार पर एक रैखिक एक्सट्रपलेशन है। कोई आश्चर्य नहीं कि कुछ विशेष बिंदु गलत तरीके से एक्सट्रपलेटेड हैं। हमलावर को केवल इन बिंदुओं के सबसे करीब जाने के लिए एक रास्ता चाहिए।
उदाहरण
मुझे आपको एक ठोस उदाहरण देना है कि एक तंत्रिका नेटवर्क को कैसे मूर्ख बनाया जाए। इसे कॉम्पैक्ट बनाने के लिए, मैं एक नॉनलाइनियरिटी (सिग्मॉइड) के साथ एक बहुत ही सरल लॉजिस्टिक रिग्रेशन नेटवर्क का उपयोग करने जा रहा हूं। यह एक 10-आयामी इनपुट लेता है x, एक एकल संख्या की गणना करता है p=sigmoid(W.dot(x)), जो कि कक्षा 1 (बनाम कक्षा 0) की संभावना है।
मान लीजिए आप जानते हैं W=(-1, -1, 1, -1, 1, -1, 1, 1, -1, 1)और एक इनपुट के साथ शुरू करते हैं x=(2, -1, 3, -2, 2, 2, 1, -4, 5, 1)। एक फॉरवर्ड पास देता है sigmoid(W.dot(x))=0.0474या 95% संभावना है xजो कक्षा 0 का उदाहरण है।
हम एक और उदाहरण खोजना चाहेंगे y, जो xकि नेटवर्क के बहुत करीब है, लेकिन इसे 1 के रूप में वर्गीकृत किया गया है। नोट x10-आयामी है, इसलिए हमें 10 मानों को समाप्त करने की स्वतंत्रता है, जो बहुत कुछ है।
चूंकि W[0]=-1नकारात्मक है, इसलिए छोटे के y[0]कुल योगदान के लिए y[0]*W[0]छोटा होना बेहतर है। इसलिए, आइए बनाते हैं y[0]=x[0]-0.5=1.5। इसी तरह, W[2]=1सकारात्मक है, इसलिए बड़ा y[2]बनाने के लिए वृद्धि करना बेहतर है :। और इसी तरह।y[2]*W[2]y[2]=x[2]+0.5=3.5
परिणाम है y=(1.5, -1.5, 3.5, -2.5, 2.5, 1.5, 1.5, -3.5, 4.5, 1.5), और sigmoid(W.dot(y))=0.88। इस एक बदलाव के साथ हमने कक्षा 1 की संभाव्यता को 5% से 88% तक सुधार दिया!
सामान्यकरण
यदि आप पिछले उदाहरण को करीब से देखते हैं, तो आप देखेंगे कि मुझे पता था कि xइसे लक्ष्य वर्ग में स्थानांतरित करने के लिए कैसे ट्वीक करना है, क्योंकि मुझे नेटवर्क ग्रेडिएंट पता था। मैंने जो किया वह वास्तव में एक बैकप्रॉपैजेशन था , लेकिन वजन के बजाय डेटा के संबंध में।
सामान्य तौर पर, हमलावर लक्ष्य वितरण (0, 0, ..., 1, 0, ..., 0)(हर जगह शून्य, जिसे वह प्राप्त करना चाहता है, को छोड़कर) से शुरू होता है, डेटा के लिए बैकप्रॉपैगेट करता है और उस दिशा में एक छोटी सी चाल बनाता है। नेटवर्क स्थिति अद्यतन नहीं है।
अब यह स्पष्ट होना चाहिए कि यह फीड-फॉरवर्ड नेटवर्क की एक सामान्य विशेषता है जो एक छोटे से डेटा को कई गुना बढ़ाती है, चाहे वह कितना भी गहरा या डेटा की प्रकृति (छवि, ऑडियो, वीडियो या पाठ) हो।
Potection
सिस्टम को मूर्ख बनाने से रोकने का सबसे सरल तरीका है तंत्रिका नेटवर्क का एक पहनावा का उपयोग करना, अर्थात ऐसा सिस्टम जो प्रत्येक अनुरोध पर कई नेटवर्क के वोटों को एकत्र करता है। एक साथ कई नेटवर्कों के संबंध में बैकप्रोपगेट करना अधिक कठिन है। हमलावर इसे क्रमिक रूप से करने की कोशिश कर सकता है, एक समय में एक नेटवर्क, लेकिन एक नेटवर्क के लिए अपडेट दूसरे नेटवर्क के लिए प्राप्त परिणामों के साथ आसानी से गड़बड़ कर सकता है। जितना अधिक नेटवर्क का उपयोग किया जाता है, उतना ही जटिल एक हमला बन जाता है।
एक और संभावना है कि नेटवर्क को पास करने से पहले इनपुट को सुचारू किया जाए।
एक ही विचार का सकारात्मक उपयोग
आपको यह नहीं सोचना चाहिए कि छवि के लिए बैकप्रोगैगेशन में केवल नकारात्मक अनुप्रयोग हैं। एक बहुत ही समान तकनीक, जिसे डिकोनोवुलेशन कहा जाता है , का उपयोग विज़ुअलाइज़ेशन और बेहतर समझ के लिए किया जाता है कि न्यूरॉन्स ने क्या सीखा है।
यह तकनीक एक छवि को संश्लेषित करने की अनुमति देती है जो एक विशेष न्यूरॉन को आग लगाने का कारण बनती है, मूल रूप से नेत्रहीन "न्यूरॉन की तलाश में है", जो सामान्य रूप से दृढ़ तंत्रिका नेटवर्क को अधिक व्याख्यात्मक बनाता है।
