क्या तंत्रिका नेटवर्क एक nonlinear वर्गीकरण मॉडल बनाता है?

Question

मैं गैर-रैखिक वर्गीकरण मॉडल के गणितीय अर्थ को समझने की कोशिश कर रहा हूँ:

मैंने अभी एक लेख पढ़ा है जिसमें तंत्रिका जाल के बारे में बात की जा रही है जो एक गैर-रैखिक वर्गीकरण मॉडल है।

लेकिन मुझे लगता है कि:

पहली परत:

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

बाद की परत

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

को सरल बनाया जा सकता है

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

एक दो परत तंत्रिका नेटवर्क एक सरल रैखिक प्रतिगमन है

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

यह किसी भी संख्या में परतों को दिखाया जा सकता है, क्योंकि किसी भी संख्या के भार का रैखिक संयोजन फिर से रैखिक होता है।

क्या वास्तव में एक तंत्रिका जाल एक गैर रेखीय वर्गीकरण मॉडल बनाता है?
सक्रियण फ़ंक्शन मॉडल की गैर-रैखिकता को कैसे प्रभावित करेगा?
क्या तुम मुझे समझा सकते हो?

Answer 1

मुझे लगता है कि आप तंत्रिका नेटवर्क में नोड्स में सक्रियण फ़ंक्शन को भूल जाते हैं , जो गैर-रैखिक है और पूरे मॉडल को गैर-रैखिक बना देगा।

आपके सूत्र में पूरी तरह से सही नहीं है, जहां,

$$h_1 \neq w_1x_1+w_2x_2$$

परंतु

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

जहाँ इस तरह सिग्मॉइड फ़ंक्शन, $\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

के एक संख्यात्मक उदाहरण का उपयोग अवग्रह समारोह के प्रभाव की व्याख्या करने के चलो, मान लीजिए आपके पास तब अवग्रह ( 4 ) = 0.99 । दूसरी ओर, आप लगता डब्ल्यू 1 एक्स 1 + डब्ल्यू 2 एक्स 2 = 4000 , अवग्रह ( 4000 ) = 1 और यह के रूप में लगभग रूप में ही है अवग्रह ( 4 ) , जो गैर रेखीय है।$w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

$H_1$$\text{sigmoid}(-7.65)$

Comments

सक्रियण फ़ंक्शन मॉडल की गैर-रैखिकता को कैसे प्रभावित करेगा? क्या तुम मुझे समझा सकते हो?

— अल्वारो जोआओ

Answer 2

आप सही हैं कि कई रैखिक परतें एक ही रैखिक परत के बराबर हो सकती हैं। जैसा कि अन्य जवाबों में कहा गया है, एक नॉनलाइनियर एक्टिविटी फंक्शन नॉनलाइनियर वर्गीकरण की अनुमति देता है। यह कहना कि एक क्लासिफायरियर नॉनलाइनर है, इसका मतलब है कि इसमें एक नॉनलाइनर डिसऑर्डर सीमा है। निर्णय सीमा एक सतह है जो कक्षाओं को अलग करती है; वर्गीकरणकर्ता निर्णय सीमा के एक तरफ सभी बिंदुओं के लिए एक वर्ग और दूसरी तरफ सभी बिंदुओं के लिए एक अन्य वर्ग की भविष्यवाणी करेगा।

$y$$h$$w$$b$

$$y = \sigma(hw + b)$$

$\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

आइए छिपी हुई इकाई सक्रियताओं के संबंध में वर्गीकरण नियम पर विचार करें। हम देख सकते हैं कि छिपी हुई इकाई सक्रियण एक लाइन पर अनुमानित हैं$hW + b$। कक्षा को असाइन करने का नियम एक कार्य है$y$, जो लाइन के साथ प्रक्षेपण से संबंधित है। इसलिए वर्गीकरण नियम यह निर्धारित करने के बराबर है कि क्या लाइन के साथ प्रक्षेपण कुछ सीमा से कम या अधिक है (इस मामले में, सीमा को पूर्वाग्रह के नकारात्मक द्वारा दिया गया है)। इसका मतलब यह है कि निर्णय सीमा एक हाइपरप्लेन है जो लाइन के लिए ऑर्थोगोनल है, और उस सीमा के अनुरूप बिंदु पर लाइन को काटता है।

मैंने पहले कहा था कि निर्णय सीमा गैर-अस्पष्ट है, लेकिन एक हाइपरप्लेन एक रैखिक सीमा की बहुत परिभाषा है। लेकिन, हम उत्पादन से ठीक पहले छिपी हुई इकाइयों के कार्य के रूप में सीमा पर विचार कर रहे हैं। पिछली छिपी परतों और उनके ग़ैर-सक्रियण कार्यों के कारण छिपी हुई इकाई सक्रियण मूल इनपुटों का एक अरेखीय कार्य है। नेटवर्क के बारे में सोचने का एक तरीका यह है कि यह डेटा को गैर-नेटवर्क रूप से कुछ फ़ीचर स्पेस में मैप करता है। इस स्थान में निर्देशांक अंतिम छिपी इकाइयों की सक्रियता द्वारा दिए गए हैं। नेटवर्क तब इस स्थान में रैखिक वर्गीकरण करता है (लॉजिस्टिक रिग्रेशन, इस मामले में)। हम मूल निविष्टियों के एक समारोह के रूप में निर्णय सीमा के बारे में भी सोच सकते हैं। यह फ़ंक्शन गैर-रेखीय होगा, जिसके परिणामस्वरूप इनपुट से छिपी इकाई सक्रियणों के लिए गैर-रेखीय मानचित्रण होगा।

यह ब्लॉग पोस्ट इस प्रक्रिया के कुछ अच्छे आंकड़े और एनिमेशन दिखाता है।

Answer 3

नॉनक्लियरिटी सिग्मॉइड एक्टिविटी फंक्शन, 1 / (1 + e ^ x) से आती है, जहां x भविष्यवाणियों और भार का रैखिक संयोजन है जिसे आपने अपने प्रश्न में संदर्भित किया है।

वैसे, इस सक्रियता की सीमा शून्य और एक है क्योंकि या तो भाजक इतना बड़ा हो जाता है कि अंश शून्य तक पहुंच जाता है, या e ^ x इतना छोटा हो जाता है कि अंश 1/1 तक पहुंच जाता है।