मैं 64 बेतरतीब ढंग से उत्पन्न डेटा बिंदुओं पर एक एकल अवधारणात्मक (1000 इनपुट इकाइयों, 1 आउटपुट, कोई छिपी हुई परतों) को प्रशिक्षित करने की कोशिश कर रहा हूं। मैं एडम ऑप्टिमाइज़र का उपयोग करके पाइटोरेक का उपयोग कर रहा हूं:
import torch
from torch.autograd import Variable
torch.manual_seed(545345)
N, D_in, D_out = 64, 1000, 1
x = Variable(torch.randn(N, D_in))
y = Variable(torch.randn(N, D_out))
model = torch.nn.Linear(D_in, D_out)
loss_fn = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.Adam(model.parameters())
for t in xrange(5000):
y_pred = model(x)
loss = loss_fn(y_pred, y)
print(t, loss.data[0])
optimizer.zero_grad()
loss.backward()
optimizer.step()
प्रारंभ में, नुकसान जल्दी से कम हो जाता है, जैसा कि अपेक्षित था:
(0, 91.74887084960938)
(1, 76.85824584960938)
(2, 63.434078216552734)
(3, 51.46927261352539)
(4, 40.942893981933594)
(5, 31.819372177124023)
लगभग 300 पुनरावृत्तियों, त्रुटि शून्य के पास पहुँचती है:
(300, 2.1734419819452455e-12)
(301, 1.90354676465887e-12)
(302, 2.3347573874232808e-12)
यह कुछ हजार पुनरावृत्तियों के लिए जाता है। हालाँकि, बहुत लंबे समय तक प्रशिक्षण के बाद, त्रुटि फिर से बढ़ने लगती है:
(4997, 0.002102422062307596)
(4998, 0.0020302983466535807)
(4999, 0.0017039275262504816)
ये क्यों हो रहा है?
मुझे नहीं लगता कि ओवरफिटिंग इसे समझाती है - प्रशिक्षण हानि ऊपर जा रही है, सत्यापन हानि नहीं। उदाहरण के लिए, ऐसा नहीं होता है जब केवल एडेम के साथ ही एसडब्ल्यूई का उपयोग किया जाता है।
—
बाई ली
मॉडल में 1000 पैरामीटर हैं और केवल 1 डेटा बिंदु है, इसलिए मॉडल को डेटा बिल्कुल फिट होना चाहिए और नुकसान शून्य होना चाहिए।
—
बाई ली
ओह सॉरी, आप सही कह रहे हैं। 64 डेटा पॉइंट हैं।
—
बाई ली
64 डेटा बिंदु (यानी, बाधाएं) और 1000 पैरामीटर हैं, इसलिए मापदंडों के लिए विकल्प ढूंढना संभव है ताकि त्रुटि शून्य हो (और यह विश्लेषणात्मक रूप से करना आसान है)। मेरा प्रश्न यह है कि आदम को यह क्यों नहीं मिला।
—
बाई ली
आइए हम इस चर्चा को चैट में जारी रखते हैं ।
—
बाई ली
