मैं 2-3 मिलियन लेखों के साथ एक बड़े LSTM नेटवर्क को प्रशिक्षित करने और मेमोरी एरर के साथ संघर्ष कर रहा हूं (मैं AWS EC2 g2x2large का उपयोग करता हूं)।
मुझे पता चला कि इसका एक समाधान कम करना है batch_size। हालांकि, मुझे यकीन नहीं है कि यह पैरामीटर केवल मेमोरी दक्षता मुद्दों से संबंधित है या यदि यह मेरे परिणामों को प्रभावित करेगा। तथ्य की बात के रूप में, मैंने यह भी देखा कि batch_sizeउदाहरणों में इस्तेमाल आमतौर पर दो की शक्ति के रूप में होता है, जिसे मैं या तो नहीं समझता।
मुझे कोई आपत्ति नहीं है अगर मेरा नेटवर्क प्रशिक्षित होने में अधिक समय लेता है, लेकिन मैं यह जानना चाहूंगा कि क्या batch_sizeवसीयत को कम करने से मेरी भविष्यवाणियों की गुणवत्ता कम हो जाएगी।
धन्यवाद।
यह प्रश्न केरस के लिए विशिष्ट नहीं है। मुझे लगता है कि सामान्य कंस्यूस यह है कि छोटे नमूने आकार धीमी गति से अभिसरण करते हैं, लेकिन स्थानीय मिनीमा में फंसने का खतरा कम होता है
—
एलेक्स
मैंने ऐसे मामलों को देखा है जहां बहुत बड़े बैच आकार समान संख्या में प्रशिक्षण युगों के साथ अभिसरण को रोक सकते हैं।
—
कर्टिस व्हाइट