मान लें कि मेरे पास कुछ गहन शिक्षण मॉडल वास्तुकला है, साथ ही एक चुने हुए मिनी-बैच आकार भी है। मैं उस मॉडल को प्रशिक्षित करने के लिए इन अपेक्षित स्मृति आवश्यकताओं से कैसे प्राप्त करूं?
एक उदाहरण के रूप में, आयाम 1000 के इनपुट के साथ एक (गैर-आवर्तक) मॉडल पर विचार करें, आयाम 100 की 4 पूरी तरह से जुड़ी छिपी हुई परतें, और आयाम 10 की एक अतिरिक्त आउटपुट परत। मिनी-बैच का आकार 256 उदाहरण है। सीपीयू और जीपीयू पर प्रशिक्षण प्रक्रिया के अनुमानित मेमोरी (रैम) पदचिह्न को कैसे निर्धारित किया जाता है? यदि इससे कोई अंतर पड़ता है, तो मान लें कि मॉडल को TensorFlow (इस प्रकार cuDNN का उपयोग करके) के साथ GPU पर प्रशिक्षित किया गया है।