मेरे स्पार्क यूआई से। स्किप होने का क्या मतलब है?
मेरे स्पार्क यूआई से। स्किप होने का क्या मतलब है?
जवाबों:
आमतौर पर इसका मतलब है कि डेटा कैश से प्राप्त किया गया है और दिए गए चरण को फिर से निष्पादित करने की आवश्यकता नहीं थी। यह आपके DAG के अनुरूप है जो दर्शाता है कि अगले चरण में फेरबदल ( reduceByKey) की आवश्यकता है । जब भी फेरबदल होता है तो स्पार्क स्वचालित रूप से उत्पन्न किए गए डेटा को कैश करता है :
शफ़ल डिस्क पर बड़ी संख्या में मध्यवर्ती फ़ाइलों को भी उत्पन्न करता है। स्पार्क 1.3 के अनुसार, इन फ़ाइलों को तब तक संरक्षित किया जाता है जब तक कि संबंधित RDD का उपयोग नहीं किया जाता है और कचरा एकत्र नहीं किया जाता है। ऐसा इसलिए किया जाता है ताकि यदि वंश फिर से गणना की जाती है तो फेरबदल फ़ाइलों को फिर से बनाने की आवश्यकता नहीं होती है।