yarn पर टैग किए गए जवाब

मैं YARN पर स्पार्क की नौकरी चलाते समय कोर की संख्या और निष्पादनकर्ताओं की संख्या के संबंध को समझने की कोशिश कर रहा हूं। परीक्षण वातावरण इस प्रकार है: डेटा नोड्स की संख्या: 3 डेटा नोड मशीन कल्पना: सीपीयू: कोर i7-4790 (कोर का #: 4, # धागे का: 8) RAM: …

194 hadoop  apache-spark  yarn 

मेरे पास एक रनिंग स्पार्क एप्लिकेशन है जहां यह उन सभी कोर पर कब्जा कर लेता है जहां मेरे अन्य एप्लिकेशन को कोई संसाधन आवंटित नहीं किया जाएगा। मैंने कुछ त्वरित शोध किया और लोगों ने कमांड को मारने के लिए YARN किल या / बिन / स्पार्क-क्लास का उपयोग …

101 apache-spark  yarn  pyspark 

Hadoop v1 में, मैंने प्रत्येक 7 mapper और reducer स्लॉट को 1GB के आकार के साथ असाइन किया है, मेरे mappers और reducers ठीक चलते हैं। मेरी मशीन में 8 जी मेमोरी, 8 प्रोसेसर है। अब YARN के साथ, एक ही मशीन पर एक ही एप्लिकेशन चलाने पर, मुझे कंटेनर …

85 hadoop  mapreduce  yarn  mrv2 

अभी के लिए, मेरे पास एक Hadoop जॉब है जो एक बहुत बड़े नाम के साथ काउंटर बनाता है। उदाहरण के लिए, निम्नलिखित एक stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits:। इस काउंटर को वेब इंटरफेस और getName()मेथड कॉल पर अलग किया गया है। मुझे पता चला है कि Hadoop की काउंटर अधिकतम नाम की सीमाएँ …

79 java  hadoop  mapreduce  yarn