mapreduce पर टैग किए गए जवाब

मुझे पता है कि कैसे - Listसे सरल जावा को "बदलना" है , अर्थात:YZ List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); अब मैं मूल रूप से एक मानचित्र के साथ ही करना चाहता हूं, अर्थात: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 …

209 java  mapreduce  java-8  java-stream  collectors 

जैसा कि वर्तमान में खड़ा है, यह प्रश्न हमारे प्रश्नोत्तर प्रारूप के लिए एक अच्छा फिट नहीं है। हम तथ्यों, संदर्भों या विशेषज्ञता के आधार पर उत्तर दिए जाने की अपेक्षा करते हैं, लेकिन इस सवाल पर बहस, बहस, मतदान या विस्तारित चर्चा की संभावना होगी। यदि आपको लगता है …

202 mapreduce 

मेरे CouchDB प्रश्न से संबंधित । क्या कोई मैप कर सकता है?

166 frameworks  mapreduce  glossary 

" मैप और रिड्यूस " एल्गोरिदम के उपयोग से कौन से परिदृश्य वारंट होंगे ? क्या इस एल्गोरिथ्म का .NET कार्यान्वयन है?

152 c#  mapreduce 

कई वास्तविक जीवन की स्थितियों में, जहाँ आप MapReduce लागू करते हैं, अंतिम एल्गोरिदम कई MapReduce चरणों को समाप्त करता है। यानी Map1, Reduce1, Map2, Reduce2, और इसी तरह। तो आपके पास अंतिम नक्शे से इनपुट के रूप में आवश्यक अंतिम कम से आउटपुट है। मध्यवर्ती डेटा एक ऐसी चीज़ …

124 hadoop  mapreduce 

के अनुसार Hadoop - The Definitive Guide FileInputFormats को परिभाषित करने वाले तार्किक रिकॉर्ड आमतौर पर HDFS ब्लॉकों में बड़े करीने से फिट नहीं होते हैं। उदाहरण के लिए, एक TextInputFormat के तार्किक रिकॉर्ड लाइनें हैं, जो एचडीएफएस सीमाओं को अधिक बार पार नहीं करेगा। उदाहरण के लिए, आपके प्रोग्राम …

119 hadoop  split  mapreduce  block  hdfs 

मैप रिड्यूस प्रोग्रामिंग में कम चरण में इसके उप-भागों के रूप में फेरबदल, छंटाई और कम करना है। छंटनी एक महंगा मामला है। Map Reduce Programming में reducer में फेरबदल और छँटाई के उद्देश्य क्या है?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

मुख्य उदाहरणों में से एक है जो MapReduce की शक्ति का प्रदर्शन करने में उपयोग किया जाता है, वह है टेरासॉर्ट बेंचमार्क । मुझे MapReduce वातावरण में उपयोग किए जाने वाले सॉर्टिंग एल्गोरिदम की मूल बातें समझने में परेशानी हो रही है। मुझे छाँटने के लिए बस अन्य सभी तत्वों …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

बन्द है। यह प्रश्न स्टैक ओवरफ्लो दिशानिर्देशों को पूरा नहीं करता है । यह वर्तमान में उत्तर स्वीकार नहीं कर रहा है। इस प्रश्न को सुधारना चाहते हैं? सवाल को अपडेट करें ताकि यह स्टैक ओवरफ्लो के लिए विषय पर हो । 4 साल पहले बंद हुआ । इस प्रश्न …

98 c#  .net  hadoop  mapreduce 

क्या स्पार्क और हडोप के बीच कोई निर्भरता है ? यदि नहीं, तो क्या कोई विशेषता है जब मैं हडोप के बिना स्पार्क चलाऊंगा ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

MongoDB के $inक्लॉज का उपयोग करते समय , लौटाए गए दस्तावेजों का क्रम हमेशा सरणी तर्क के क्रम के अनुरूप होता है?

90 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

Hadoop v1 में, मैंने प्रत्येक 7 mapper और reducer स्लॉट को 1GB के आकार के साथ असाइन किया है, मेरे mappers और reducers ठीक चलते हैं। मेरी मशीन में 8 जी मेमोरी, 8 प्रोसेसर है। अब YARN के साथ, एक ही मशीन पर एक ही एप्लिकेशन चलाने पर, मुझे कंटेनर …

85 hadoop  mapreduce  yarn  mrv2 

मैं मानचित्र के बारे में बहुत कुछ सुनता / कम करता हूं, विशेष रूप से Google की व्यापक समानांतर गणना प्रणाली के संदर्भ में। वास्तव में क्या है?

84 language-agnostic  mapreduce 

Hadoop में जब कार्य कम हो जाते हैं? क्या वे मैपर के एक निश्चित प्रतिशत (दहलीज) के बाद शुरू होते हैं? यदि हां, तो क्या यह सीमा तय है? आमतौर पर किस तरह की दहलीज का उपयोग किया जाता है?

82 hadoop  mapreduce  reduce 

अभी के लिए, मेरे पास एक Hadoop जॉब है जो एक बहुत बड़े नाम के साथ काउंटर बनाता है। उदाहरण के लिए, निम्नलिखित एक stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits:। इस काउंटर को वेब इंटरफेस और getName()मेथड कॉल पर अलग किया गया है। मुझे पता चला है कि Hadoop की काउंटर अधिकतम नाम की सीमाएँ …

79 java  hadoop  mapreduce  yarn