hadoop पर टैग किए गए जवाब

मुख्य उदाहरणों में से एक है जो MapReduce की शक्ति का प्रदर्शन करने में उपयोग किया जाता है, वह है टेरासॉर्ट बेंचमार्क । मुझे MapReduce वातावरण में उपयोग किए जाने वाले सॉर्टिंग एल्गोरिदम की मूल बातें समझने में परेशानी हो रही है। मुझे छाँटने के लिए बस अन्य सभी तत्वों …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

क्या वे समान होने चाहिए? लेकिन, क्यों " hadoop fs" कमांड स्थानीय फ़ाइल दिखाते hdfs filesसमय " hdfs dfs" कमांड दिखाते हैं? यहाँ हैवड संस्करण की जानकारी: Hadoop 2.0.0-mr1-cdh4.2.1 तोड़फोड़ git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.1.1-Packaging-MR1/build/cdh4/mr1/2.02/2.0 -mr1-cdh4.2.1 / स्रोत -r पर संकलित द्वारा जेनकींस सोम अप्रैल 22 10:48:26 पीडीटी 2013

109 hadoop  hdfs 

लेटेस्ट हडूप -२.२ रिलीज के लिए नामेनोड शुरू करते समय मुझे निम्न त्रुटि हो रही है। मुझे हडूप बिन फ़ोल्डर में विंडुटिल्स एक्सई फ़ाइल नहीं मिली। मैंने आज्ञाओं के नीचे प्रयास किया $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils …

108 hadoop 

बन्द है। यह प्रश्न स्टैक ओवरफ्लो दिशानिर्देशों को पूरा नहीं करता है । यह वर्तमान में उत्तर स्वीकार नहीं कर रहा है। इस प्रश्न को सुधारना चाहते हैं? सवाल को अपडेट करें ताकि यह स्टैक ओवरफ्लो के लिए विषय पर हो । 4 साल पहले बंद हुआ । इस प्रश्न …

98 c#  .net  hadoop  mapreduce 

मैं NaiveBayesClassiferइस त्रुटि को प्राप्त करते हुए, हडूप का उपयोग करके एक सरल चलाने की कोशिश कर रहा हूं Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) कोड: Configuration configuration = new …

96 java  hadoop  io 

मैं du -shआम लिनक्स फाइल सिस्टम में जानता हूं । लेकिन एचडीएफएस के साथ ऐसा कैसे करें?

96 hadoop  command-line  directory  hdfs 

क्या स्पार्क और हडोप के बीच कोई निर्भरता है ? यदि नहीं, तो क्या कोई विशेषता है जब मैं हडोप के बिना स्पार्क चलाऊंगा ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

मैं अपने हडॉप संबंधित परियोजना के लिए हडूप फ़ाइल प्रारूप में से एक का उपयोग करने की योजना बना रहा हूं। मैं समझता हूं कि पूर्ण-स्कैन के लिए या जब हमें सभी कॉलम डेटा की आवश्यकता होती है, तो कॉलम आधारित क्वेरी और एवरो के लिए लकड़ी की छत कुशल …

91 hadoop  avro  parquet 

कमांड प्रॉम्प्ट से मैं किस हाइव संस्करण का उपयोग कर सकता हूं। नीचे विवरण है- मैं टेबल में हाइव टेबल और एक्सेस रिकॉर्ड से कनेक्ट करने के लिए पुट्टी का उपयोग कर रहा हूं। तो मैंने क्या किया- मैंने पुट्टी खोली और होस्ट नाम में मैंने टाइप किया- leo-ingesting.vip.name.comऔर फिर …

87 hadoop  hive 

मैं हाइव के साथ उपलब्ध भंडारण प्रारूपों पर कुछ परीक्षण चला रहा हूं और प्रमुख विकल्पों के रूप में Parquet और ORC का उपयोग कर रहा हूं। मैंने ORC को एक बार डिफ़ॉल्ट संपीड़न के साथ और एक बार स्नैपी के साथ शामिल किया। मैंने कई दस्तावेजों को पढ़ा है …

87 hadoop  hive  parquet  snappy  orc 

अपने स्थानीय मशीन में हूप स्थापित करते समय, मुझे निम्नलिखित त्रुटि मिली ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection …

86 linux  hadoop  ssh 

Hadoop v1 में, मैंने प्रत्येक 7 mapper और reducer स्लॉट को 1GB के आकार के साथ असाइन किया है, मेरे mappers और reducers ठीक चलते हैं। मेरी मशीन में 8 जी मेमोरी, 8 प्रोसेसर है। अब YARN के साथ, एक ही मशीन पर एक ही एप्लिकेशन चलाने पर, मुझे कंटेनर …

85 hadoop  mapreduce  yarn  mrv2 

जैसा कि वर्तमान में खड़ा है, यह प्रश्न हमारे प्रश्नोत्तर प्रारूप के लिए एक अच्छा फिट नहीं है। हम उम्मीद करते हैं कि उत्तर तथ्यों, संदर्भों या विशेषज्ञता द्वारा समर्थित होंगे, लेकिन इस सवाल पर बहस, बहस, मतदान या विस्तारित चर्चा की संभावना होगी। यदि आपको लगता है कि इस …

84 nosql  hadoop  cassandra  hbase  data-processing 

Hadoop में जब कार्य कम हो जाते हैं? क्या वे मैपर के एक निश्चित प्रतिशत (दहलीज) के बाद शुरू होते हैं? यदि हां, तो क्या यह सीमा तय है? आमतौर पर किस तरह की दहलीज का उपयोग किया जाता है?

82 hadoop  mapreduce  reduce 

हम CSV फ़ाइल में हाइव क्वेरी के परिणाम डालना चाहते हैं। मुझे लगा कि कमांड को इस तरह दिखना चाहिए: insert overwrite directory '/home/output.csv' select books from table; जब मैं इसे चलाता हूं, तो यह कहती है कि यह सफलतापूर्वक पूरा हो गया है लेकिन मैं कभी फ़ाइल नहीं ढूंढ …

81 database  hadoop  hive  hiveql