hdfs पर टैग किए गए जवाब

मैं स्पार्क में एक सीएसवी पढ़ना चाहूंगा और इसे डेटाफ्रेम के रूप में परिवर्तित करूंगा और इसे एचडीएफएस में स्टोर करूंगा df.registerTempTable("table_name") मैंने कोशिश की है: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") त्रुटि जो मुझे मिली: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

अपाचे लकड़ी की छत के लक्षण हैं: स्व का वर्णन स्तंभकार प्रारूप भाषा-स्वतंत्र एवरो, सीक्वेंस फाइल्स, आरसी फाइल आदि की तुलना में मैं प्रारूपों का अवलोकन चाहता हूं। मैंने पहले ही पढ़ा है: हादोप फाइल फॉर्मेट्स के साथ इम्पाला कैसे काम करता है , यह प्रारूपों पर कुछ जानकारी देता …

136 file  hadoop  hdfs  avro  parquet 

एचडीएफएस से स्थानीय फाइल सिस्टम में फाइल कॉपी कैसे करें। फ़ाइल के नीचे कोई भौतिक स्थान नहीं है, निर्देशिका भी नहीं है। आगे के सत्यापन के लिए मैं उन्हें अपने स्थानीय में कैसे स्थानांतरित कर सकता हूं।

135 hadoop  copy  hdfs 

यह एक तरह का भोला सवाल है लेकिन मैं NoSQL प्रतिमान के लिए नया हूं और इसके बारे में ज्यादा नहीं जानता। तो अगर कोई मुझे स्पष्ट रूप से HBase और Hadoop के बीच अंतर समझने में मदद कर सकता है या यदि कुछ संकेत देता है जो मुझे अंतर …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. hdfs में कुछ भी बनाने में सक्षम नहीं है मैंने किया root# bin/hadoop fs -safemode leave लेकिन दिखा रहा है safemode: Unknown command समस्या क्या है? उपाय

122 hadoop  hdfs 

के अनुसार Hadoop - The Definitive Guide FileInputFormats को परिभाषित करने वाले तार्किक रिकॉर्ड आमतौर पर HDFS ब्लॉकों में बड़े करीने से फिट नहीं होते हैं। उदाहरण के लिए, एक TextInputFormat के तार्किक रिकॉर्ड लाइनें हैं, जो एचडीएफएस सीमाओं को अधिक बार पार नहीं करेगा। उदाहरण के लिए, आपके प्रोग्राम …

119 hadoop  split  mapreduce  block  hdfs 

मैप रिड्यूस प्रोग्रामिंग में कम चरण में इसके उप-भागों के रूप में फेरबदल, छंटाई और कम करना है। छंटनी एक महंगा मामला है। Map Reduce Programming में reducer में फेरबदल और छँटाई के उद्देश्य क्या है?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

क्या वे समान होने चाहिए? लेकिन, क्यों " hadoop fs" कमांड स्थानीय फ़ाइल दिखाते hdfs filesसमय " hdfs dfs" कमांड दिखाते हैं? यहाँ हैवड संस्करण की जानकारी: Hadoop 2.0.0-mr1-cdh4.2.1 तोड़फोड़ git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.1.1-Packaging-MR1/build/cdh4/mr1/2.02/2.0 -mr1-cdh4.2.1 / स्रोत -r पर संकलित द्वारा जेनकींस सोम अप्रैल 22 10:48:26 पीडीटी 2013

109 hadoop  hdfs 

मैं du -shआम लिनक्स फाइल सिस्टम में जानता हूं । लेकिन एचडीएफएस के साथ ऐसा कैसे करें?

96 hadoop  command-line  directory  hdfs