hadoop पर टैग किए गए जवाब

मैं वर्तमान में चल रहे किसी सर्वर पर Hadoop को विन्यस्त कर रहा हूँ CentOS । जब मैं चलता हूं start-dfs.shया stop-dfs.sh, मुझे निम्न त्रुटि मिलती है: WARN का उपयोग करें। NativeCodeLoader: अपने प्लेटफ़ॉर्म के लिए देशी-हडॉप लाइब्रेरी लोड करने में असमर्थ ... बिलिन-जावा कक्षाओं का उपयोग करना जहां लागू …

269 java  linux  hadoop  hadoop2  java.library.path 

बंद हो गया । यह सवाल राय आधारित है । यह वर्तमान में उत्तर स्वीकार नहीं कर रहा है। इस प्रश्न को सुधारना चाहते हैं? प्रश्न को अपडेट करें ताकि इस पोस्ट को संपादित करके तथ्यों और उद्धरणों के साथ उत्तर दिया जा सके । 4 साल पहले बंद हुआ …

256 hadoop  hive  apache-pig 

मैं YARN पर स्पार्क की नौकरी चलाते समय कोर की संख्या और निष्पादनकर्ताओं की संख्या के संबंध को समझने की कोशिश कर रहा हूं। परीक्षण वातावरण इस प्रकार है: डेटा नोड्स की संख्या: 3 डेटा नोड मशीन कल्पना: सीपीयू: कोर i7-4790 (कोर का #: 4, # धागे का: 8) RAM: …

194 hadoop  apache-spark  yarn 

Hadoop या HBase या Hive के उपयोग से क्या लाभ हैं ? मेरी समझ से, HBase मैप-कम का उपयोग करने से बचता है और इसमें HDFS के ऊपर एक कॉलम ओरिएंटेड स्टोरेज है। Hive , Hadoop और HBase के लिए एक sql- जैसा इंटरफ़ेस है । मैं यह भी जानना …

185 hadoop  hbase  hive  apache-pig 

मैंने AWS EC2 गाइड का उपयोग करके स्पार्क स्थापित किया और मैं bin/pysparkस्पार्क प्रॉम्प्ट को प्राप्त करने के लिए स्क्रिप्ट का उपयोग करके प्रोग्राम को ठीक से लॉन्च कर सकता हूं और क्विक स्टार्ट क्वाइड को सफलतापूर्वक भी कर सकता हूं। हालाँकि, मैं अपने जीवन के लिए यह पता नहीं …

144 python  scala  apache-spark  hadoop  pyspark 

मैं स्पार्क में एक सीएसवी पढ़ना चाहूंगा और इसे डेटाफ्रेम के रूप में परिवर्तित करूंगा और इसे एचडीएफएस में स्टोर करूंगा df.registerTempTable("table_name") मैंने कोशिश की है: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") त्रुटि जो मुझे मिली: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, …

141 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

अपाचे लकड़ी की छत के लक्षण हैं: स्व का वर्णन स्तंभकार प्रारूप भाषा-स्वतंत्र एवरो, सीक्वेंस फाइल्स, आरसी फाइल आदि की तुलना में मैं प्रारूपों का अवलोकन चाहता हूं। मैंने पहले ही पढ़ा है: हादोप फाइल फॉर्मेट्स के साथ इम्पाला कैसे काम करता है , यह प्रारूपों पर कुछ जानकारी देता …

136 file  hadoop  hdfs  avro  parquet 

एचडीएफएस से स्थानीय फाइल सिस्टम में फाइल कॉपी कैसे करें। फ़ाइल के नीचे कोई भौतिक स्थान नहीं है, निर्देशिका भी नहीं है। आगे के सत्यापन के लिए मैं उन्हें अपने स्थानीय में कैसे स्थानांतरित कर सकता हूं।

135 hadoop  copy  hdfs 

यह एक तरह का भोला सवाल है लेकिन मैं NoSQL प्रतिमान के लिए नया हूं और इसके बारे में ज्यादा नहीं जानता। तो अगर कोई मुझे स्पष्ट रूप से HBase और Hadoop के बीच अंतर समझने में मदद कर सकता है या यदि कुछ संकेत देता है जो मुझे अंतर …

130 hadoop  nosql  hbase  hdfs  difference 

मुझे पता है कि दोनों तालिका में एक स्तंभ पर किए गए हैं, लेकिन प्रत्येक ऑपरेशन अलग कैसे है।

129 hadoop  hive 

कई वास्तविक जीवन की स्थितियों में, जहाँ आप MapReduce लागू करते हैं, अंतिम एल्गोरिदम कई MapReduce चरणों को समाप्त करता है। यानी Map1, Reduce1, Map2, Reduce2, और इसी तरह। तो आपके पास अंतिम नक्शे से इनपुट के रूप में आवश्यक अंतिम कम से आउटपुट है। मध्यवर्ती डेटा एक ऐसी चीज़ …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. hdfs में कुछ भी बनाने में सक्षम नहीं है मैंने किया root# bin/hadoop fs -safemode leave लेकिन दिखा रहा है safemode: Unknown command समस्या क्या है? उपाय

122 hadoop  hdfs 

के अनुसार Hadoop - The Definitive Guide FileInputFormats को परिभाषित करने वाले तार्किक रिकॉर्ड आमतौर पर HDFS ब्लॉकों में बड़े करीने से फिट नहीं होते हैं। उदाहरण के लिए, एक TextInputFormat के तार्किक रिकॉर्ड लाइनें हैं, जो एचडीएफएस सीमाओं को अधिक बार पार नहीं करेगा। उदाहरण के लिए, आपके प्रोग्राम …

119 hadoop  split  mapreduce  block  hdfs 

मैप रिड्यूस प्रोग्रामिंग में कम चरण में इसके उप-भागों के रूप में फेरबदल, छंटाई और कम करना है। छंटनी एक महंगा मामला है। Map Reduce Programming में reducer में फेरबदल और छँटाई के उद्देश्य क्या है?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

क्या कोई मुझे हाइव की बाहरी तालिका और आंतरिक तालिकाओं के बीच का अंतर बता सकता है। मुझे पता है कि टेबल को गिराने के दौरान अंतर आता है। मुझे समझ में नहीं आ रहा है कि डेटा से आपका क्या मतलब है और मेटाडेटा को आंतरिक में हटा दिया …

110 hadoop  hive  hiveql