pyspark पर टैग किए गए जवाब

मैं अपने मैक पर स्पार्क स्थापित करने की कोशिश कर रहा हूं। मैंने स्पार्क 2.4.0 और स्केला को स्थापित करने के लिए होम-ब्रुअ का उपयोग किया है। मैंने अपने एनाकोंडा वातावरण में PySpark को स्थापित किया है और विकास के लिए PyCharm का उपयोग कर रहा हूं। मैंने अपना बैश …

83 java  python  macos  apache-spark  pyspark 

मैं अपाचे स्पार्क के साथ नया हूँ और जाहिरा तौर पर मैंने अपनी मैकबुक में होमब्रे के साथ अपाचे-स्पार्क स्थापित किया है: Last login: Fri Jan 8 12:52:04 on console user@MacBook-Pro-de-User-2:~$ pyspark Python 2.7.10 (default, Jul 13 2015, 12:05:58) [GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin Type "help", …

81 python  apache-spark  pyspark  pycharm  homebrew 

मेरे पास एक स्ट्रिंग कॉलम के साथ एक डेट पीस्पार्क डेटाफ्रेम है MM-dd-yyyyऔर मैं इसे डेट कॉलम में परिवर्तित करने का प्रयास कर रहा हूं। मैंने कोशिश की: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() और मुझे एक नल मिलता है। क्या कोई मदद कर सकता है?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql 

पायथन और स्काला का उपयोग करते समय स्पार्क के प्रदर्शन की तुलना करने के लिए मैंने दोनों भाषाओं में समान नौकरी बनाई और रनटाइम की तुलना की। मुझे उम्मीद थी कि दोनों नौकरियों में लगभग समान समय लगेगा, लेकिन पायथन की नौकरी में केवल इतना ही 27minसमय लगा , जबकि …

16 python  scala  apache-spark  pyspark 

स्पार्क डेटाफ्रेम से पोस्टग्रैब टेबल्स में 50 मिलियन रिकॉर्ड के लाखों रिकॉर्ड डालने का सबसे कुशल तरीका क्या होगा। मैंने पिछले दिनों बल्क कॉपी और बैच साइज ऑप्शन का उपयोग करके स्पार्क से MSSQL तक किया है जो सफल भी रहा। क्या ऐसा ही कुछ है जो यहाँ पोस्टग्रेज के …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

मैंने OpenJDK 13.0.1 और अजगर 3.8 और स्पार्क 2.4.4 स्थापित किया है। इंस्टॉलेशन का परीक्षण करने के निर्देश स्पार्क इंस्टॉलेशन की जड़ से चलाने के लिए। \ Bin \ pyspark है। मुझे यकीन नहीं है कि अगर मैं स्पार्क इंस्टॉलेशन में एक कदम चूक गया, जैसे कुछ पर्यावरण चर स्थापित …

16 apache-spark  pyspark 

मैंने हाल ही में pysparkEMR क्लस्टर्स पर कई नौकरियों में त्रुटियों का एक समूह शुरू किया है । इरोस हैं java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at org.apache.spark.sql.execution.python.EvalPythonExec$$anonfun$doExecute$1.apply(EvalPythonExec.scala:127)... वे …

12 pandas  apache-spark  pyspark  pyarrow 

मैं खुद एक टेबल से जुड़ने पर स्पार्क के व्यवहार का पता लगा रहा हूं। मैं डेटाब्रिक्स का उपयोग कर रहा हूं। मेरा डमी परिदृश्य है: डेटाफ़्रेम ए के रूप में एक बाहरी तालिका पढ़ें (अंतर्निहित फाइलें डेल्टा प्रारूप में हैं) डेटाफ्रेम ए के रूप में डेटाफ्रेम बी को केवल …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake