pyspark-sql पर टैग किए गए जवाब

मैं पांडा बैकग्राउंड से आता हूं और सीएसवी फाइलों के डेटा को डेटाफ्रेम में पढ़ने के लिए इस्तेमाल किया जाता है और फिर कॉलम के नाम को साधारण कमांड का उपयोग करके कुछ उपयोगी में बदल दिया जाता है: df.columns = new_column_name_list हालांकि, वही sqlContext का उपयोग करके बनाए गए …

201 python  apache-spark  pyspark  pyspark-sql 

कृपया पंडों के लिए pyspark डेटाफ्रेम विकल्प का सुझाव दें df['col'].unique()। मैं एक pyspark डेटाफ़ॉर्म कॉलम में सभी अद्वितीय मानों को सूचीबद्ध करना चाहता हूं। SQL प्रकार का तरीका नहीं (अलग-अलग मानों के लिए फिर SQL क्वेरी रजिस्टर करें)। इसके अलावा मुझे ज़रूरत नहीं है groupby->countDistinct, इसके बजाय मैं उस …

85 pyspark  pyspark-sql 

मेरे पास एक स्ट्रिंग कॉलम के साथ एक डेट पीस्पार्क डेटाफ्रेम है MM-dd-yyyyऔर मैं इसे डेट कॉलम में परिवर्तित करने का प्रयास कर रहा हूं। मैंने कोशिश की: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() और मुझे एक नल मिलता है। क्या कोई मदद कर सकता है?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql