Pyspark डेटाफ़्रेम में कॉलम कैसे हटाएं

Question 1

>>> a
DataFrame[id: bigint, julian_date: string, user_id: bigint]
>>> b
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]

दो हैं id: bigintऔर मैं एक को हटाना चाहता हूं। मैं कैसे कर सकता हूँ?

Question 2

स्पार्क प्रलेखन पढ़ना मुझे एक आसान समाधान मिला।

चिंगारी के संस्करण 1.4 के बाद से एक फ़ंक्शन है drop(col)जो डेटाफ़्रेम पर pyspark में उपयोग किया जा सकता है।

आप इसे दो तरह से इस्तेमाल कर सकते हैं

df.drop('age').collect()
df.drop(df.age).collect()

Pyspark प्रलेखन - ड्रॉप

Question 3

@ पैट्रिक के उत्तर में जोड़कर, आप कई कॉलमों को छोड़ने के लिए निम्न का उपयोग कर सकते हैं

columns_to_drop = ['id', 'id_copy']
df = df.drop(*columns_to_drop)

Question 4

एक आसान तरीका है यह करने के लिए उपयोगकर्ता के लिए "है select" और एहसास है कि तुम सब की एक सूची प्राप्त कर सकते हैं columnsके लिए dataframe, dfके साथdf.columns

drop_list = ['a column', 'another column', ...]

df.select([column for column in df.columns if column not in drop_list])

Question 5

आप या तो स्पष्ट रूप से उन कॉलम को नाम दे सकते हैं जिन्हें आप रखना चाहते हैं, जैसे:

keep = [a.id, a.julian_date, a.user_id, b.quan_created_money, b.quan_created_cnt]

या एक अधिक सामान्य दृष्टिकोण में आप सूची विवरण के माध्यम से विशिष्ट एक को छोड़कर सभी कॉलम शामिल करेंगे। इस तरह के उदाहरण के लिए ( idकॉलम को छोड़कर b):

keep = [a[c] for c in a.columns] + [b[c] for c in b.columns if c != 'id']

अंत में आप अपने सम्मिलित परिणाम पर चयन करते हैं:

d = a.join(b, a.id==b.id, 'outer').select(*keep)

Question 6

आप दो तरह से उपयोग कर सकते हैं:

1: आप बस आवश्यक कॉलम रखते हैं:

drop_column_list = ["drop_column"]
df = df.select([column for column in df.columns if column not in drop_column_list])

2: यह अधिक सुरुचिपूर्ण तरीका है।

df = df.drop("col_name")

आपको संग्रह () संस्करण से बचना चाहिए, क्योंकि यह मास्टर को संपूर्ण डेटासेट में भेज देगा, यह एक बड़ा कंप्यूटिंग प्रयास करेगा!

Question 7

हो सकता है कि विषय से थोड़ा हटकर हो, लेकिन यहां स्कैला का उपयोग करके समाधान दिया गया है। Arrayअपने से कॉलम के नाम बनाएं oldDataFrameऔर उन कॉलम को हटाएं जिन्हें आप ड्रॉप करना चाहते हैं ("colExclude")। तब से पारित Array[Column]करने के लिए selectऔर खोल दे।

val columnsToKeep: Array[Column] = oldDataFrame.columns.diff(Array("colExclude"))
                                               .map(x => oldDataFrame.col(x))
val newDataFrame: DataFrame = oldDataFrame.select(columnsToKeep: _*)

Question 8

2 आंकड़ों पर विचार करें:

>>> aDF.show()
+---+----+
| id|datA|
+---+----+
|  1|  a1|
|  2|  a2|
|  3|  a3|
+---+----+

तथा

>>> bDF.show()
+---+----+
| id|datB|
+---+----+
|  2|  b2|
|  3|  b3|
|  4|  b4|
+---+----+

आप जो खोज रहे हैं, उसे पूरा करने के लिए 2 तरीके हैं:

1. विभिन्न जुड़ने की स्थिति। इसके बजाय aDF.id == bDF.id कहने के बजाय

aDF.join(bDF, aDF.id == bDF.id, "outer")

इसे लिखें:

aDF.join(bDF, "id", "outer").show()
+---+----+----+
| id|datA|datB|
+---+----+----+
|  1|  a1|null|
|  3|  a3|  b3|
|  2|  a2|  b2|
|  4|null|  b4|
+---+----+----+

यह स्वचालित रूप से छोड़ने की प्रक्रिया से छुटकारा पा लेगा।

2. अलियासिंग का उपयोग करें: इसमें आपको बी स्पेसिफिक आईडी से संबंधित डेटा खो जाएगा।

>>> from pyspark.sql.functions import col
>>> aDF.alias("a").join(bDF.alias("b"), aDF.id == bDF.id, "outer").drop(col("b.id")).show()

+----+----+----+
|  id|datA|datB|
+----+----+----+
|   1|  a1|null|
|   3|  a3|  b3|
|   2|  a2|  b2|
|null|null|  b4|
+----+----+----+

Question 9

आप इस तरह से कॉलम को हटा सकते हैं:

df.drop("column Name).columns

आपके मामले में :

df.drop("id").columns

यदि आप एक से अधिक कॉलम छोड़ना चाहते हैं, तो आप कर सकते हैं:

dfWithLongColName.drop("ORIGIN_COUNTRY_NAME", "DEST_COUNTRY_NAME")