स्तंभ मान के आधार पर पंडों में डेटाफ़्रेम पंक्ति हटाना

507

मेरे पास निम्नलिखित डेटाफ़्रेम है:

             daysago  line_race rating        rw    wrating
 line_date                                                 
 2007-03-31       62         11     56  1.000000  56.000000
 2007-03-10       83         11     67  1.000000  67.000000
 2007-02-10      111          9     66  1.000000  66.000000
 2007-01-13      139         10     83  0.880678  73.096278
 2006-12-23      160         10     88  0.793033  69.786942
 2006-11-09      204          9     52  0.636655  33.106077
 2006-10-22      222          8     66  0.581946  38.408408
 2006-09-29      245          9     70  0.518825  36.317752
 2006-09-16      258         11     68  0.486226  33.063381
 2006-08-30      275          8     72  0.446667  32.160051
 2006-02-11      475          5     65  0.164591  10.698423
 2006-01-13      504          0     70  0.142409   9.968634
 2006-01-02      515          0     64  0.134800   8.627219
 2005-12-06      542          0     70  0.117803   8.246238
 2005-11-29      549          0     70  0.113758   7.963072
 2005-11-22      556          0     -1  0.109852  -0.109852
 2005-11-01      577          0     -1  0.098919  -0.098919
 2005-10-20      589          0     -1  0.093168  -0.093168
 2005-09-27      612          0     -1  0.083063  -0.083063
 2005-09-07      632          0     -1  0.075171  -0.075171
 2005-06-12      719          0     69  0.048690   3.359623
 2005-05-29      733          0     -1  0.045404  -0.045404
 2005-05-02      760          0     -1  0.039679  -0.039679
 2005-04-02      790          0     -1  0.034160  -0.034160
 2005-03-13      810          0     -1  0.030915  -0.030915
 2004-11-09      934          0     -1  0.016647  -0.016647

मुझे उन पंक्तियों को हटाने की आवश्यकता है जहां line_raceबराबर है 0। ऐसा करने का सबसे कुशल तरीका क्या है?

python  pandas 
— TravisVOX
स्रोत
6
— फीटवेट

जवाबों:

875

अगर मैं सही ढंग से समझ रहा हूँ, यह उतना ही सरल होना चाहिए:

df = df[df.line_race != 0]
— tshauck
स्रोत
16
यदि dfबड़ी हो तो क्या इससे अधिक मेमोरी खर्च होगी ? या, क्या मैं इसे कर सकता हूं?
— जियायुंग
10
बस df2M पंक्तियों के साथ इसे चलाया और यह बहुत तेजी से चला गया।
— Dror
46
@vfxGer यदि कॉलम में एक स्थान है, जैसे 'लाइन रेस', तो आप बस कर सकते हैंdf = df[df['line race'] != 0]
— पॉल
3
यदि हम उस पंक्ति में किसी भी कॉलम में प्रश्न का मान पाया जाता है तो हम इस कमांड को कैसे संशोधित करेंगे?
— एलेक्स
3
धन्यवाद! Fwiw, मेरे लिए यह होना ही थाdf=df[~df['DATE'].isin(['2015-10-30.1', '2015-11-30.1', '2015-12-31.1'])]
— citynorman
181

लेकिन किसी भी भावी बायपासर्स के लिए आप उल्लेख कर सकते हैं कि df = df[df.line_race != 0]कुछ भी ऐसा नहीं करता है जब Noneमानों / लापता मूल्यों को फ़िल्टर करने की कोशिश की जाती है।

काम करेगा:

df = df[df.line_race != 0]

कुछ नहीं करता है:

df = df[df.line_race != None]

काम करेगा:

df = df[df.line_race.notnull()]
— wonderkid2
स्रोत
4
यदि हम कॉलम नाम नहीं जानते हैं तो कैसे करें?
— पीयूष एस। वानारे जुले
कर सकता था df = df[df.columns[2].notnull()], लेकिन एक तरह से या किसी अन्य को आपको किसी तरह कॉलम को अनुक्रमित करने में सक्षम होना चाहिए।
— अंकलपर
1
df = df[df.line_race != 0]पंक्तियों को छोड़ता है, लेकिन अनुक्रमणिका को रीसेट नहीं करता है। इसलिए जब आप df में दूसरी पंक्ति जोड़ते हैं तो यह अंत में नहीं जोड़ सकता है। मैं उस ऑपरेशन के बाद सूचकांक को रीसेट करने की सलाह df = df.reset_index(drop=True)
— दूंगा
==शुरू करने के लिए आपको कभी भी ऑपरेटर के साथ किसी की तुलना नहीं करनी चाहिए । stackoverflow.com/questions/3257919/…
— Bram Vanroy
40

ऐसा करने का सबसे अच्छा तरीका बूलियन मास्किंग है:

In [56]: df
Out[56]:
     line_date  daysago  line_race  rating    raw  wrating
0   2007-03-31       62         11      56  1.000   56.000
1   2007-03-10       83         11      67  1.000   67.000
2   2007-02-10      111          9      66  1.000   66.000
3   2007-01-13      139         10      83  0.881   73.096
4   2006-12-23      160         10      88  0.793   69.787
5   2006-11-09      204          9      52  0.637   33.106
6   2006-10-22      222          8      66  0.582   38.408
7   2006-09-29      245          9      70  0.519   36.318
8   2006-09-16      258         11      68  0.486   33.063
9   2006-08-30      275          8      72  0.447   32.160
10  2006-02-11      475          5      65  0.165   10.698
11  2006-01-13      504          0      70  0.142    9.969
12  2006-01-02      515          0      64  0.135    8.627
13  2005-12-06      542          0      70  0.118    8.246
14  2005-11-29      549          0      70  0.114    7.963
15  2005-11-22      556          0      -1  0.110   -0.110
16  2005-11-01      577          0      -1  0.099   -0.099
17  2005-10-20      589          0      -1  0.093   -0.093
18  2005-09-27      612          0      -1  0.083   -0.083
19  2005-09-07      632          0      -1  0.075   -0.075
20  2005-06-12      719          0      69  0.049    3.360
21  2005-05-29      733          0      -1  0.045   -0.045
22  2005-05-02      760          0      -1  0.040   -0.040
23  2005-04-02      790          0      -1  0.034   -0.034
24  2005-03-13      810          0      -1  0.031   -0.031
25  2004-11-09      934          0      -1  0.017   -0.017

In [57]: df[df.line_race != 0]
Out[57]:
     line_date  daysago  line_race  rating    raw  wrating
0   2007-03-31       62         11      56  1.000   56.000
1   2007-03-10       83         11      67  1.000   67.000
2   2007-02-10      111          9      66  1.000   66.000
3   2007-01-13      139         10      83  0.881   73.096
4   2006-12-23      160         10      88  0.793   69.787
5   2006-11-09      204          9      52  0.637   33.106
6   2006-10-22      222          8      66  0.582   38.408
7   2006-09-29      245          9      70  0.519   36.318
8   2006-09-16      258         11      68  0.486   33.063
9   2006-08-30      275          8      72  0.447   32.160
10  2006-02-11      475          5      65  0.165   10.698

UPDATE: अब जबकि पांडा 0.13 बाहर है, ऐसा करने का एक और तरीका है df.query('line_race != 0')।

— फिलिप बादल
स्रोत
df.query बहुत उपयोगी लगती है! धन्यवाद! pandas.pydata.org/pandas-docs/version/0.13.1/generated/…
— कल्पनाशील
14
के लिए अच्छा अपडेट query। इसे और अधिक समृद्ध चयन मानदंड के लिए अनुमति देता है (उदाहरण के लिए जैसे कार्य सेट की तरह। df.query('variable in var_list')जहां 'var_list' एक वांछित मानों की सूची है)
— phile
1
यदि स्तंभ नाम में स्थान है तो यह कैसे प्राप्त होगा?
— 13
2
queryयदि स्तंभ नाम में कोई स्थान है, तो यह बहुत उपयोगी नहीं है।
— फिलिप क्लाउड
3
मैं हेडर में कुछ इस तरह से रिक्त स्थान होने से df = df.rename(columns=lambda x: x.strip().replace(' ','_'))
— साइंटिस्ट
39

बस एक और समाधान जोड़ने के लिए, विशेष रूप से उपयोगी यदि आप नए पांडा मूल्यांकनकर्ताओं का उपयोग कर रहे हैं, तो अन्य समाधान मूल पांडा की जगह लेंगे और मूल्यांकनकर्ताओं को खो देंगे

df.drop(df.loc[df['line_race']==0].index, inplace=True)
— डेसमंड
स्रोत
1
इंडेक्स और इनकम लिखने का उद्देश्य क्या है। क्या कोई समझा सकता है कृपया?
— heman123
2
— फेडेरिको कोराज़ा
मुझे लगता है कि .reset_index()अगर किसी को इंडेक्स
— एक्सेसर्स
15

यदि आप स्तंभ के कई मानों के आधार पर पंक्तियों को हटाना चाहते हैं, तो आप उपयोग कर सकते हैं:

df[(df.line_race != 0) & (df.line_race != 10)]

मानों 0 और 10 के साथ सभी पंक्तियों को छोड़ने के लिए line_race।

— Robvh
स्रोत
14

दिया गया उत्तर सही है, लेकिन जैसा कि ऊपर किसी ने कहा है कि आप उपयोग कर सकते हैं df.query('line_race != 0')जो आपकी समस्या के आधार पर बहुत तेज है। बहुत अधिक सिफारिश की जाती है।

— h3h325
स्रोत
विशेष रूप से उपयोगी यदि आपके पास DataFrameमेरे जैसे लंबे चर नाम हैं (और, मैं अनुमान लगाने के लिए उद्यम करूंगा, dfउदाहरण के लिए इस्तेमाल की तुलना में हर कोई ), क्योंकि आपको केवल एक बार लिखना होगा।
— जोजफ
9

हालांकि प्रीव्यू उत्तर लगभग वही है जो मैं करने जा रहा हूं, लेकिन इंडेक्स विधि का उपयोग करने के लिए किसी अन्य इंडेक्सिंग विधि का उपयोग करने की आवश्यकता नहीं है ।loc ()। यह एक समान लेकिन सटीक तरीके से किया जा सकता है

df.drop(df.index[df['line_race'] == 0], inplace = True)
— Loochie
स्रोत
1
बड़े डेटासेट या मेमोरी में बाधा के लिए बेहतर जगह समाधान। +1
— davmor
3

इसे करने का दूसरा तरीका। सबसे कुशल तरीका नहीं हो सकता है क्योंकि कोड अन्य उत्तरों में उल्लिखित कोड की तुलना में थोड़ा अधिक जटिल है, लेकिन फिर भी एक ही काम करने का वैकल्पिक तरीका है।

  df = df.drop(df[df['line_race']==0].index)
— अमृत ​​लखावरम
स्रोत
0

सभी स्तंभों पर विस्तृत किए गए DataFrame के लिए एक और तरीका जोड़ना:

for column in df.columns:
   df = df[df[column]!=0]

उदाहरण:

def z_score(data,count):
   threshold=3
   for column in data.columns:
       mean = np.mean(data[column])
       std = np.std(data[column])
       for i in data[column]:
           zscore = (i-mean)/std
           if(np.abs(zscore)>threshold):
               count=count+1
               data = data[data[column]!=i]
   return data,count
— प्रतीक कुमार सिंह
स्रोत
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.