मैं pandas dropna()कुछ या सभी कॉलम के साथ पंक्तियों को हटाने के लिए कार्यक्षमता का उपयोग कर सकता हूं NA। मान 0 वाले सभी स्तंभों के साथ पंक्तियों को छोड़ने के लिए एक समान कार्य है?
P kt b tt mky depth
1 0 0 0 0 0
2 0 0 0 0 0
3 0 0 0 0 0
4 0 0 0 0 0
5 1.1 3 4.5 2.3 9.0इस उदाहरण में, हम डेटा फ्रेम से पहली 4 पंक्तियों को छोड़ना चाहते हैं।
धन्यवाद!
जवाबों:
यह पता चला है कि यह सदिश रूप से व्यक्त किया जा सकता है:
> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
a b
1 0 1
2 1 0
3 1 1df = df[(df.T != 0).any()]
rows with all columns having value 0, लेकिन एक allविधि का अनुमान लगा सकता है ।
एक लाइन। कोई संक्रमण की आवश्यकता:
df.loc[~(df==0).all(axis=1)]और जो लोग समरूपता पसंद करते हैं, उनके लिए भी यह काम करता है ...
df.loc[(df!=0).any(axis=1)]df.loc[(df != 0).any(1)]:। टीम वर्क!
axis=1स्पष्ट होने के लिए पसंद है ; मेरी राय में अधिक
df
df = df.loc[(df!=0).all(axis=1)]और df = df.loc[(df!=0).any(axis=1)]किसी भी शून्य के साथ पंक्तियों को छोड़ने के लिए ड्रॉपना () के बराबर वास्तविक समकक्ष होगा।
मैं महीने में एक बार इस सवाल को देखता हूं और हमेशा टिप्पणियों से सबसे अच्छा जवाब खोदना पड़ता है:
df.loc[(df!=0).any(1)]धन्यवाद दान एलन!
शून्य को इसके साथ बदलें nanऔर फिर सभी प्रविष्टियों के साथ पंक्तियों को छोड़ दें nan। उसके बाद nanशून्य से बदलें ।
import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)मुझे लगता है कि यह समाधान सबसे छोटा है:
df= df[df['ColName'] != 0]विशेष रूप से बड़े डेटा सेटों के लिए इसे देखते हुए मुझे हल करने में मददगार जोड़े
df[(df.sum(axis=1) != 0)] # 30% faster
df[df.values.sum(axis=1) != 0] # 3X faster @ U2EF1 से उदाहरण के साथ जारी:
In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop
In [92]: df[(df.sum(axis=1) != 0)]
Out[92]:
a b
1 0 1
2 1 0
3 1 1
In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop
In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loopबड़े डेटासेट पर:
In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))
In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop
In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop
In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loopdf[~(df.values.prod(axis=1) == 0) | ~(df.values.sum(axis=1)==0)]
bdf[np.square(bdf.values).sum(axis=1) != 0]
import pandas as pd
df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})
temp = df.abs().sum(axis=1) == 0
df = df.drop(temp)परिणाम:
>>> df
a b
2 1 -1ValueError: labels [True ... ] not contained in matrix
df = df.drop(temp)उपयोग के बजायdf = df.drop(df[temp].index)
यदि आप lambdaकिसी दिए गए पंक्ति में सभी मान हैं, तो यह जांचने के लिए आप एक त्वरित फ़ंक्शन का उपयोग कर सकते हैं 0। तब आप आवेदन करने के परिणाम का उपयोग कर सकते हैं, जो lambdaकेवल उन पंक्तियों को चुनने के लिए है जो उस स्थिति से मेल खाते हैं या मेल नहीं खाते हैं:
import pandas as pd
import numpy as np
np.random.seed(0)
df = pd.DataFrame(np.random.randn(5,3),
index=['one', 'two', 'three', 'four', 'five'],
columns=list('abc'))
df.loc[['one', 'three']] = 0
print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]पैदावार:
a b c
one 0.000000 0.000000 0.000000
two 2.240893 1.867558 -0.977278
three 0.000000 0.000000 0.000000
four 0.410599 0.144044 1.454274
five 0.761038 0.121675 0.443863
[5 rows x 3 columns]
a b c
two 2.240893 1.867558 -0.977278
four 0.410599 0.144044 1.454274
five 0.761038 0.121675 0.443863
[3 rows x 3 columns]एक अन्य विकल्प:
# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.
all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shapedf = df [~( df [ ['kt' 'b' 'tt' 'mky' 'depth', ] ] == 0).all(axis=1) ]इस कमांड को पूरी तरह से काम करने की कोशिश करें।