अजगर पंडों के साथ बिनिंग कॉलम

Question

मेरे पास संख्यात्मक मानों के साथ डेटा फ़्रेम कॉलम है:

df['percentage'].head()
46.5
44.2
100.0
42.12

मैं कॉलम को बिन मायने रखता देखना चाहता हूं:

bins = [0, 1, 5, 10, 25, 50, 100]

मैं उनके साथ डिब्बे के रूप में परिणाम कैसे प्राप्त कर सकता हूं value counts?

[0, 1] bin amount
[1, 5] etc 
[5, 10] etc 
......

Answer 1

आप उपयोग कर सकते हैं pandas.cut:

bins = [0, 1, 5, 10, 25, 50, 100]
df['binned'] = pd.cut(df['percentage'], bins)
print (df)
   percentage     binned
0       46.50   (25, 50]
1       44.20   (25, 50]
2      100.00  (50, 100]
3       42.12   (25, 50]

---

bins = [0, 1, 5, 10, 25, 50, 100]
labels = [1,2,3,4,5,6]
df['binned'] = pd.cut(df['percentage'], bins=bins, labels=labels)
print (df)
   percentage binned
0       46.50      5
1       44.20      5
2      100.00      6
3       42.12      5

या numpy.searchsorted:

bins = [0, 1, 5, 10, 25, 50, 100]
df['binned'] = np.searchsorted(bins, df['percentage'].values)
print (df)
   percentage  binned
0       46.50       5
1       44.20       5
2      100.00       6
3       42.12       5

---

... और फिर value_countsया groupbyसमग्र size:

s = pd.cut(df['percentage'], bins=bins).value_counts()
print (s)
(25, 50]     3
(50, 100]    1
(10, 25]     0
(5, 10]      0
(1, 5]       0
(0, 1]       0
Name: percentage, dtype: int64

---

s = df.groupby(pd.cut(df['percentage'], bins=bins)).size()
print (s)
percentage
(0, 1]       0
(1, 5]       0
(5, 10]      0
(10, 25]     0
(25, 50]     3
(50, 100]    1
dtype: int64

डिफ़ॉल्ट रूप से cutवापसीcategorical ।

Seriesजैसे विधियाँ Series.value_counts()सभी श्रेणियों का उपयोग करेंगी, भले ही कुछ श्रेणियां डेटा में मौजूद न हों, श्रेणीगत में कार्य करती हैं ।

Comments

बिना bins = [0, 1, 5, 10, 25, 50, 100], क्या मैं सिर्फ 5 डिब्बे बना सकता हूं और यह औसत कटौती से कट जाएगा? उदाहरण के लिए, मेरे पास 110 रिकॉर्ड हैं, मैं उन्हें प्रत्येक बिन में 22 रिकॉर्ड के साथ 5 डिब्बे में कटौती करना चाहता हूं।

— qqqwww

@qqqwww - नहीं यकीन है कि अगर समझ में आता है, क्या आपको लगता है qcut? लिंक

— jezrael

@qqqwww ऐसा करने के लिए, इसके पृष्ठ में pd.cut उदाहरण से पता चलता है: pd.cut (np.array ([1, 7, 5, 4, 6, 3]), 3) सरणी को 3 समान भागों में काट देगा।

— अयन मित्र

@ जेज्यूरल आपको सुझाव दे सकता है कि प्रत्येक डिब्बे के माध्य की गणना कैसे करें?

— अयन मित्र

@AyanMitra - क्या आपको लगता है df.groupby(pd.cut(df['percentage'], bins=bins)).mean()?

— जीजेल

Answer 2

का उपयोग करते हुए numbaगति के लिए मॉड्यूल ।

बड़े डेटासेट पर ( 500k >)pd.cut बिनिंग डेटा के लिए काफी धीमा हो सकता है।

मैंने numbaकेवल समय संकलन में अपना कार्य लिखा है , जो कि लगभग 16xतेज है:

from numba import njit

@njit
def cut(arr):
    bins = np.empty(arr.shape[0])
    for idx, x in enumerate(arr):
        if (x >= 0) & (x < 1):
            bins[idx] = 1
        elif (x >= 1) & (x < 5):
            bins[idx] = 2
        elif (x >= 5) & (x < 10):
            bins[idx] = 3
        elif (x >= 10) & (x < 25):
            bins[idx] = 4
        elif (x >= 25) & (x < 50):
            bins[idx] = 5
        elif (x >= 50) & (x < 100):
            bins[idx] = 6
        else:
            bins[idx] = 7

    return bins

cut(df['percentage'].to_numpy())

# array([5., 5., 7., 5.])

वैकल्पिक: आप इसे स्ट्रिंग के रूप में डिब्बे में भी मैप कर सकते हैं:

a = cut(df['percentage'].to_numpy())

conversion_dict = {1: 'bin1',
                   2: 'bin2',
                   3: 'bin3',
                   4: 'bin4',
                   5: 'bin5',
                   6: 'bin6',
                   7: 'bin7'}

bins = list(map(conversion_dict.get, a))

# ['bin5', 'bin5', 'bin7', 'bin5']

---

गति तुलना :

# create dataframe of 8 million rows for testing
dfbig = pd.concat([df]*2000000, ignore_index=True)

dfbig.shape

# (8000000, 1)

%%timeit
cut(dfbig['percentage'].to_numpy())

# 38 ms ± 616 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

%%timeit
bins = [0, 1, 5, 10, 25, 50, 100]
labels = [1,2,3,4,5,6]
pd.cut(dfbig['percentage'], bins=bins, labels=labels)

# 215 ms ± 9.76 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)