Как преобразовывать и группировать данные в день из кадра данных pandas [duplicate]

Question

Как преобразовывать и группировать данные в день из кадра данных pandas [duplicate]

107

python pandas

задан Abhishek Thakur 6 March 2014 в 10:31

4 ответа

Как вы говорили, метод groupby объекта pd.DataFrame может выполнять задание.

Пример

 L = ['A','A','B','B','B','C']
 N = [1,2,5,5,4,6]

 import pandas as pd
 df = pd.DataFrame(zip(L,N),columns = list('LN'))


 groups = df.groupby(df.L)

 groups.groups
      {'A': [0, 1], 'B': [2, 3, 4], 'C': [5]}

, который дает и индексное описание групп.

Чтобы получить элементы отдельных групп, вы можете сделать, например

 groups.get_group('A')

     L  N
  0  A  1
  1  A  2

  groups.get_group('B')

     L  N
  2  B  5
  3  B  5
  4  B  4

8

ответ дан Acorbe 18 August 2018 в 15:21

Если производительность важна, переходите к уровню numpy:

import numpy as np

df = pd.DataFrame( {'a':np.random.randint(0,60,600), 'b':[1,2,5,5,4,6]*100})

def f(df):
         keys,values=df.sort_values('a').values.T
         ukeys,index=np.unique(keys,True)
         arrays=np.split(values,index[1:])
         df2=pd.DataFrame({'a':ukeys,'b':[list(a) for a in arrays]})
         return df2

Тесты:

In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop

In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop

16

ответ дан danday74 18 August 2018 в 15:21

1

ответ дан Anamika Modi 30 October 2018 в 05:24

Другие вопросы по тегам:

python pandas

Похожие вопросы:

score 147 · Accepted Answer

Вы можете сделать это, используя groupby для группировки в интересующей колонке, а затем apply list для каждой группы:

In [1]:
# create the dataframe    
df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
df
Out[1]:
   a  b
0  A  1
1  A  2
2  B  5
3  B  5
4  B  4
5  C  6

[6 rows x 2 columns]

In [76]:
df.groupby('a')['b'].apply(list)

Out[76]:
a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

147

ответ дан EdChum 18 August 2018 в 15:21

1

Это занимает много времени, если набор данных огромен, скажем, 10 миллионов строк. Есть ли более быстрый способ сделать это? Число uniques в 'a', однако, составляет около 500 тыс. – Abhishek Thakur 6 March 2014 в 13:12
2

groupby, как известно, медленный и голодный голод, что вы можете сделать, это сортировать по столбцу A, а затем найти idxmin и idxmax (возможно, сохранить это в dict) и использовать это, чтобы нарезать ваш фреймворк будет быстрее, я думаю – EdChum 6 March 2014 в 13:32
3

@AbhishekThakur на самом деле это не сработает, так как idxmin не будет работать для строк, вам нужно будет сохранить значения начального и конечного индексов – EdChum 6 March 2014 в 13:40
4

Если я что-то не пропустил (еще не утренний кофе), вы делаете отдельный groupby для каждой строки. – DSM 6 March 2014 в 14:21
5

Когда я попробовал это решение с моей проблемой (имея несколько столбцов для groupBy и для группировки), это не сработало - pandas sent «Функция не уменьшает». Затем я использовал tuple после второго ответа здесь: stackoverflow.com/questions/19530568/… . См. Второй ответ в stackoverflow.com/questions/27439023/… для объяснения. – Andarin 24 June 2016 в 10:54