Вдохновленный ответом Джеффа. Это самый быстрый метод на моей машине:
pd.Series(np.repeat(grp.mean().values, grp.count().values))