Как отправить JSON на PHP с завихрением

Вы не выполняете одно и то же в случаях с пандами и дасками: для последнего у вас есть axis=1, так что вы заканчиваете тем, что заменяете любое значение, которое встречается менее двух раз в данной строке , что это все из них.

Если вы перейдете на axis=0, вы увидите, что получили исключение. Это связано с тем, что для вычисления, скажем, первого раздела вам потребуется, чтобы весь массив данных также передавался в лямбда-функцию - иначе как вы могли бы получить value_counts?

Решением вашей проблемы было бы получить значение считается отдельно. Вы можете явно вычислить это (результат небольшой) или передать его в лямбду. Кроме того, обратите внимание, что этот путь означает, что вы можете избежать использования apply в пользу map и сделать вещи более явными. Здесь я выбираю только один столбец, вы можете зациклить.

vc = ddf.A.value_counts().compute()
vc /= vc.sum()  # because dask's value_count doesn't normalise

def simple_map(df):
    df['A'] = df['A'].map(lambda x: x if vc[x] > 0.5 else 'other')
    return df

ddf.map_partitions(simple_map, meta=df[:0]).compute()