python: уменьшить на ключ с условным оператором if?

Question

Я использовал его для построения объектов, выделенных в стеке через alloca ().

бесстыдный плагин: я написал о нем здесь .

0

pyspark rdd reduce

задан pault 17 January 2019 в 11:37

1 ответ

Другие вопросы по тегам:

pyspark rdd reduce

score 0 · Answer 1

IIUC, вам нужно изменить ключ до reduce, а затем отобразить ваши значения обратно в желаемом формате.

Вы должны быть в состоянии сделать следующее:

new_rdd = rdd.map(lambda row: ((row[0], row[1][0]), row[1][1]))\
    .reduceByKey(sum).
    .map(lambda row: (row[0][0], (row[0][1], row[1])))