Преобразование с сохранением состояния на одном кадре данных в потоковой передаче Spark

Если вы хотите иметь разделитель в имени между уровнями, эта функция работает хорошо.

def flattenHierarchicalCol(col,sep = '_'):
    if not type(col) is tuple:
        return col
    else:
        new_col = ''
        for leveli,level in enumerate(col):
            if not level == '':
                if not leveli == 0:
                    new_col += sep
                new_col += level
        return new_col

df.columns = df.columns.map(flattenHierarchicalCol)