Как перебрать вложенное поле в другом столбце, чтобы создать новый столбец на основе другого значения?

Вы можете попробовать это -

import ast
df.nested_filed = df.nested_filed.apply(lambda x: ast.literal_eval(x))

# Store in a new column named email
df['email'] = df.nested_filed.apply(lambda x: x[2]['value'])

# Store in a new column named ID
df['ID'] = df.nested_filed.apply(lambda x: x[1]['value'])