Если вы хотите, чтобы результат сохранялся в другом наборе данных:
df.drop_duplicates(keep=False)
или
df.drop_duplicates(keep=False, inplace=False)
Если один и тот же набор данных необходимо обновить:
df.drop_duplicates(keep=False, inplace=True)
Вышеприведенные примеры удаляют все дубликаты и сохраняют один, похожий на DISTINCT *
в SQL