Вы можете попробовать это также
df.drop_duplicates(subset='A', keep='last')
Я ссылался на это из https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates. HTML