Вы можете сделать это с помощью drop_duplicates
, как вы хотели
# initialisation
d = pd.DataFrame({'A' : [1,1,2,3,3], 'B' : [2,2,7,4,4], 'C' : [1,4,1,0,8]})
d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])
Если важно получить тот же порядок
d = d.sort_index()
По умолчанию они отмечены, удалите Флаги: не отмечены
.