Почему я вижу несколько Значков Systray?

Здесь уже опубликованы отличные ответы, но только для вашего удобства. Мы также можем использовать cumcount для этого, чтобы ранжировать Nth 3 и находим:

df = df[~((df.groupby('Column2').Column2.cumcount() != 0) & (df.Column2 == 3))]

print(df)
   Column1  Column2 Column3
0        1        3       A
1        2        1       B
3        4        1       D
4        5        1       E