один из способов:
awk '!a[$0]++' file
Обратите внимание, что использование sort|uniq может изменить порядок строк в файле. Строка awk выше не будет.
sort|uniq