Удалить повторяющиеся строки без сортировки [дубликат]

На этот вопрос уже есть ответ здесь:

У меня есть служебный скрипт на Python:

#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
  if line in unique_lines:
    duplicate_lines.append(line)
  else:
    unique_lines.append(line)
    sys.stdout.write(line)
# optionally do something with duplicate_lines

Эта простая функциональность (uniq без необходимости сортировки в первую очередь, стабильное упорядочение )должна быть доступна в виде простой утилиты UNIX, не так ли? Может комбинация фильтров в трубе?

Причина запроса :о необходимости этой функциональности в системе, в которой я не могу выполнить python из любого места

92
задан jww 13 July 2018 в 09:40
поделиться