Какие алгоритмы хеширования лучше всего использовать для обеспечения целостности данных и дедупликации?

Я пытаюсь хешировать большое количество файлов с двоичными данными внутри них, чтобы: (1 )проверить на наличие повреждений в будущем, и (2 )устранить повторяющиеся файлы (, которые могут иметь совершенно разные имена и другие метаданные ).

Я знаю о md5 и sha1 и их родственниках, но я понимаю, что они предназначены для обеспечения безопасности и, следовательно, намеренно медленны, чтобы снизить эффективность атак грубой силы. Напротив, мне нужны алгоритмы, которые работают как можно быстрее и при этом максимально уменьшают коллизии.

Какие-либо предложения?