Java: Эффективно вычислить хэш большого файла SHA-256

Возможно, первое, что нужно сделать сегодня, - это выяснить, где вы проводите больше всего времени? Можете ли вы запустить его через профилировщик и посмотреть, на что тратится больше всего времени.

Возможные улучшения:

1. Используйте NIO для чтения файла максимально быстрым способом
2. Обновите хэш в отдельном потоке . На самом деле это довольно сложно сделать, и это не для слабонервных, поскольку требует безопасной публикации между потоками. Но если ваше профилирование показывает, что значительное количество времени тратится на хэш-алгоритм, возможно, лучше использовать диск.

Я предлагаю вы используете профилировщик, такой как JProfiler, или тот, который интегрирован в Netbeans (бесплатно), чтобы узнать, где на самом деле тратится время, и сконцентрироваться на этой части.

Просто дикая догадка - не уверен, поможет ли это - но пробовали ли вы Серверная ВМ? Попробуйте запустить приложение с java -сервер и посмотрите, поможет ли это вам. Серверная виртуальная машина более агрессивно компилирует Java-код в собственный, чем клиентская виртуальная машина по умолчанию.

Просто дикая догадка - не уверен, поможет ли это - но пробовали ли вы виртуальную машину сервера? Попробуйте запустить приложение с java -сервер и посмотрите, поможет ли это вам. Серверная виртуальная машина более агрессивно компилирует Java-код в собственный, чем клиентская виртуальная машина по умолчанию.

Просто дикая догадка - не уверен, поможет ли это - но пробовали ли вы виртуальную машину сервера? Попробуйте запустить приложение с java -сервер и посмотрите, поможет ли это вам. Серверная виртуальная машина более агрессивно компилирует Java-код в собственный, чем клиентская виртуальная машина по умолчанию.

Раньше Java работала примерно в 10 раз медленнее, чем тот же код C ++. В настоящее время почти в 2 раза медленнее. Я думаю, что то, с чем вы столкнулись, - это просто фундаментальная часть Java. JVM станут быстрее, особенно по мере открытия новых JIT-технологий, но вам будет трудно выполнять C.

Пробовали ли вы альтернативные JVM и / или компиляторы? Раньше я получал лучшую производительность с JRocket , но с меньшей стабильностью. То же самое для использования jikes поверх javac.

Поскольку у вас явно есть рабочий Реализация C ++ является быстрой, вы можете построить мост JNI и использовать реальную реализацию C ++ или, может быть, вы могли бы попробовать не изобретать велосипед, тем более что он большой, и использовать готовую библиотеку, такую ​​как BouncyCastle , который был создан для решения всех криптографических потребностей вашей программы.

Я думаю, что эта разница в производительности может быть связана только с платформой. Попробуйте изменить размер буфера и посмотрите, есть ли улучшения. Если нет, я бы выбрал JNI (собственный интерфейс Java) . Просто вызовите реализацию C ++ из Java.

Основная причина, по которой ваш код работает так медленно, заключается в том, что вы используете RandomAccessFile, который всегда был достаточно медленным. Я предлагаю использовать "BufferedInputStream", чтобы вы могли извлечь выгоду из всей мощи кэширования на уровне операционной системы для disk-i/o.

Код должен выглядеть примерно так:

    public static byte [] hash(MessageDigest digest, BufferedInputStream in, int bufferSize) throws IOException {
    byte [] buffer = new byte[bufferSize];
    int sizeRead = -1;
    while ((sizeRead = in.read(buffer)) != -1) {
        digest.update(buffer, 0, sizeRead);
    }
    in.close();

    byte [] hash = null;
    hash = new byte[digest.getDigestLength()];
    hash = digest.digest();
    return hash;
}