Хеш-функция и другие криптографические функции созданы на основе очень строгих математических концепций. Большинство из них построены таким образом, что их не обязательно можно отменить / расшифровать, но, в зависимости от производительности текущих компьютеров, это невозможно сделать. Вот почему ранее сертифицированные алгоритмы DES и MD5 теперь устарели. При этом я предлагаю вам сначала ознакомиться с математическими концепциями, связанными с криптографическими хеш-функциями. Какие? Я бы оставил это для кого-то более знающего, чем я :)
Вычислить "односторонность" хэш-функции не так-то просто. Обычно хэш-функции демонстрируют хорошее качество, выдерживая проверку со стороны криптографического сообщества в течение длительного периода времени. Вы можете посмотреть на некоторые опубликованные атаки на существующие хэш-функции и попытаться разработать хэш-функцию, которая специально избегает этих атак, но даже в этом случае она может оказаться слабой для другой новой атаки.
Для очень хорошей отправной точки я бы рекомендовал прочитать о конкурсе NIST (см. ответ tanascius).
В настоящее время проводится конкурс хэш-функций NIST с целью найти замену устаревшим функциям SHA-1 и SHA-2.
Там можно получить технические описания всех алгоритмов, принимающих участие в конкурсе (см. здесь для заявок второго раунда). Там описано множество различных хэш-функций, а также их достоинства и проблемы.