Найден ответ. При запуске HPO показатели для каждого тренировочного прогона должны быть помещены в его собственный подкаталог, иначе он будет перезаписан. Поэтому мне нужно настроить каталог журнала Tensorboard следующим образом:
tb_directory = os.path.join(os.environ["SUBID"],os.environ["JOB_STATE_DIR"], "logs", "tb",