Какой самый быстрый способ вставки / обновления элементов std :: unordered_map без использования if?

В настоящее время у меня есть много кода, который выглядит следующим образом:

std::unordered_map<int,int> my_dict;
.
.
.
// If the key does exist in the dictionary
if(my_dict.count(key) == 1){
    my_dict[key] = value;
}

// If its a new key
else{
    my_dict.insert(std::make_pair(key,value));
}

Есть ли способ ускорить это, просто перезаписывая значение каждый раз?