Я выполнил код сюда, и сообщение об ошибке показало (и это правильно!), что Вы - идентификационное поле установки дважды как первичный ключ.
Да - свойство X509Store.Certificates возвращает моментальный снимок хранилища сертификатов X.509.
X509Store.Certificates