Вы можете создать класс, производный от X509CertificateValidator, и использовать его для пользовательской проверки входящего сертификата. Вызовите SecurityTokenValidationException, если вы хотите по какой-то причине не пройти проверку.
Установите для параметра certificateValidationMode значение Custom и укажите свой валидатор в разделе поведения службы clientCertificate файла конфигурации.
Как: создать службу, которая использует настраиваемый сертификат Validator
Я не думаю, что есть в любом случае, есть в любом случае, есть «пользовательская проверка сертификата» с «транспортной безопасностью». Это работает только с «безопасностью сообщения».