Не удалось загрузить ApplicationContext для теста JUnit контроллера Spring

Строка - это просто массив символов, поэтому используйте Linq для замены (аналогично выше, чем Albin, кроме использования выражения linq для замены):

var resultString = new string(
        (from ch in "My name @is ,Wan.;'; Wan"
         where ! @"@,.;\'".Contains(ch)
         select ch).ToArray());

Первая строка - это строка для замены символов, а вторая - простая строка, содержащая символы