После создания проекта Vistual Studio из файла сборки CMake CMake создает решение с подпроектом RUN_TESTS.vcproj, который запускает все модульные тесты как действие после сборки.
Как можно вы вызываете RUN_TESTS из командной строки с помощью msbuild.exe?
Запуск msbuild RUN_TESTS.vcproj
из каталога сборки не работает.
В UNIX вы должны выполнить простой make test
для Make-файлов, сгенерированных CMake.