Оператор % предназначен для целых чисел. Вы ищете функцию fmod() .
%
fmod()
#include int main() { double x = 6.3; double y = 2.0; double z = std::fmod(x,y); }