Возможно, вызов sqrt не поддерживается! Возможно, потому что это функция libc. Я не знаю глубинной причины, но следующий тест показывает интересное поведение:
double mysqrt(double x) { return sqrt(x) };
Затем в сеансе gdb:
(gdb) p mysqrt(3)
$1 = 1.7320508075688772
(gdb) p sqrt(3)
$2 = -1209775368