Вам не хватает того, что 3 и 5 являются целыми числами, поэтому вы получаете целочисленное деление. Чтобы заставить компилятор выполнить деление с плавающей запятой, сделайте одно из них действительным числом:
double f = 3.0 / 5;