Получение System.ServiceProcess.TimeoutException, несмотря на то, что служба фактически запускается

Вы можете попробовать df.column_name = df.column_name.astype(float). Что касается значений NaN, вам нужно указать, как они должны быть преобразованы, но вы можете использовать метод .fillna для этого.

Пример:

In [12]: df
Out[12]: 
     a    b
0  0.1  0.2
1  NaN  0.3
2  0.4  0.5

In [13]: df.a.values
Out[13]: array(['0.1', nan, '0.4'], dtype=object)

In [14]: df.a = df.a.astype(float).fillna(0.0)

In [15]: df
Out[15]: 
     a    b
0  0.1  0.2
1  0.0  0.3
2  0.4  0.5

In [16]: df.a.values
Out[16]: array([ 0.1,  0. ,  0.4])