Была одна и та же проблема, несколько раз. numpy не имеют неявных преобразований в pyspark.sql.types.
numpy
Сделайте простое явное преобразование в систему родного типа. В моем случае это было:
float(vector_a.dot(vector_b)