Невозможно получить доступ к внешней переменной в pyspark UDF [duplicate]

Была одна и та же проблема, несколько раз. numpy не имеют неявных преобразований в pyspark.sql.types.

Сделайте простое явное преобразование в систему родного типа. В моем случае это было:

float(vector_a.dot(vector_b)

Я получил эту ошибку, используя Spark Version> = 2.0.

Spark переводит MLlib fucntionality в новое пространство имен ML. В результате есть два типа SparseVector: ml.linalg.SparseVector и mllib.linalg.SparseVector

Некоторые функции MLlib по-прежнему ожидают более старый вид mllib

from pyspark.ml.linalg import Vectors
# convert ML vector to older MLlib vector
old_vec = Vectors.fromML(new_vec)

HTH