2
ответа
Получить класс Вероятность и метки в искровом мл случайного классификатора леса Spark V1.6 [duplicate]
Я пытаюсь получить вероятности классов для случайного классификатора леса, написанного в искровом разряде 1.6. У меня есть общий класс 55, который будет предсказан, наконец, я получу финальную метку предсказания. Вместо этого я хочу получить ярлык ...
вопрос задан: 1 June 2016 16:20
1
ответ
PySpark проблемы с загрузкой непригодного объекта модели
Я играл с функциями сохранения и загрузки моделей pyspark.ml.classification. Я создал экземпляр RandomForestClassifier, установил значения для пары параметров и вызвал сохранение ...
вопрос задан: 19 January 2019 09:44
1
ответ
Обращение к категориальным функциям с помощью одного горячего кодирования и векторного ассемблера против векторного индексатора
Скажем, у меня есть категорические особенности в кадре данных. Чтобы выполнить ML на фрейме данных, я делаю одно горячее кодирование для категориальных столбцов, используя OneHotEncoderEstimator (), а затем использую VectorAssembler () для ...
вопрос задан: 16 January 2019 18:20
0
ответов
Создайте столбец ArrayType [StructType] из Dataframe в UDF
Я создал BucketedRandomProjectionLSHModel, чтобы узнать приблизительные ближайшие соседи для каждой строки в моем наборе данных. Сигнатура для приближенной ближайшей функции определена ...
вопрос задан: 11 April 2019 10:00
0
ответов
Как разбить Вектор на столбцы - используя PySpark
Контекст: у меня есть DataFrame с 2 столбцами: слово и вектор. Где тип столбца "вектор" является VectorUDT. Пример: слово | вектор утверждать | [435,323,324,212 ...] И я хочу получить это: ...
вопрос задан: 6 January 2019 21:59
0
ответов
В чем разница между пакетами Spark ML и MLLIB
Я заметил, что в SparkML есть два класса LinearRegressionModel, один в ML и другой в пакете MLLib. Эти два реализованы совершенно по-разному - например, один из MLLib реализует ...
вопрос задан: 19 August 2017 16:54