Python: Как десериализовать данные обученной модели dlib (.dat) в Python?

С одной стороны, модель машинного обучения, построенная с использованием искры, не может быть использована так, как вы используете в Azure ML или Amazon ML традиционным способом.

Databricks утверждает, что может развернуть модели с помощью своего ноутбука, но я пока этого не пытался.

С другой стороны, вы можете использовать модель тремя способами:

• Обучение на лету внутри приложения, а затем применение предсказания. Это можно сделать в искровом приложении или ноутбуке.
• Постройте модель и сохраните ее, если она реализует MLWriter, затем загружает приложение или ноутбук и запускает его против ваших данных.
• Постройте модель с помощью Spark и экспортируйте ее в формат PMML с помощью jpmml-spark . PMML позволяет различным инструментам сбора статистических данных и данных работать на одном языке. Таким образом, интеллектуальное решение может быть легко перемещено между инструментами и приложениями без необходимости в пользовательском кодировании. например, от Spark ML до R.

Это три возможных способа.

Конечно, вы можете подумать о архитектуре, в которой у вас есть служба RESTful, за которой вы можете создавать с помощью spark-jobserver на пример для обучения и развертывания, но для этого требуется определенная разработка. Это не готовое решение.

Вы также можете использовать такие проекты, как Oryx 2, чтобы создать свою полную лямбда-архитектуру для обучения, развертывания и обслуживания модели.

К сожалению, описание каждого из вышеупомянутых решений довольно широкое и не входит в сферу действия SO.