Как открыть или закрыть папку без перезагрузки всего кода Visual Studio?

Вы сравниваете две довольно разные вещи. Apache Spark - это вычислительный механизм, в то время как упомянутые вами решения Amazon и Microsoft предлагают услуги. Эти сервисы могут также иметь Spark с MLlib за сценой.

Количество компаний, таких как Domino Data Lab, Cloudera или IBM, предлагает продукты, которые можно развернуть на своем собственном кластере Spark и легко создавать сервис вокруг ваших моделей (с разной степенью гибкости).

Естественно, вы создаете сервис самостоятельно с помощью различных инструментов с открытым исходным кодом. Что конкретно? Все зависит от того, что вам нужно. Как пользователь должен взаимодействовать с моделью? Должен ли быть какой-то пользовательский интерфейс или шутить REST API? Вам нужно изменить некоторые параметры на модели или самой модели? Являются ли рабочие места более частыми или реальными? Естественно, вы можете создать решение «все-в-одном», но это будет огромным усилием.

. Моя личная рекомендация заключалась бы в том, чтобы воспользоваться, если можно, одним из доступных сервисов Amazon, Google , Microsoft или что угодно. Нужно ли размещать на месте? Проверьте Domino Data Lab, их продукт зрелый и позволяет легко работать с моделями (от здания до развертывания). Cloudera больше ориентирован на кластерные вычисления (включая Spark), но это займет некоторое время, прежде чем у них что-то созреет.

[EDIT] Я бы рекомендовал посмотреть Apache PredictionIO , сервер обучения с открытым исходным кодом - потрясающий проект с потенциалом лота.