Рабочий процесс для разработки приложений перемалывания чисел на амазонке ec2/S3
Много было записано о развертывающихся приложениях уплотнения данных на EC2/S3, но я хотел бы знать, каков типичный рабочий процесс для разработки таких приложений?
Позволяет говорят, что у меня есть 1 ТБ данных временного ряда для начала, и мне удалось сохранить это на S3. Как я записал бы приложения и сделал бы интерактивный анализ данных, чтобы создать модели машинного обучения и затем записать большие программы для тестирования их? Другими словами, как каждый идет об установке dev среды в такой ситуации? Я загружаю экземпляр EC2, разрабатываю программное обеспечение на нем и сохраняю мои изменения и завершаю работу каждый раз, когда я хочу сделать некоторую работу?
Как правило, я разжигаю R или Pylab, считываю данные с моих локальных дисков и делаю мой анализ. Затем я создаю приложения на основе того анализа и выпускаю его на тех данных.
На EC2 я не уверен, могу ли я сделать это. Люди сохраняют данные локально для анализа и только используют EC2, когда у них есть большие задания моделирования для выполнения?
Мне очень любопытно знать то, что другие люди делают, особенно запуски, у которых есть их вся инфраструктура на основе EC2/S3.
2 ответа
Мы создаем базовый, пользовательский AMI со всеми программами, которые, как мы знаем, нам всегда будут нужны в AMI. .
Программное обеспечение, которое мы разрабатываем (и постоянно обновляем), хранится на внешнем хранилище (мы используем репозиторий Maven, но вы можете использовать все, что хорошо работает с вашей средой.
Затем мы запускаем наш собственный AMI со всем, что нам нужно на нем разверните последнюю версию нашего программного обеспечения от Maven, и все готово.
Итак, рабочий процесс:
Настройка
Создайте пользовательский AMI с материалами, которые нам всегда понадобятся
Выполняется
Локальная разработка программного обеспечения Развертывание двоичных файлов во внешнем хранилище (в нашем случае репозиторий Maven) Запуск нескольких экземпляров пользовательского AMI по мере необходимости Копирование двоичных файлов из внешнего хранилища в каждый instance Выполнить для каждого экземпляра
I-slash-У нас есть некоторый опыт в том, что вы пытаетесь делать. То, что сказал Эрик Дж., В основном подводит итог. Но позвольте мне повторить,
Настройте репозиторий кода на сервере, который всегда включен. Мы используем подрывную деятельность. Этот сервер не обязательно должен быть машиной ec2, или вполне может быть и ec2. Твой выбор.
Создайте собственный AMI с помощью; (a) Проверка базы кода на машине EC2. (b) Установка всех зависимостей кода на этой машине. (c) Сохраните изображение на s3.
В следующий раз загрузитесь с AMI, сохраненным в 1. Поэкспериментируйте, измените код, как хотите, проверьте изменения в Subversion, чтобы, когда вы вернетесь, вы сохранили его там.
Альтернативой является использование тома EBS. Каждый раз, когда вы запускаете инстанс EC2, присоединяйте к нему свой том EBS. Этот том может содержать ваш код и все остальное, что вам нужно для хранения в облаке!