Как установить быстрое и надежное соединение S3 с EC2 [закрыто]

Закрыто. Этот вопрос не по теме. В настоящее время ответы не принимаются.

Хотите улучшить этот вопрос?Обновите вопрос, чтобы он соответствовал темепереполнения стека.

Закрыта 6 лет назад.

EC2 предоставляет очень удобный, масштабируемый по требованию механизм для выполнения распределяемых (параллелизуемых) процессов, а S3 обеспечивает надежный сервис хранения.

Я пытался использовать узлы EC2 для процесса ETL и аналитики, этот процесс требует большого объема данных (от 100 ГБ до 1 ТБ), загружаемых очень быстро (и несколько раз в день), и достаточных вычислительных ресурсов, которые должны быть доступны для короткая продолжительность.

Приведенная выше конструкция требует

высокоскоростного/широкополосного соединения между S3 и EC2.
Соединение S3 -> EC2 также должно быть надежным, поскольку планирование запуска, загрузки данных, выполнения процессов и конечных узлов должно быть выполнено как можно скорее не только для экономии затрат, но и потому, что задействованы SLA.

Но на данный момент

Единственным средством извлечения данных из S3, по-видимому, является HTTP, и, следовательно, он ограничен пропускной способностью загрузки узлов EC2.
Кроме того, прием данных происходит через Интернет и, следовательно, может быть достаточно ненадежным для целей строгого планирования, что требует адекватной буферизации между заданиями.

В частном центре обработки данных можно настроить более быструю (скажем, 10 Гбит/с) выделенную линию между хранилищем и физическими узлами.

Существуют ли какие-либо альтернативы/услуги в случае использования aws, отвечающие вышеуказанным требованиям.

amazon-ec2 amazon-s3

задан sandeepkunkunuru 11 June 2013 в 17:07

0 ответов

Другие вопросы по тегам:

amazon-ec2 amazon-s3

Как установить быстрое и надежное соединение S3 с EC2 [закрыто]

0 ответов

Похожие вопросы: