С домашней страницы AWS Data Pipeline :

AWS Data Pipeline - это веб-сервис, который помогает вам надежно обрабатывать и перемещать данные между различными вычислениями AWS. и услуги хранения, а также локальные источники данных через определенные промежутки времени. С помощью AWS Data Pipeline вы можете регулярно получать доступ к данным, где они хранятся, преобразовывать и обрабатывать их в масштабе, а также эффективно передавать результаты в сервисы AWS, такие как Amazon S3, Amazon RDS, Amazon DynamoDB и Amazon Elastic MapReduce (EMR). [ 114]

AWS Data Pipeline позволяет легко создавать сложные рабочие нагрузки по обработке данных, которые являются отказоустойчивыми, воспроизводимыми и высокодоступными. Вам не нужно беспокоиться об обеспечении доступности ресурсов, управлении межзадачными зависимостями, повторении временных сбоев или тайм-аутов в отдельных задачах или создании системы уведомлений о сбоях. AWS Data Pipeline также позволяет перемещать и обрабатывать данные, которые ранее были заблокированы в локальных хранилищах данных.