Когда использовать DocumentChange.Type из ДОБАВЛЕНО, ИЗМЕНЕНО И УДАЛЕНО?

Почувствовав из первых рук разницу между s3a и s3n - 7.9GB данных, переданных на s3a, было около ~ 7 минут, а 7,9 ГБ данных на s3n заняло 73 минуты [us-east-1 to us-west-1, к сожалению, в оба случая; Redshift и Lambda, являющиеся нами-восточным-1 в это время], это очень важная часть стека, чтобы получить правильное решение, и это стоит разочарования.

Вот ключевые части по состоянию на декабрь 2015 года:

1. Для вашего Spark-кластера потребуется версия Hadoop 2.x или выше. Если вы используете сценарии установки Spark EC2 и, возможно, пропустили его, переключатель для использования чего-либо, кроме 1.0, должен указать --hadoop-major-version 2 (который использует CDH 4.2 на момент написания этой статьи).
2. Вам нужно будет включают в себя то, что поначалу может показаться устаревшей библиотекой AWS SDK (построенной в 2014 году как версия 1.7.4) для версий Hadoop до версии 2.7.1 (стабильная): aws-java-sdk 1.7.4. Насколько я могу судить об использовании этого вместе со специфическими JAR-пакетами AWS SDK для 1.10.8, ничего не сломалось.
3. Вам также понадобится хаоп-aws 2.7.1 JAR в пути к классам. Этот JAR содержит класс org.apache.hadoop.fs.s3a.S3AFileSystem.
4. В spark.properties вы, вероятно, хотите, чтобы некоторые настройки выглядели следующим образом:

   spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem  
   spark.hadoop.fs.s3a.access.key=ACCESSKEY  
   spark.hadoop.fs.s3a.secret.key=SECRETKEY
   

Я подробно описал этот список более подробно на сообщении я написал , поскольку я проработал свой путь через этот процесс. Кроме того, я рассмотрел все случаи исключения, которые я ударил по пути и что я считаю причиной каждого и как исправить их.