Ошибка AWS SNS - неверный параметр при публикации сообщения с использованием aws-cli
Попробуйте явно указать sc.textFile("file:///path to the file/"). Ошибка возникает при настройке среды Hadoop.
SparkContext.textFile внутренне вызывает org.apache.hadoop.mapred.FileInputFormat.getSplits, который, в свою очередь, использует org.apache.hadoop.fs.getDefaultUri, если схема отсутствует. Этот метод считывает параметр fs.defaultFS в Hadoop conf. Если вы задаете переменную среды HADOOP_CONF_DIR, параметр обычно устанавливается как «hdfs: // ...»; иначе "file: //".
1 ответ
Проблема связана с межрегиональной. Ваш регион по умолчанию в AWS-CLI может отличаться от региона, в котором вы находитесь. Служба SNS.
Проверьте местоположение AWS-CLI и убедитесь, что вы находитесь в том же регионе, что и ваш SNS.
Чтобы проверить свой регион в AWS CLI, используйте:
aws configure get region
Для настройки региона AWS вы можете использовать команду:
aws configure set region <region-name>
https://docs.aws.amazon.com/cli/latest/reference/configure/set.html