У меня есть дата-фрейм pyspark со строковым столбцом в формате MM-dd-yyyy, и я пытаюсь преобразовать его в столбец даты. Я пытался: df.select (to_date (df.STRING_COLUMN) .alias ('...

Проблема: я хочу импортировать данные в Spark EMR из S3, используя: data = sqlContext.read.json ("s3n: // ....."). Есть ли способ указать количество узлов, которые Spark использует для загрузки и обрабатывать данные? ...