Расширение комментария @ leo9r: рассмотрите использование не python range
, а sc.range
https://spark.apache.org/docs/1.6.0/api/python/pyspark.html#pyspark. SparkContext.range .
Таким образом, вы избегаете передачи огромного списка из своего драйвера исполнителям.
Конечно, такие RDD обычно используются только для тестирования, поэтому вы не хотят, чтобы их транслировали.
Переключение на .NET Standard 2.0
может быть выполнено очень просто. В нем есть несколько статей, начиная с официальных документов и заканчивая видео YouTube. Вот краткое описание нескольких простых шагов о том, как это сделать:
<Project Sdk="Microsoft.NET.Sdk">
<PropertyGroup>
<TargetFramework>netstandard2.0</TargetFramework>
</PropertyGroup>
<ItemGroup>
<!--<PackageReference Include="" Version=""/>-->
</ItemGroup>
</Project>
Источник: https://gist.github.com/yuv4ik/063a35fe3986e62d69aee2f0ed0607bf Альтернативно, если вы используете Visual Studio для Mac, вы можете использовать Mutatio расширение VS для автоматизации процесса.