Первичные ключи экземпляров модели Django не сбрасываются в 1 после удаления всех экземпляров

Вы можете указать версию Python для драйвера, установив соответствующие переменные среды в файле ./conf/spark-env.sh. Если он еще не существует, вы можете использовать предоставленный файл spark-env.sh.template, который также включает в себя множество других переменных.

Вот простой пример файла spark-env.sh для установки соответствующих переменных среды Python :

#!/usr/bin/env bash

# This file is sourced when running various Spark programs.
export PYSPARK_PYTHON=/usr/bin/python3       
export PYSPARK_DRIVER_PYTHON=/usr/bin/ipython

В этом случае он устанавливает версию Python, используемую рабочими / исполнителями, для Python3 и версию драйвера Python для iPython для более удобной оболочки.

Если у вас еще нет файла spark-env.sh и не нужно устанавливать какие-либо другие переменные, это должно делать то, что вы хотите, предполагая, что пути к соответствующим бинарным файлам python верны (проверьте с помощью which) , У меня была аналогичная проблема, и это исправило это.