Вам нужно убедиться, что автономный проект, который вы запускаете, запускается с помощью python 3. Если вы отправляете свою автономную программу через spark-submit, тогда она должна работать нормально, но если вы запускаете ее с помощью python, убедитесь, что вы используете python3, чтобы запустить ваше приложение.
Также убедитесь, что вы установили переменные env в ./conf/spark-env.sh
(если он не существует, вы можете использовать spark-env.sh.template
в качестве базы.