Если вы хотите изменить версию python для текущей задачи, вы можете использовать следующую команду запуска pyspark:
PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/python PYSPARK_PYTHON=/usr/local/anaconda2/bin/python pyspark --master ..