Ошибка

"Исключение: у Python у работника разная версия 2.6, чем у драйвера 2.7, PySpark не может работать с разными второстепенными версиями".

Fix (для среды Cloudera)

• Редактировать этот файл: /opt/cloudera/parcels/cdh5.5.4.p0.9/lib/spark/conf/spark-env.sh
• Добавить следующие строки:

  export PYSPARK_PYTHON=/usr/bin/python
  export PYSPARK_DRIVER_PYTHON=python