-eq используется для сравнения целых чисел. Вместо этого используйте =.
-eq
=
Это всего лишь предупреждение, вы можете его игнорировать. Искра и pyspark могут быть использованы без hadoop.
Вы можете взять цикл по этой ссылке:
https://community.hortonworks.com/questions/19897/apache-spark-error-unable-to-load-native-hadoop -li.html