В искро-csv github: https://github.com/databricks/spark-csv
Можно прочитать:
blockquote>
codec
: кодек сжатия для использования при сохранении в файл. Должно быть полное имя класса, реализующего org.apache.hadoop.io.compress.CompressionCodec или один из нечувствительных к регистру сокращений имен (bzip2, gzip, lz4 и snappy).В вашем случае это должно работать:
df.write.format("com.databricks.spark.csv").codec("gzip")\ .save('my_directory/my_file.gzip')