Не удалось собрать собственное расширение gem при установке RedCloth-4.2.9 при установке Linux

Вы можете использовать библиотеку spark-csv: https://github.com/databricks/spark-csv

Это прямо из документации:

import org.apache.spark.sql.SQLContext

SQLContext sqlContext = new SQLContext(sc);

HashMap options = new HashMap();
options.put("header", "true");
options.put("path", "cars.csv");

DataFrame df = sqlContext.load("com.databricks.spark.csv", options);