Я предлагаю вам попробовать
https://spark.apache.org/docs/latest/sql-programming-guide.html#rdds
JavaRDD people = sc.textFile("examples/src/main/resources/people.txt").map(
new Function() {
public Person call(String line) throws Exception {
String[] parts = line.split(",");
Person person = new Person();
person.setName(parts[0]);
person.setAge(Integer.parseInt(parts[1].trim()));
return person;
}
});
У вас должен быть класс в этом примере с спецификацией заголовка файла и связать ваши данные с схемой и применить критерии, как в mysql .., чтобы получить желаемый результат