Если ваши данные csv не содержат строк в любом из полей, вы можете загрузить свои данные с помощью textFile()
и проанализировать его
import csv
import StringIO
def loadRecord(line):
input = StringIO.StringIO(line)
reader = csv.DictReader(input, fieldnames=["name1", "name2"])
return reader.next()
input = sc.textFile(inputFile).map(loadRecord)