Сортировка CSV в Python
Я принял сортировку файла CSV на нескольких текстовом полевом использовании / числовом полевом использовании, Python будет проблемой, которая была уже решена. Но я не могу найти пример кода нигде, за исключением определенного кода, фокусирующегося на сортировке полей даты.
Как можно было бы пойти о сортировке относительно большого файла CSV (десятки тысячи строк) на нескольких полях в порядке?
Примеры кода Python ценились бы.
4 ответа
Вот ответ ALEX, переработанный для поддержки типов данных столбцов:
import csv
import operator
def sort_csv(csv_filename, types, sort_key_columns):
"""sort (and rewrite) a csv file.
types: data types (conversion functions) for each column in the file
sort_key_columns: column numbers of columns to sort by"""
data = []
with open(csv_filename, 'rb') as f:
for row in csv.reader(f):
data.append(convert(types, row))
data.sort(key=operator.itemgetter(*sort_key_columns))
with open(csv_filename, 'wb') as f:
csv.writer(f).writerows(data)
Редактировать:
Я сделал глупое. Я играл с различными вещами в холостом ходу и написал , функцию пару дней назад. Я забыл, что написал его, и я не наступил простаивающимся долгое время - поэтому, когда я написал вышеупомянутое, я подумал Convert был встроенным функциями. К сожалению нет.
Вот моя реализация, хотя Джон Мачин - лучше:
def convert(types, values):
return [t(v) for t, v in zip(types, values)]
Использование:
import datetime
def date(s):
return datetime.strptime(s, '%m/%d/%y')
>>> convert((int, date, str), ('1', '2/15/09', 'z'))
[1, datetime.datetime(2009, 2, 15, 0, 0), 'z']
сорт Python работает только в памяти, однако на современной машине десятки тысяч строк должны легко уместиться в памяти. Так:
import csv
def sortcsvbymanyfields(csvfilename, themanyfieldscolumnnumbers):
with open(csvfilename, 'rb') as f:
readit = csv.reader(f)
thedata = list(readit)
thedata.sort(key=operator.itemgetter(*themanyfieldscolumnnumbers))
with open(csvfilename, 'wb') as f:
writeit = csv.writer(f)
writeit.writerows(thedata)
Вот Convert () , который отсутствует из исправления Robert of Alex, ответа:
>>> def convert(convert_funcs, seq):
... return [
... item if func is None else func(item)
... for func, item in zip(convert_funcs, seq)
... ]
...
>>> convert(
... (None, float, lambda x: x.strip().lower()),
... [" text ", "123.45", " TEXT "]
... )
[' text ', 123.45, 'text']
>>>
Я изменил имя первого ARG, чтобы подчеркнуть, что для каждого столбца Функция может делать то, что вам нужно, а не просто принуждение к принуждению. Нет используется для обозначения преобразования.
Вы вызываете 3 проблемы:
- размер файла
- csv данные
- сортировка по нескольким полям
Вот решение для третьей части. Вы можете обрабатывать csv-данные более сложным способом.
>>> data = 'a,b,c\nb,b,a\nb,c,a\n'
>>> lines = [e.split(',') for e in data.strip().split('\n')]
>>> lines
[['a', 'b', 'c'], ['b', 'b', 'a'], ['b', 'c', 'a']]
>>> def f(e):
... field_order = [2,1]
... return [e[i] for i in field_order]
...
>>> sorted(lines, key=f)
[['b', 'b', 'a'], ['b', 'c', 'a'], ['a', 'b', 'c']]
Редактировано для использования понимания списка, генератор работает не так, как я ожидал.