столбец даты синтаксиса в csv с использованием pandas read_csv [duplicate]

При объединении двух столбцов в один столбец datetime принятый ответ генерирует ошибку (pandas version 0.20.3), так как столбцы отправляются отдельно для функции date_parser.

Следующие работы:

def dateparse(d,t):
    dt = d + " " + t
    return pd.datetime.strptime(dt, '%d/%m/%Y %H:%M:%S')

df = pd.read_csv(infile, parse_dates={'datetime': ['date', 'time']}, date_parser=dateparse)

Вы можете использовать pandas.to_datetime() , как рекомендовано в документации для pandas.read_csv() :

Если столбец или индекс содержит непроверяемая дата, весь столбец или индекс будут возвращены без изменений как тип данных объекта. Для нестандартного синтаксиса datetime используйте pd.to_datetime после pd.read_csv.

Демо:

>>> D = {'date': '2013-6-4'}
>>> df = pd.DataFrame(D, index=[0])
>>> df
       date
0  2013-6-4
>>> df.dtypes
date    object
dtype: object
>>> df['date'] = pd.to_datetime(df.date, format='%Y-%m-%d')
>>> df
        date
0 2013-06-04
>>> df.dtypes
date    datetime64[ns]
dtype: object

Да - в соответствии с документацией pandas.read_csv :

Примечание. Для дат iso8601 в формате существует быстрый путь.

Итак, если ваш csv имеет столбец с именем datetime, и даты, например, выглядят как 2013-01-01T01:01, запуск этой программы сделает pandas (я на v0.19.2) забрать дата и время автоматически:

df = pd.read_csv('test.csv', parse_dates=['datetime'])

Обратите внимание, что вам необходимо явно передать parse_dates, это не работает.

Проверить с помощью:

df.dtypes

Вы должны увидеть, что тип данных столбца datetime64[ns]

Метод pandas read_csv отлично подходит для парсинга. Полная документация на http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html

, вы можете даже иметь разные даты в разных столбцах и передать параметр:

parse_dates : boolean, list of ints or names, list of lists, or dict
If True -> try parsing the index. If [1, 2, 3] -> try parsing columns 1, 2, 3 each as a
separate date column. If [[1, 3]] -> combine columns 1 and 3 and parse as a single date
column. {‘foo’ : [1, 3]} -> parse columns 1, 3 as date and call result ‘foo’

По умолчанию чувствительность дат отлично работает, но, похоже, она предвзято относится к форматам даты в северной Америке. Если вы живете в другом месте, вы иногда можете быть пойманы результатами. Насколько я помню, 1/6/2000 означает 6 января в США, а не 1 июня, где я живу. Он достаточно умен, чтобы качать их, если используются даты, такие как 23/6/2000. Вероятно, безопаснее оставаться с вариантами даты YYYYMMDD. Извинитесь за разработчиков pandas, но я не тестировал его с локальными датами в последнее время.

вы можете использовать параметр date_parser для передачи функции для преобразования вашего формата.

date_parser : function
Function to use for converting a sequence of string columns to an array of datetime
instances. The default uses dateutil.parser.parser to do the conversion.

Возможно, интерфейс pandas изменился с тех пор, как ответил @Rutger, но в версии, которую я использую (0.15.2), функция date_parser получает список дат вместо одного значения. В этом случае его код должен быть обновлен следующим образом:

dateparse = lambda dates: [pd.datetime.strptime(d, '%Y-%m-%d %H:%M:%S') for d in dates]

df = pd.read_csv(infile, parse_dates=['datetime'], date_parser=dateparse)