Чтение файлов CSV в numpy, где разделитель “”,

Основная проблема в том, что NumPy не понимает концепции удаления кавычек (тогда как модуль csv понимает). Когда вы говорите delimiter = '","' , вы говорите NumPy, что разделитель столбцов - это буквально запятая в кавычках, то есть кавычки вокруг запятой, а не значения, поэтому вы получите дополнительные кавычки на первом и последнем столбцах ожидаются.

Глядя на документацию по функциям, я думаю, что вам нужно установить параметр convertters , чтобы удалить кавычки для вас (по умолчанию нет):

import re
import numpy as np

fieldFilter = re.compile(r'^"?([^"]*)"?$')
def filterTheField(s):
    m = fieldFilter.match(s.strip())
    if m:
        return float(m.group(1))
    else:
        return 0.0 # or whatever default

#...

# Yes, sorry, you have to know the number of columns, since the NumPy docs
# don't say you can specify a default converter for all columns.
convs = dict((col, filterTheField) for col in range(numColumns))
data = np.genfromtxt(csvfile, dtype=None, delimiter=',', names=True, 
    converters=convs)

Или отказаться от np.genfromtxt ( ) и пусть csv.csvreader предоставит вам содержимое файла по строке за раз в виде списков строк, затем вы просто перебираете элементы и строите матрицу:

reader = csv.csvreader(csvfile)
result = np.array([[float(col) for col in row] for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

РЕДАКТИРОВАТЬ: Хорошо, так что похоже, что ваш файл не все плавает. В этом случае вы можете установить convs по мере необходимости в случае genfromtxt или создать вектор функций преобразования в случае csv.csvreader :

reader = csv.csvreader(csvfile)
converters = [datetime, float, int, float]
result = np.array([[conv(col) for col, conv in zip(row, converters)] 
    for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

РЕДАКТИРОВАТЬ 2: Хорошо, количество переменных столбцов ... Ваш источник данных просто хочет усложнить жизнь. К счастью, мы можем просто использовать magic ...

reader = csv.csvreader(csvfile)
result = np.array([[magic(col) for col in row] for row in reader])

... где magic () - это просто название, которое я придумал для функции. (Психея!)

В худшем случае это может быть что-то вроде:

def magic(s):
    if '/' in s:
        return datetime(s)
    elif '.' in s:
        return float(s)
    else:
        return int(s)

Может быть, в NumPy есть функция, которая принимает строку и возвращает единственный элемент правильного типа. numpy.fromstring () выглядит близко, но он может интерпретировать пространство в ваших временных метках как разделитель столбцов.

P.S.Я вижу один недостаток csvreader в том, что он не отбрасывает комментарии; реальные csv файлы не имеют комментариев.