Как указать dtype при использовании pandas.read_csv для загрузки данных из CSV-файлов?

У меня есть несколько текстовых файлов в следующем формате:

000423|东阿阿胶|     300|1|0.15000|            |
000425|徐工机械|     600|1|0.15000|            |
000503|海虹控股|     400|1|0.15000|            |
000522|白云山A|        |2|       |    1982.080|
000527|美的电器|     900|1|0.15000|            |
000528|柳    工|     300|1|0.15000|            |  

когда я использую read_csv для их загрузки в DataFrame, он не генерирует правильный dtype для некоторых столбцов. Например, первый столбец анализируется как int, а не unicode str, третий столбец анализируется как unicode str, а не int, из-за одного отсутствующего данных... Есть ли способ установить dtype DataFrame, как и numpy.genfromtxt делает?

Обновления: Я использовал read_csvвот так, что вызвало проблему:

data = pandas.read_csv(StringIO(etf_info), sep='|', skiprows=14, index_col=0, 
                       skip_footer=1, names=['ticker', 'name', 'vol', 'sign', 
                       'ratio', 'cash', 'price'], encoding='gbk')

Чтобы решить проблемы как с dtype, так и с кодировкой, мне нужно использовать unicode()и numpy.genfromtxt first:

etf_info = unicode(urllib2.urlopen(etf_url).read(), 'gbk')
nd_data = np.genfromtxt(StringIO(etf_info), delimiter='|', 
                        skiprows=14, skip_footer=1, dtype=ETF_DTYPE)
data = pandas.DataFrame(nd_data, index=nd_data['ticker'],
                        columns=['name', 'vol', 'sign', 
                                 'ratio', 'cash', 'price'])

Было бы неплохо, если бы read_csvмог добавить настройки dtypeи usecols. Прости за мою жадность. ^_^

7
задан piRSquared 4 January 2017 в 21:45
поделиться