У меня есть несколько текстовых файлов в следующем формате:
000423|东阿阿胶| 300|1|0.15000| |
000425|徐工机械| 600|1|0.15000| |
000503|海虹控股| 400|1|0.15000| |
000522|白云山A| |2| | 1982.080|
000527|美的电器| 900|1|0.15000| |
000528|柳 工| 300|1|0.15000| |
когда я использую read_csv для их загрузки в DataFrame, он не генерирует правильный dtype для некоторых столбцов. Например, первый столбец анализируется как int, а не unicode str, третий столбец анализируется как unicode str, а не int, из-за одного отсутствующего данных... Есть ли способ установить dtype DataFrame, как и numpy.genfromtxt делает?
Обновления:
Я использовал read_csv
вот так, что вызвало проблему:
data = pandas.read_csv(StringIO(etf_info), sep='|', skiprows=14, index_col=0,
skip_footer=1, names=['ticker', 'name', 'vol', 'sign',
'ratio', 'cash', 'price'], encoding='gbk')
Чтобы решить проблемы как с dtype, так и с кодировкой, мне нужно использовать unicode()
и numpy.genfromtxt
first:
etf_info = unicode(urllib2.urlopen(etf_url).read(), 'gbk')
nd_data = np.genfromtxt(StringIO(etf_info), delimiter='|',
skiprows=14, skip_footer=1, dtype=ETF_DTYPE)
data = pandas.DataFrame(nd_data, index=nd_data['ticker'],
columns=['name', 'vol', 'sign',
'ratio', 'cash', 'price'])
Было бы неплохо, если бы read_csv
мог добавить настройки dtype
и usecols
. Прости за мою жадность. ^_^