Вопросы Теги

Запуск простого анализа в очень большом текстовом файле - Python [duplicate]

Решение, которое работает только с использованием CSS:

A: Inline CSS 

<select>
    <option style="display:none;"></option>
    <option>Option 1</option>
    <option>Option 2</option>
    <option>Option 3</option>
</select>

B: Стиль CSS Лист

Если у вас есть файл CSS под рукой, вы можете настроить таргетинг на первый option, используя: 

select.first-opt-hidden option:first-of-type {
  display:none;
}
<select class="first-opt-hidden">
    <option></option>
    <option>Option 1</option>
    <option>Option 2</option>
    <option>Option 3</option>
</select>

0
задан JD2775 13 July 2018 в 18:55
поделиться

2 ответа

Не уверен, что это полезно в вашей ситуации, но вы можете загрузить этот csv в свою собственную базу данных sqlite и прочитать его через соединение, которое значительно быстрее. 

import pandas as pd
import sqlite3

conn = sqlite3.connect("DB_PATH")
df= pd.read_sql(YOUR_QUERY, conn)
1
ответ дан Andrew Fleischer 17 August 2018 в 12:13
поделиться

Используйте что-то вроде этого: 

chunksize = 10 ** 6
for chunk in pd.read_csv('huge_file.txt', chunksize=chunksize):
    do_cool_stuff(chunk)

Теперь он будет читать ваш файл кусками. Надеюсь, это поможет!

2
ответ дан Igor S 17 August 2018 в 12:13
поделиться
Другие вопросы по тегам:

Похожие вопросы: