Как Вы делаете Python / PostgreSQL быстрее?

Использование связывает переменные вместо литеральных значений в sql операторах и создает курсор для каждого уникального sql оператора так, чтобы оператор не должен был быть повторно проанализирован в следующий раз, когда это используется. Из документа API дб Python:

Подготовьте и выполните операцию базы данных (запрос или команда). Параметры могут быть обеспечены как последовательность или отображение и будут связаны с переменными в операции. Переменные указаны в определенной для базы данных нотации (см. атрибут paramstyle модуля для деталей). [5]

Ссылка на операцию будет сохранена курсором. Если тот же объект операции передается в снова, то курсор может оптимизировать свое поведение. Это является самым эффективным для алгоритмов, где та же операция используется, но различные параметры связываются с нею (много раз).

ВСЕГДА ВСЕГДА ВСЕГДА использование связывает переменные.

В для цикла, Вы вставляете в таблицу 'чатов' неоднократно, таким образом, Вам только нужен единственный sql оператор с, связывают переменные, чтобы быть выполненным с различными значениями. Таким образом, Вы могли поместить это перед для цикла:

insert_statement="""
    INSERT INTO chats(person_id, message_type, created_at, channel)
    VALUES(:person_id,:message_type,:created_at,:channel)
"""

Затем вместо каждого sql оператора Вы выполняетесь, помещает это на месте:

cursor.execute(insert_statement, person_id='person',message_type='msg',created_at=some_date, channel=3)

Это сделает вещи выполненными быстрее потому что:

1. Объект курсора не должен будет повторно анализировать оператор каждый раз
2. Сервер дб не должен будет генерировать новый план выполнения, поскольку он может использовать тот, который он создает ранее.
3. Вы не должны будете называть santitize (), поскольку специальные символы в связывать переменных не отделятся sql оператора, который выполняется.

Примечание: Связывать переменным синтаксисом, который я использовал, является конкретная Oracle. Необходимо будет проверить документацию psycopg2 библиотеки на точный синтаксис.

Другая оптимизация:

1. Вы увеличиваете с "chatscount НАБОРА людей ОБНОВЛЕНИЯ" после каждого повторения цикла. Сохраните словарь, отображающий пользователя на chat_count, и затем выполните оператор общего количества, которое Вы видели. Это будет быстрее затем поражать дб после каждой записи.
2. Использование связывает переменные на ВСЕХ Ваших запросах. Не только оператор вставки, я выбираю это в качестве примера.
3. Измените весь find_ * () функции, которые делают взлеты взгляда дб для кэширования их результатов, таким образом, они не должны поражать дб каждый раз.
4. психо оптимизирует программы Python, которые выполняют большое количество numberic операции. Сценарий IO дорогой и не ЦП, дорогой, таким образом, я не ожидал бы давать Вам очень если любая оптимизация.

Как предложенный Mark, используйте обязательные переменные. База данных только должна подготовить каждый оператор однажды, затем "восполнить пробелы" для каждого выполнения. Как хороший побочный эффект, это будет автоматически заботиться о заключающих в кавычки строку проблемах (который Ваша программа не обрабатывает).

Включите транзакции (если они уже не), и сделайте единственную фиксацию в конце программы. База данных ничего не должна будет писать в диск, пока все данные не должны фиксироваться. И если Ваша программа встретится с ошибкой, то ни одна из строк не будет фиксироваться, позволяя Вам просто повторно выполнить программу, после того как проблема была исправлена.

Ваши log_hostname, log_person, и функции log_date делают бесполезные ВЫБОРЫ на таблицах. Сделайте атрибуты соответствующей таблицы PRIMARY KEY или УНИКАЛЬНЫЙ. Затем вместо того, чтобы проверить на присутствие ключ ПЕРЕД ВСТАВКОЙ, просто сделайте ВСТАВКУ. Если человек/дата/имя хоста уже будет существовать, то ВСТАВКА перестанет работать от ограничительного нарушения. (Это не будет работать при использовании транзакции с единственной фиксацией, как предложено выше.)

С другой стороны, если Вы знаете, что Вы - единственная ВСТАВКА в таблицы, в то время как Ваша программа работает, затем создайте параллельные структуры данных в памяти и поддержите их в памяти, в то время как Вы делаете свои ВСТАВКИ. Например, читайте во всех именах хостов из таблицы в ассоциативный массив в начале программы. Когда хотят знать, сделать ли ВСТАВКУ, просто сделать поиск массива. Если никакая найденная запись, не сделайте ВСТАВКУ и обновите массив соответственно. (Это предложение совместимо с транзакциями и единственной фиксацией, но требует большего количества программирования. Это будет злобно быстрее, все же.)

Дополнительно ко многим прекрасным предложениям @Mark Roddy дал, сделайте следующее:

• не использовать readlines, можно выполнить итерации по объектам файла
• попытайтесь использовать executemany вместо execute: попытайтесь сделать, пакет вставляет довольно единственные вставки, это имеет тенденцию быть быстрее, потому что существует меньше служебное. Это также сокращает количество фиксаций
• str.rstrip будет работать просто великолепно вместо того, чтобы лишить новой строки с regex

Пакетная обработка вставок будет использовать больше памяти временно, но это должно быть прекрасным, когда Вы не читаете целый файл в память.