То, как я могу представить SQLAlchemy, привело в действие приложение?

Иногда простое ведение журнала SQL (включенное через модуль ведения журнала python или через аргумент echo = True в create_engine () ) может дать вам представление как долго все длится. Например, если вы регистрируете что-то сразу после операции SQL, вы увидите в своем журнале что-то вроде этого:

17:37:48,325 INFO  [sqlalchemy.engine.base.Engine.0x...048c] SELECT ...
17:37:48,326 INFO  [sqlalchemy.engine.base.Engine.0x...048c] {<params>}
17:37:48,660 DEBUG [myapp.somemessage] 

если вы зарегистрировали myapp.somemessage сразу после операции, вы знаете, что для завершения потребовалось 334 мс. часть вещей SQL.

Запись в журнал SQL также покажет, выдаются ли десятки / сотни запросов, которые можно было бы лучше организовать в гораздо меньшее количество запросов с помощью соединений. При использовании SQLAlchemy ORM функция "нетерпеливой загрузки" предоставляется частично ( contains_eager () ) или полностью ( eagerload () , eagerload_all () ) автоматизируют эту деятельность, но без ORM это просто означает использование объединений, чтобы результаты из нескольких таблиц могли быть загружены в один набор результатов вместо умножения количества запросов по мере добавления большей глубины (т. Е. r + r * r2 + r * r2 * r3 ...)

Если ведение журнала показывает, что отдельные запросы выполняются слишком долго, вам понадобится разбивка того, сколько времени было потрачено в базе данных обработка запроса, отправка результатов по сети, обработка DBAPI и, наконец, получение набором результатов SQLAlchemy и / или уровнем ORM. На каждом из этих этапов могут быть свои собственные узкие места, в зависимости от специфики.

Для этого вам необходимо использовать профилирование, такое как cProfile или hotshot. Вот декоратор, который я использую:

import cProfile as profiler
import gc, pstats, time

def profile(fn):
    def wrapper(*args, **kw):
        elapsed, stat_loader, result = _profile("foo.txt", fn, *args, **kw)
        stats = stat_loader()
        stats.sort_stats('cumulative')
        stats.print_stats()
        # uncomment this to see who's calling what
        # stats.print_callers()
        return result
    return wrapper

def _profile(filename, fn, *args, **kw):
    load_stats = lambda: pstats.Stats(filename)
    gc.collect()

    began = time.time()
    profiler.runctx('result = fn(*args, **kw)', globals(), locals(),
                    filename=filename)
    ended = time.time()

    return ended - began, load_stats, locals()['result']

Чтобы профилировать секцию кода, поместите ее в функцию с декоратором:

@profile
def go():
    return Session.query(FooClass).filter(FooClass.somevalue==8).all()
myfoos = go()

Результаты профилирования можно использовать, чтобы дать представление о том, на что тратится время. Если, например, вы видите, что все время тратится на cursor.execute () , это вызов DBAPI низкого уровня к базе данных, и это означает, что ваш запрос должен быть оптимизирован, либо путем добавления индексов, либо путем реструктуризации запроса и / или базовая схема. Для этой задачи я бы порекомендовал использовать pgadmin вместе с его графической утилитой EXPLAIN, чтобы увидеть, какую работу выполняет запрос.

Если вы видите много тысяч вызовов, связанных с выборкой строк, это может означать, что ваш запрос возвращает больше строк, чем ожидается - декартово произведение в результате неполного соединения может вызвать эту проблему. Еще одна проблема - время, затрачиваемое на обработку типов - тип SQLAlchemy, такой как Unicode , будет выполнять кодирование / декодирование строк в параметрах связывания и столбцах результатов, что может потребоваться не во всех случаях

. профиль может быть немного сложным, но после некоторой практики их очень легко читать. Однажды в списке рассылки был кто-то, заявляющий о медлительности, и после того, как он опубликовал результаты профиля, я смог продемонстрировать, что проблемы со скоростью были вызваны задержкой в ​​сети - временем, проведенным в cursor.execute (), а также во всем Python. методы были очень быстрыми, тогда как большая часть времени была потрачена на socket.receive ().

Если вы чувствуете амбициозность, есть также более сложный пример профилирования SQLAlchemy в модульных тестах SQLAlchemy, если вы копаетесь http: //www.sqlalchemy. org / trac / browser / sqlalchemy / trunk / test / aaa_profiling . Там у нас есть тесты с использованием декораторов, которые подтверждают максимальное количество вызовов методов, используемых для определенных операций, так что если что-то неэффективное будет проверено, тесты обнаружат это (важно отметить, что в Python вызовы функций имеют наибольшее количество накладные расходы на любую операцию, и количество вызовов чаще всего почти пропорционально затраченному времени). Следует отметить тесты «zoomark», которые используют причудливую схему «захвата SQL», которая исключает накладные расходы на DBAPI из уравнения - хотя эта методика на самом деле не нужна для профилирования садового разнообразия.

у нас есть тесты с использованием декораторов, которые подтверждают максимальное количество вызовов методов, используемых для определенных операций, так что если что-то неэффективное будет проверено, тесты обнаружат это (важно отметить, что в Python вызовы функций имеют самые высокие накладные расходы, чем любая операция, и количество вызовов чаще всего почти пропорционально затраченному времени). Следует отметить тесты «zoomark», которые используют причудливую схему «захвата SQL», которая исключает накладные расходы DBAPI из уравнения - хотя эта методика на самом деле не нужна для профилирования разнообразия садов.

у нас есть тесты с использованием декораторов, которые подтверждают максимальное количество вызовов методов, используемых для определенных операций, так что если что-то неэффективное будет проверено, тесты обнаружат это (важно отметить, что в Python вызовы функций имеют самые высокие накладные расходы, чем любая операция, и количество вызовов чаще всего почти пропорционально затраченному времени). Следует отметить тесты «zoomark», которые используют причудливую схему «захвата SQL», которая исключает накладные расходы DBAPI из уравнения - хотя эта методика на самом деле не нужна для профилирования разнообразия садов.

и количество звонков чаще всего почти пропорционально затраченному времени). Следует отметить тесты «zoomark», которые используют причудливую схему «захвата SQL», которая исключает накладные расходы на DBAPI из уравнения - хотя эта методика на самом деле не нужна для профилирования садового разнообразия.

и количество звонков чаще всего почти пропорционально затраченному времени). Следует отметить тесты «zoomark», которые используют причудливую схему «захвата SQL», которая исключает накладные расходы DBAPI из уравнения - хотя эта методика на самом деле не нужна для профилирования разнообразия садов.