задачи очищенные воздушным потоком не выполняются

Question

задачи очищенные воздушным потоком не выполняются

MsSql позволяет не детерминированные функции в функциях разбиения:

CREATE PARTITION FUNCTION MyArchive(datetime)
AS RANGE LEFT FOR VALUES (GETDATE() – 10)
GO

Означает ли это, что записи старше 10 дней автоматически перемещаются в архив (первый) раздел? Конечно, нет.

В базе данных хранится дата, когда была создана схема секционирования, и использует ее наиболее (логическим) способом. Допустим, что одна из приведенных выше схем указана в 2000 -01-11, что делает разделительную дату 2000-01-01. Когда вы запрашиваете данные с датой ниже, чем начальная дата разграничения (border_value - 2000-01-01), вы будете использовать только раздел архива. Когда вы запрашиваете данные с датой выше, чем текущий день минус 10 дней (GETDATE () - 10), вы будете использовать только текущий раздел. Все остальные запросы будут использовать оба раздела, т. Е. Запрос данных с датой ниже текущей даты минус 10 дней, но выше даты разграничения (2000-01-01).

Это означает, что с каждым днем диапазон дат, для которых используются оба раздела, растет. И вам лучше было бы установить раздел на разделительную дату детерминированным образом.

Я не вижу никакого сценария, где это полезно.

3

python airflow

задан chorbs 15 March 2019 в 15:30

1 ответ

Другие вопросы по тегам:

python airflow

Похожие вопросы:

score 0 · Answer 1

Хорошо, я закрываю это и отмечаю предполагаемую основную причину, так как на сервере не хватает места.

Был ряд факторов:

На моем сервере не было много места для хранения. Всего 10 ГБ. Я не понял, что это было так низко. Разрешение: добавить больше места
Регистрация потока воздуха 1.10.2 немного сумасшедшая. Журнал INFO выводил Harvesting DAG parsing results каждую секунду или две, что в итоге привело к большому файлу журнала. Разрешение: Это исправлено в коммите [AIRFLOW-3911] Change Harvesting DAG parsing results to DEBUG log level (#4729), который есть в 1.10.3, но вы всегда можете разветвиться и выбрать вишню, если вы застряли на 1.10.2.
Кроме того, некоторые из моих интервалов планировщика / веб-сервера могли бы выиграть от увеличения. В результате я получил файлы журнала размером в несколько ГБ. Я думаю, что это могло быть частично из-за изменения версий воздушного потока без корректного обновления airflow.cfg. Решение: при обновлении (или изменении версий) временно переместите airflow.cfg так, чтобы был создан cfg, совместимый с версией, а затем аккуратно объедините их. Другая стратегия состоит в том, чтобы полагаться только на переменные окружения, чтобы ваша конфигурация всегда всегда была как свежая установка, а единственными параметрами в ваших переменных env были переопределения параметров и, возможно, соединения.
В этом случае поток воздуха не может регистрировать ошибки где-либо; все выглядело хорошо, за исключением того, что планировщик не ставил в очередь задания, или он ставил в очередь один или два, а затем просто останавливался без какого-либо сообщения об ошибке. Решения могут включать в себя (1) добавить аварийные сигналы о нехватке пространства у вашего провайдера облачных вычислений, (2) выяснить, как гарантировать, что планировщик вызывает некоторые полезные исключения в этом случае и вносит их в поток воздуха.