настройка s3 для логов в потоке воздуха
используйте $ get и $ lt, чтобы найти данные даты в mongodb
var tomorrowDate = moment(new Date()).add(1, 'days').format("YYYY-MM-DD");
db.collection.find({"plannedDeliveryDate":{ $gte: new Date(tomorrowDate +"T00:00:00.000Z"),$lt: new Date(tomorrowDate + "T23:59:59.999Z")}})
1 ответ
Уф! Мотивация, чтобы продолжать пресекать ошибки потока воздуха в корне должна противостоять этому как набору файлов Python, XD здесь является моим опытом в этом с апачским потоком воздуха == 1.9.0
, В первую очередь, нет просто никакой потребности, пробуя airflow connections .......... - conn_extra и т.д., и т.д.
Просто устанавливает Ваш airflow.cfg как:
remote_logging = True
remote_base_log_folder = s3://dev-s3-main-ew2-dmg-immutable-potns/logs/airflow-logs/
encrypt_s3_logs = False
# Logging level
logging_level = INFO
fab_logging_level = WARN
# Logging class
# Specify the class that will specify the logging configuration
# This class has to be on the python classpath
# logging_config_class = my.path.default_local_settings.LOGGING_CONFIG
logging_config_class = log_config.LOGGING_CONFIG
remote_log_conn_id = s3://<ACCESS-KEY>:<SECRET-ID>@<MY-S3-BUCKET>/<MY>/<SUB>/<FOLDER>/
сохраняют $AIRFLOW_HOME/config / __ init __. py и файл $AIRFLOW_HOME/config/log_config.py как выше.
проблема со мной как отсутствие "boto3" пакет, до которого я мог добраться:
vi/usr/lib/python3.6/site-packages/airflow/utils/log/s3_task_handler.py тогда>> импортируют traceback и в строке, содержащей:
не Мог создать S3Hook с идентификатором соединения "%s". ''Удостоверяются, что поток воздуха [s3] установлен, и' 'соединение S3 существует.
выполнение traceback.print_exc () и хорошо это начало ворчать о пропавших без вести boto3!
Установленный это и Жизнь была красивая спина снова!