2
ответа
Создание кластера EMR с использованием запуска Airflow dag. После выполнения задачи EMR будет прервана.
У меня есть задания Airflow, которые нормально работают на кластере EMR. что мне нужно, скажем, если у меня есть 4 задания потока воздуха, для которых требуется кластер EMR, скажем, 20 минут для выполнения задачи. почему не мы ...
вопрос задан: 18 March 2019 18:15
2
ответа
Apache Airflow: задерживает задачу на некоторое время
Я пытаюсь выполнить задачу через 5 минут из родительской задачи в группе обеспечения доступности баз данных. DAG: Задание 1 ----> Подождите 5 минут ----> Задание 2 Как этого добиться в Apache Airflow? Заранее спасибо.
вопрос задан: 5 March 2019 14:54
2
ответа
Как настроить главный узел воздушного потока
Я пытаюсь изменить существующий кластер воздушного потока и сельдерея, чтобы сделать планировщик выделенным главным узлом, который не выполняет задания. (В настоящее время все узлы работают как рабочие; я хочу предотвратить ...
вопрос задан: 17 January 2019 01:40
1
ответ
Команда воздушного потока initdb не работает после соединения с postgresql
Я пытаюсь подключить Airflow к базе данных Postgresql. Когда в airflow.cfg я меняю sql_alchemy_conn = spostgresql + psycopg2: //127.0.0.1: 5432 / airflow, где airflow - это имя моей БД, которая ...
вопрос задан: 17 March 2019 22:44
1
ответ
задачи очищенные воздушным потоком не выполняются
Преамбула Еще одна задача, связанная с воздушным потоком, но не выполняемая, вопрос ... В моем опыте с воздушным потоком все шло более или менее хорошо вплоть до этих выходных, когда все действительно пошло вниз. Я имею ...
вопрос задан: 15 March 2019 15:30
1
ответ
FTP-соединение с Airflow: укажите каталог по умолчанию
Как указать каталог по умолчанию в FTP-соединении в Airflow? Следующие поля доступны для Conn Type = FTP Schema Port Extra Схема не будет работать, когда каталог ...
вопрос задан: 5 March 2019 15:26
1
ответ
Несколько BashOperator в Airflow не распознает текущую папку
Я использую Airflow, чтобы увидеть, могу ли я выполнить ту же работу для загрузки данных, первоначальная загрузка завершается двумя шагами в оболочке: cd ~ / bm3 ./bm3.py runjob -p projectid -j jobid В Airflow у меня есть. ..
вопрос задан: 2 March 2019 03:24
1
ответ
Поток воздуха, как получить переменные env для каждого тега из самого кода
Я вижу из журнала следующую информацию: [2019-02-28 16: 33: 14,766] {python_operator.py:95} INFO - экспорт следующих переменных env: AIRFLOW_CTX_DAG_ID = email_operator_with_log_attachment_example ...
вопрос задан: 28 February 2019 21:42
1
ответ
Добавить SSH-соединение с ключом pem в соединение Apache Airflow
Есть ли способ добавить ssh-соединение в Apache Airflow из пользовательского интерфейса через вкладку «соединения» или «vairables», которые разрешают соединение с использованием ключа pem, а не имени пользователя и пароля.
вопрос задан: 26 February 2019 12:41
1
ответ
При успешном выполнении воздушного потока повторное выполнение одной задачи несколько раз
Каков наилучший способ повторного выполнения задачи (A) 3 раза последовательно? ..
вопрос задан: 19 February 2019 00:13
1
ответ
Импортируйте переменные, используя файл json в Google Cloud Composer
Как я могу импортировать файл json в Google Cloud Composer с помощью командной строки? Я попробовал приведенную ниже команду gcloud composer environment: запустите comp-env --location = us-central1 variable - --import ...
вопрос задан: 17 January 2019 13:43
1
ответ
Может сбой повторной попытки задачи DAG Airflow с измененным параметром
Возможно ли с помощью Airflow перезапустить задачу вверх по потоку, если задача внизу не выполняется? Это, кажется, противоречит «ациклической» части термина DAG. Я думаю, что это общая проблема. ...
вопрос задан: 16 January 2019 19:02
1
ответ
Возможно ли, чтобы DAG обнаружил первый запуск в определенную дату в Airflow?
У меня DAG работает каждые 30 минут. Скажем, это DAG (для простоты используются фиктивные операторы): dag = DAG (dag_id = 'My_dag', default_args = args, schedule_interval = timedelta (minutes = 30), ...
вопрос задан: 16 January 2019 13:21
1
ответ
Воздушный поток TimeDeltaSensor терпит неудачу с неподдерживаемым типом операнда
В моей DAG у меня есть TimeDeltaSensor, созданный с использованием: from datetime import datetime, timedelta из airflow.operators.sensors import TimeDeltaSensor wait = TimeDeltaSensor (task_id = 'wait', delta = ...
вопрос задан: 13 July 2018 09:15
1
ответ
Как остановить / убить задачи Airflow из пользовательского интерфейса
Как я могу остановить / убить запущенную задачу в Airflow UI? Я использую LocalExecutor. Даже если я использую CeleryExecutor, как я могу убить / остановить запущенную задачу?
вопрос задан: 28 July 2017 12:43
1
ответ
Очистка воздушного потока от засыпки
Я только начинаю работать с воздушным потоком в Airbnb, и мне до сих пор не ясно, как и когда выполняется обратная засыпка В частности, меня смущают два варианта использования: если я запускаю планировщик воздушного потока для нескольких ...
вопрос задан: 13 July 2017 19:23
1
ответ
настройка s3 для логов в потоке воздуха
Я использую docker-compose для настройки масштабируемого кластера воздушного потока. Я основал свой подход на этом Dockerfile https://hub.docker.com/r/puckel/docker-airflow/ Моя проблема в том, чтобы настроить журналы на ...
вопрос задан: 3 July 2017 16:17
0
ответов
Проблема с разрешением при запуске команды docker в подпроцессе Python через Apache Airflow
Есть идеи, почему я не могу запустить докер с помощью Airflow? Та же команда отлично работает в командной строке, используя того же пользователя, который запускает поток воздуха. Но когда его помещают в Airflow Dag, он жалуется докеру: получил разрешение
вопрос задан: 27 June 2019 15:24
0
ответов
Датчик воздушного потока в режиме перепланирования: лучший способ сохранить состояние счетчика между касаниями?
Я хочу сохранить состояние счетчика между касаниями в долгосрочном датчике, используя режим перепланирования. Проблема: я ожидаю, что файлы будут загружены в путь GCS, но у них нет сигнала успеха, когда ...
вопрос задан: 10 April 2019 23:11
0
ответов
DAG работает успешно, но в пользовательском интерфейсе Airflow Webserver DAG недоступен / DAG не активируется в Google Cloud Composer
Ниже приведен код DAG воздушного потока. Он отлично работает как при локальном размещении воздушного потока, так и в облачном компоновщике. Однако сам DAG не активируется в пользовательском интерфейсе Composer. Я нашел похожий вопрос и ...
вопрос задан: 28 March 2019 11:21
0
ответов
Airflow Cluster / Distributed Installation со всеми зависимостями в Amazon Linux
Есть ли какая-либо документация или сценарии для развертывания Airflow в кластерной или распределенной настройке на машинах linux или amazon linux? Все, что я нашел, это быстрый запуск всей документации, включая apache ...
вопрос задан: 21 March 2019 18:36
0
ответов
Изменения триггера воздушного потока DagRunOperator
Проект Apache Airflow, по-видимому, вынудил Conf TriggerDagRunOperator разрешить только JSON. Это отличается от того, как это было раньше, когда мне было разрешено передавать экземпляры классов без каких-либо ...
вопрос задан: 11 March 2019 14:07
0
ответов
Запущенный DAG не может получить параметры от TriggerDagRunOperator
Я попытался вызвать еще один dag с некоторыми параметрами в TriggerDagRunOperator, но в запущенном daag объект dag_run всегда имеет значение None. В TriggerDagRunOperator параметром сообщения является ...
вопрос задан: 18 January 2019 16:56
0
ответов
Отправка заданий Spark с использованием Airflow путем отправки пакетного метода POST в Livy и отслеживания заданий
Я хочу использовать Airflow для управления заданиями, которые включают в себя запуск некоторых сценариев PIG, сценариев оболочки и заданий Spark. В основном на рабочих местах Spark, я хочу использовать Apache Livy, но не уверен, хорош ли он ...
вопрос задан: 17 January 2019 03:36
0
ответов
Потоковая передача данных между базой данных SQL и концентратором событий Azure
Я создаю новый оператор для перемещения данных из базы данных SQL Server в базу данных SQL Azure. Внутри этого оператора я извлекаю данные из исходной базы данных SQL, применяя некоторые преобразования ...
вопрос задан: 16 January 2019 22:54
0
ответов
нужна помощь в выполнении заданий в Windows с сервера Airflow с помощью DAG
Я новичок в воздушном потоке Apache, у нас есть несколько заданий, которые на сервере Windows, мы хотели бы запланировать или запустить их с помощью воздушного потока и контролировать их? что было бы лучшим способом для этого
вопрос задан: 16 January 2019 21:39
0
ответов
Воздушный поток автоматически убивает Дага во время исполнения
Я пишу даг, который требует много ресурсов процессора и памяти, но я запускаю его на своем ноутбуке с 16 ГБ оперативной памяти, и я не испытываю никаких ограничений памяти. Я запускаю тест в тестовом режиме с тестом воздушного потока ...
вопрос задан: 16 January 2019 10:17
0
ответов
Динамические задачи воздушного потока во время выполнения
Другие вопросы о «динамических задачах», по-видимому, касаются динамического построения DAG во время графика или проектирования. Я заинтересован в динамическом добавлении задач в группу доступности базы данных во время выполнения. из воздушного потока ...
вопрос задан: 2 February 2018 19:29
0
ответов
Как запустить файл сценария bash в Airflow
У меня есть скрипт bash, который создает файл (если он не существует), который я хочу запустить в Airflow, но при попытке это не удается. Как мне это сделать? #! / bin / bash # create_file.sh file = filename.txt if [! -e "$ ...
вопрос задан: 5 April 2017 00:36
0
ответов
Параметры передачи воздушного потока в зависимую задачу
Как передать параметр в зависимые задачи в Airflow? У меня есть много файлов bashes, и я пытаюсь перенести этот подход на поток воздуха, но я не знаю, как передать некоторые свойства ...
вопрос задан: 11 August 2016 14:24