Вы должны проверить Apache Airflow (incubating) , который является новым проектом, пожертвованным AirBnB, и который позволяет планировать рабочие процессы, среди которых также поддерживается Apache Beam.