jjzjj

CeleryExecutor

全部标签

hadoop - Apache Airflow 分布式处理

我对ApacheAirflow的架构感到困惑。如果我知道,当您在oozie中执行hql或sqoop语句时,oozie会将请求定向到数据节点。我想在ApacheAirflow中实现同样的目标。我想执行shell脚本、hql或sqoop命令,并且我想确保我的命令正在由数据节点分布式执行。Airflow有不同的执行器类型。我应该怎么做才能同时在不同的数据节点上运行命令? 最佳答案 您似乎想在分布式工作人员上执行您的任务。在这种情况下,请考虑使用CeleryExecutor。CeleryExecutorisoneofthewaysyouca

redis - 如何在不使用mysql的情况下在airflow中使用CeleryExecutor

我的后端是redis,但是airflow包中的airflow.cfg文件只给出了使用mysql作为后端的示例celery执行器。基本上不确定如何为redis后端设置/替换airflow.cfg中的以下sql_alchemy_conn。sql_alchemy_conn=sqlite:////Users/myself/airflow/airflow.db尝试谷歌搜索但没有成功。是否有使用redis作为CeleryExecutor后端的示例airflow.cfg? 最佳答案 “sql_alchemy_conn”用于处理DAG运行等的元数据