tonglin0325的个人主页

Airflow分布式部署

airflow分布式部署所依赖的组件有mysql,redis,web-server,scheduler,worker等,可以将这些组件部署在不同的机器上,来减低单台机器的压力

单机安装请参考:Ubuntu16.04安装apache-airflow

然后在不同的机器上启动不同的组件

1
2
3
4
airflow webserver -D
airflow scheduler -D
airflow worker -D

安装airflow其他支持组件,比如airflow-kerberos,参考

1
2
https://awesome.dbyun.net/study/details?mid=160&id=7427

airflow启用kerberos,参考

1
2
https://github.com/astronomer/airflow-guides/blob/main/guides/kerberos.md