大家好,我是Lee,今天说下贯穿airflow调度系统的基础变量execution_date,它怎么理解。

airflow调度单元是dag,每到dag该运行的时候,airflow就会启动一个dag_run实例,该实例存储在dag_run表中,这张表中的主键是:dag_id和execution_date,即表示每个dag在同一时刻,只能启动一个实例。
所以,execution_date是airflow中任务的计划执行时间。
当然,表中还有start_date,end_date,这两个时间字段,是dag任务的实际启动时间和结束时间,因为在airflow在轮询dag文件到发现该dag需要启动起来时,是有时间差(实际启动时间-计划启动时间)的,当系统资源一定时,任务数(dag文件)越多时,这个时间差就会越大。

还有,dag中的每个task,也是有着三个字段的:execution_date、start_date、end_date,他们都存储在task_instance表中,记录每个task对应的运行记录。
好了,今天就说到这儿。
吾之初心,永世不忘。
欢迎关注我的微信公众号,比较喜欢分享知识,也喜欢宠物,所以做了这2个公众号:
喜欢宠物的朋友可以关注:【电巴克宠物Pets】
一起学习,一起进步。
