问题集锦。
环境:
airflow: 2.4.1
macOS
python: 3.9
AttributeError: ‘NoneType’ object has no attribute ‘Redis’
pip install redisModuleNotFoundError: No module named ‘MySQLdb’
1
2yum install -y mysql-devel gcc gcc-devel gcc-c++ python-devel libffi-devel openssl-devel libsasl2-dev
pip3 install mysqlclient pymysql mysql -i https://mirrors.aliyun.com/pypi/simpleInvalid default value for ‘updated_at’
mysql添加参数 [mysqld]节点下添加1
2
3
4vim /etc/my.cnf
[mysqld]
explicit_defaults_for_timestamp = ONFailed to fetch log file from worker. [Errno -2] Name or service not known
三台机器的ip/hostname映射都在/etc/hosts文件中加上ERROR - Detected zombie job
估计是scheduler和worker之间的代码不一致,导致scheduler认为这个dag不存在或者这个task不存在。
目前我遇到的这个问题是这个原因,同步一致后,没有出现这个错误了。webserver无法访问
修改airflow.cfg
[webserver]
base_url改为对应的ip地址
web_server_host改为对应的ip地址
好了,没事写写,记录一下曾经的工作。
