今天说一下最近碰到的一个flink sql temporal join hive表的问题，看看大家有没有碰到过，如果还在困惑中，或许你可以在本文中找到答案。
基本环境
我用的是flink version 1.12.3，hive是1.2.0，hbase是1.0。
好了基本环境介绍完了，流程是这样的：
1 | mysql join hive， insert into hbase |
我们用到了2个connector，1个是mysql-cdc connector，另一个是hbase connector。
hive作为一个维表，去关联得到相应的结果。
mysql 200条数据，hive 900万数据（大概5G大小），根据mysql的主键作为hbase的rowkey，写入hbase。
启动
启动flink sql任务，我们设置jm 1core 2048m内存，tm 3core 16932m内存足以加载整个hive表了。
启动后报错，报错位置在读完mysql的2000条数据之后，然后加载hive表数据时，读了1分半，出现了zookeeper session timed out，于是task failover了，造成TaskManager不停重启，任务失败。
我们刚开始在分析的时候，也是怀疑hbase连接zookeeper session的timeout设置时间是不是太短了，造成超时。
准备调整zookeeper.session.timeout时间到更大的数值（现在hbase-site.xml中设置的值是90s），后来发现日志中有一句：
1 | lookup join cache |
找到对应的flink源码，发现是加载hive的数据到flink，好了，知道原因了，加载hive过程中，zookeeper的session超时了，导致task failover。
那么就要想办法延长timeout时间，或者减少hive维表数据量了。
ok，今天就到这里，分享给大家困扰我好几天的问题。
Keep reading, Keep writing, Keep coding.
欢迎关注我的微信公众号，比较喜欢分享知识，也喜欢宠物，所以做了这2个公众号：
喜欢宠物的朋友可以关注：【电巴克宠物Pets】
一起学习，一起进步。