clickhouse的mac安装使用 发表于 2021-12-25 | 更新于: 2021-12-25 | 分类于 大数据 , 数据仓库 , ClickHouse | 阅读次数: 今天简单了解下OLAP联机分析数据库clickhouse,列式存储,非hadoop生态,独立于hdfs,有自己的存储系统。阅读全文 »
Flink-sql中hive-join碰到的问题 发表于 2021-12-22 | 更新于: 2021-12-22 | 分类于 大数据 , 数据仓库 , Flink | 阅读次数: 今天说一下最近碰到的一个flink sql temporal join hive表的问题,看看大家有没有碰到过,如果还在困惑中,或许你可以在本文中找到答案。阅读全文 »
浅谈flink-cdc的使用 发表于 2021-12-18 | 更新于: 2024-03-10 | 分类于 大数据 , 数据仓库 , 实时数仓 | 阅读次数: 最近使用flink cdc 1.x,生产上碰到了许多问题,这里给大家罗列一下,并给出思路和解决方案。阅读全文 »
airflow的check机制介绍 发表于 2021-12-18 | 更新于: 2021-12-18 | 分类于 大数据 , 调度系统 , Airflow | 阅读次数: 我们使用airflow的其中一个原因,就是管理任务流,及任务流之间的依赖关系。阅读全文 »
调度系统airflow和azkaban对比 发表于 2021-12-07 | 更新于: 2021-12-07 | 分类于 大数据 , 数据仓库 , 调度系统 | 阅读次数: 今天来对比下现在市面上开源的,用的比较多的两个调度系统airflow和azkaban的差别。阅读全文 »
flink-cdc2.0出来啦,解决了三个大问题 发表于 2021-12-01 | 更新于: 2021-12-01 | 分类于 大数据 , 数据仓库 , Flink | 阅读次数: 前面我跟大家说了一下我在使用flink mysql-cdc 1.x的时候碰到的问题,这也是官方一直在解决的问题,那么官方提供的解决方案是什么呢?flink cdc 2.0出现了,下面来看看。阅读全文 »
Flink-cdc所带来的问题 发表于 2021-11-28 | 更新于: 2021-11-28 | 分类于 大数据 , 数据仓库 , Flink | 阅读次数: 今天说下flink-cdc吧,最近工作中遇到了一个比较棘手的问题。阅读全文 »
Airflow安装详解 发表于 2021-11-16 | 更新于: 2021-11-16 | 分类于 大数据 , 调度系统 , Airflow | 阅读次数: 在讲airflow安装之前,我们先来了解下airflow的架构,这有助于我们去理解安装的步骤到底是干嘛的。来看这篇文章:airflow架构阅读全文 »