乐知付加密服务平台

如果你有资源, 平台可以帮你实现内容变现, 无需搭建知识付费服务平台。

点击访问官方网站 https://lezhifu.cc

扫码关注公众号 乐知付加密服务平台-微信公众号
数据湖简介 | chenzuoli's blog

数据湖简介

在北京的那段时间,做的是数据仓库相关工作,来上海之后,有机会接触到数据湖,结合工作内容,就学习了相关的知识,了解其结构,运行流程,与数据仓库还是有一些区别的,下面看看他们之间的不同。

仓库
数据仓库,简单来说,就是存储数据的仓库,那么仓库有什么功能,存储、规范、有秩序、方便存取、空间大等,它对接单一的业务系统,本身数据比较单一,并且已经具有一定规范化格式,数据接入后,对他们做一些ETL的操作,存入仓库,经过主题设计,模型套用,转换成易于使用,汇总简单的集合数据,或将结果、明细数据按照指定方式、格式下发到目标客户手中。

湖
那么数据湖呢,湖比仓库更大吧,有多条河流之水汇入,这多条河流,就是多个业务系统,可以是业务系统,可以是内部邮件系统,接入外部服务商的数据等等,而且数据格式也不统一,结构化、半结构化、非结构化、文件、文字类格式,每个系统都有自己的存储方式、设计方式,接入方式也不一样,比如数据库、接口、消息队列、文件等,需要不同的接入方式,所以使用的技术栈广泛,使用的存储介质也比较丰富,比如Hive存储格式化数据,Hbase、mongo存储非结构化数据等

数据仓库和数据湖,在以下方面的设计类似:
1.数据接入;
2.ETL;
3.数据模型;
4.数据集市;
5.数据应用;
6.数据湖、仓库监控;
7.元数据管理;
8.数据质量管理;


不积跬步无以至千里,不积小流无以成江海。

书山有路勤为径,学海无涯苦作舟。

欢迎关注微信公众号:【程序员写书】
程序员写书

喜欢宠物的朋友可以关注:【电巴克宠物Pets】
电巴克宠物

一起学习,一起进步。

-------------本文结束感谢您的阅读-------------