乐知付加密服务平台

如果你有资源, 平台可以帮你实现内容变现, 无需搭建知识付费服务平台。

点击访问官方网站 https://lezhifu.cc

扫码关注公众号 乐知付加密服务平台-微信公众号
数据仓库监控系统 | chenzuoli's blog

数据仓库监控系统

      我们如何知道仓库的运行情况呢?仓库监控系统可以看到。下面来看看仓库监控系统里面需要监控的内容。

      通常,数据仓库环境中两种受监控的操作成分是存储于数据仓库中的数据和数据的使用。监控数据仓库环境中的数据是管理数据仓库环境的基本能力。通过监控数据仓库环境中的数据能取得一些重要信息,包括:

■ 识别发生了什么增长,增长发生在什么地方,增长以什么速率发生
■ 识别正在使用什么数据。
■ 估算最终用户得到的响应时间。
■ 确定谁在实际使用数据仓库。
■ 说明正在使用数据仓库中的多少数据。
■ 精确指出数据仓库何时被使用。
■ 识别数据仓库的多少数据被使用。
■ 检查使用数据仓库的层次。

      当数据体系结构设计者不知道这些问题的答案时,有效的管理运行中的数据仓库环境是不可能的。监控数据仓库真的有用吗?只要考虑一下知道“在数据仓库中什么数据正在被使用”有多么重要就明白了。数据仓库的特性是不停地增长。历史数据不停地加入数据仓库,汇总数据也不停地加入,新的抽取流在创建。同时数据仓库驻留的存储和处理技术并不昂贵。有时会问这样的问题:“为什么所有这些数据要积累起来?真有人用这些数据吗?”显然,不论是否有数据仓库的合法用户,在数据仓库正常运行期间,一旦数据放入数据仓库,数据仓库的开销就会增长。只要数据体系结构设计者没有办法确定如何使用数据仓库中的数据,那么除了不断购买新的计算机资源之外就别无选择了—购买更多的存储设备、更多的处理器,等等。但是通过监控数据仓库中数据的使用,就有机会把不用的数据移到其他介质上。当数据体系结构设计者发现当前一些数据没有使用,就把这种数据移到不昂贵的介质上,这是合适的做法。通过监控数据仓库中数据的使用和活动情况,数据体系结构设计者能确定现在什么数据不在使用,就能进行转移。监控数据仓库环境中的数据及活动会得到非常实在的和迅速的回报。

      在数据监控处理期间,可以建立数据的各种概要文件包括:
■ 数据仓库中所有表的目录。
■ 这些表的内容。
■ 数据仓库中表的增长。
■ 用于访问表的可用的索引目录。
■ 汇总表和汇总源的目录。

      监控数据仓库活动的需求通过下列问题来说明:
■ 什么数据正在被访问?
■ 什么时候访问?
■ 由谁访问?
■ 访问频率怎样?
■ 在什么细节层次?
■ 对请求的响应时间是什么?
■ 在一天的什么时间提出请求?
■ 请求多大的数据量?
■ 请求是被终止的还是正常结束的?

      在数据仓库环境中使用监控程序的一个根本问题是在哪儿进行监控。能进行监控工作的一个地方是最终用户终端。这是做监控工作的一个方便位置,因为这里有很多空闲的机器周期,并且在这里进行监控工作对系统性能只有很小的影响。但是,在最终用户终端监控系统意味着每个被监控的终端需要自己的管理员。在一个单独的D S S网络中,可能有多达10 000台终端,试图管理每个终端的监控工作几乎是不可能的。另一个途径是在服务器层次对D S S系统进行监控。在查询已形式化并且已经传给管理数据仓库的服务器后,才开始进行监控。毫无疑问,在此处管理监控程序要容易得多。但是存在系统范围内性能下降的很大可能性。因为监控程序使用服务器资源,监控程序影响整个D S S数据仓库环境的工作性能。监控程序的位置是必须仔细考虑的重要问题,要在管理的方便性和降低性能之间进行权衡。监控程序最有效的用途之一是能够将今天的结果与每天平均的结果进行比较。发现异常时,能够问一句“今天与每天平均的结果有什么不同?”这通常是有好处的。在大多数情况下会发现性能变化不象想象中那么坏。但为了做这样的比较,需要一个“每天平均概况”。“每天平均概况”包括了D S S环境中描述一天情况的各种标准的重要度量指标。一旦对当天的情况进行了度量,就可以与每天平均概况进行比较。当然,每天平均值总是随时在变化的。定期地追踪这些变化,使得对长期系统趋势能够进行度量将是有意义的。

      数据仓库监控系统可以监控的内容:

  1. 任务概览;
    1. 任务运行详情:日志、状态、开始时间、结束时间、运行时长等
    2. 任务endTime时间(结束时间与deadline时间比较)监控;
  2. 库表数概览;
    1. 数量;
  3. 数据量概览;
    1. 占用磁盘大小;
  4. 仓库层次概览;
    1. 仓库分层;
  5. 主题域概览;
    1. 模型设计;
  6. 数据集市概览;
    1. 对外业务集市;
    2. 对内业务集市;
    3. 外部导入集市;
  7. 数据源概览;
    1. 仓库数据来源;
  8. 调度系统报警机制:可设置报警人、报警组,和报警方式,如短信、企业邮箱、企业微信、钉钉等
    1. 超时任务:每个任务历史执行时长取方差,如果本次任务减去平均值超出方差范围,则报警;
    2. 失败任务;
    3. 数据重复;
    4. 开始时间预警;
    5. 结束时间预警;
  9. 多个任务设置报警SLA;
    1. SLA服务会根据组内的任务运行情况实时做一个统计,定时发送组内任务运行情况;
    2. 在配置任务的时候设置标签,属于哪个SLA组,可以根据仓库层次、数据集市进行分组配置任务运行概览;

Time is money.

书山有路勤为径,学海无涯苦作舟。

欢迎关注微信公众号:【程序员写书】
程序员写书

喜欢宠物的朋友可以关注:【电巴克宠物Pets】
电巴克宠物

一起学习,一起进步。

-------------本文结束感谢您的阅读-------------