文章图片

数据开发中的作业监控功能提供短信、邮件等提醒方式 ， 方便开发人员第一时间了解作业运行过程中可能出现的异常状况 。
轻运维：数据实时监控 ， 封装服务开放
针对各类指标的监控 ， 华为云大数据轻量级解决方案为提供专业的数据质量监控 ， 方便运维人员对数据的动态进行实时的监控 ， 并也可根据实际业务情况设定对应监控指标 ， 帮助企业产出更有价值的数据服务体系 。 同时企业也可将数据形成的集市层数据封装成服务 ， 对外输出到 BI 软件或其他应用中 ， 实现数据的最大化利用 。 对于运维人员来讲 ， 无论是数据质量监控 ， 还是大数据资产管理 ， 抑或是数据服务的开放 ， 这些完全都是在高度可视化的模式下进行 ， 无需复杂代码即可完成数据产品的输出和监控 。
这里华为云大数据轻量级解决方案中的 DGC 数据质量模块可以将业务系统的指标和数据质量进行监控 ， 可以根据业务指标校验规则对数据的完整性、有效性、及时性、一致性、准确性、唯一性这六个维度进行单列、跨列、跨行或者跨表分析 ， 包括存在约束、非空约束、主键唯一性约束、实体唯一性约束、取值范围约束、长度约束、内容规范约束等 。 通过上述指标校验 ， 我们可以对数据的质量进行评估 ， 如果有些数据存在明显的质量问题 ， 就可以向开发者发送邮件、短信进行告警 。 同时也可以对数据进行分析和统计 ， 之后将数据推送到客户的相应部门 。 最终提升数据湖里整体数据的质量 。
DGC 数据质量模块提供业务指标监控和数据质量监控两种监控方式 ， 我们可以根据之前设计的技术指标对指标进行业务指标监控 ， 我们以之前的坪效指标为例 ， 首先在指标管理中选择需要运算汇总的指标 ， 并以此生成 SQL 脚本 。

文章图片

然后我们就可以设定具体规则对指标进行监控 ， 比如当全国平均坪效低于 20 万 ， 就出发年平均坪效较低通知 。
在随后的业务场景管理中 ， 我们就可以启动这一指标的业务指标监控 。
数据质量监控则可设定规则模版对数据质量进行校验 ， 某人提供了多种数据校验模版方便运维人员快速对数据进行校验 。

文章图片

数据质量监控的质量作业则可设定质量监控的内容 ， 并对关联质量作业进行启停操作 。 启动后质量作业监控就会生成质量报告 ， 以此帮助运维人员对整体数据进行监控 。
为了解各类数据资产的详细情况 ， 华为云大数据轻量化解决方案提供一站式的数据资产归纳 ， 业务资产、技术资产和指标资产三大部分 ， 业务资产包含业务对象、逻辑实体、业务属性三大部分 ， 技术资产则包含数据库、数据表和数据量 。
这里通过配置数据元 ， 可以创建数据链接 ， 实现数据集中管理 ， 并提供自定义策略采集任务 ， 以此实现形成资产目录 。 帮助企业一站式 ， 完成数据报表整理 。

文章图片


文章图片


文章图片

在数据目录下 ， 企业可以看到所有的业务资产、技术资产和指标资产 ， 业务资产是逻辑实体 ， 通过逻辑实体我们定义多样化的数据 ， 以此指导形成技术资产和指标资产 。