复合指标则是多个衍生指标的聚合 ， 用于输出最终的汇总数据 ， 比如某地区过去一年的坪效或某门店过去一年的坪效 。 到这里坪效指标的规范设计就已经完成了 ， 实体定义与技术指标紧密结合 ， 并且符合标准化的设计规则 。 在各种技术指标的计算中 ， DGC 还提供一键式的 SQL 脚本 ， 方便后续流程自动化的开发 ， 帮助开发人员进行快速高效的编程脚本实现 。

文章图片

在信息架构中 ， 我们也可以通过 DGC 自动汇总的关系图了解到不同维度表、事实表、技术指标、汇总表的关系图谱 ， 这里也方便运维人员快速定位问题 ， 以此进行高效运维 。

文章图片

如何高效的通过脚本和代码实现业务需求并实现一整条业务的流水开发 ， 这对业务不熟悉的开发人员来讲往往是个非常大的难题 ， 但华为云大数据轻量级解决方案提供了一整套高效的开发流程 ， 在需求放完成相关业务定义和指标设定后 ， 开发人员则可以对需求进一步实现 ， 在低代码量的基础上完成业务需求 ， 真正实现编程“轻模式” 。 这里通过 DGC 数据开发模块完成脚本开发、作业调度、运维监控等功能实现业务流水 ， 它支持业务流自动化、BI 报表生产线、云上仓库建设、日志分析挖掘等工具 ， 实现从数据接入、数据存储、数据分析和计算到业务应用全流程的一站式 IDE 平台服务 。 通过数据开发模块 ， 可以帮助用户对入湖后的数据进行快速的加工、清洗 ， 各种聚合运算 ， 数据转换等 。 在作业开发页面 ， DGC 也为开发人员提供了完整的开发流程介绍 。
DGC 的脚本开发支持在线的主流数据库脚本开发调试 ， 支持 DWS 脚本、DLI 脚本、Hive 脚本等；另外数据开发模块还提供了强大的 ETL 算子 ， 通过 ETL 算子可以在数据清洗转换的时候省去开发人员大量的 SQL 脚本开发 ， 直接通过图形化配置快速实现大量的清洗整合工作；DGC 的数据开发模块还整合了主流的数据开发能力和所见即所得图形化 ETL 工具的能力 ， 最终整合成拖拉拽式的批流结合全链路开发运维 ， 数据管道在运行后可以实施进行监控 ， 方便运维人员快速定位开发中所遇到的问题 。

文章图片

数据开发模块下的脚本开发提供了 DWS、DLI、Hive、Spark、Flink、RDS、Shell、Python 等多种脚本开发 ， 支持代码补全、语法高亮、错误提示、执行历史记录等功能 ， 可以帮助开发者正确高效的编写 。 这里我们构建了多个脚本 ， 完成贴源层和明细层数据的清洗 ， 数据汇总 ， 并最终导入到数据库中 。

文章图片

轻部署：可视化流水线构建 ， 快速定位问题
华为云大数据轻量化解决方案在业务部署上支持拖拉拽式的流水线业务部署 ， 整个过程开发人员不需要进行专门的环境搭建 ， 只需关注业务是否能完成即可 ， 部署后 ， 开发人员也可对业务运行过程中出现的问题层层分离 ， 快速定位 。 业务在执行上支持单次调度和周期调度 ， 调度如出现问题还可以进行实时通知 。 整个过程没有复杂的报警提示 ， 并可生成运维日报 ， 方便运维人员对整体业务有所把控 。
这里通过 DGC 的作业开发实现业务部署 ， 它支持多种云服务任务混合编排 ， 通过一系列节点构成一个有效的工作流 。 支持图形拖拉拽式的编辑作业页面 ， 快速实现自动化流水部署 ， 并验证作业是否存在问题 。