近年来 ， 信息技术迅猛发展 ， 伴随着云计算、大数据、人工智能等技术的快速发展和传统产业的数字化转型 ， 数据量呈现几何级增长 。 根据市场研究资料显示 ， 全球数据总量将从 2016 年的 16.1ZB 增长到 2025 年的 175ZB， 十年内将有 10 倍的增长 。 面对如此海量的数据 ， 如何通过智能化手段将数据有效转化 ， 成为企业新的挑战 。
基于这样的需求 ， 完全纯数据仓库不适宜半 / 非结构化数据的处理；而单纯的数据湖虽然适合存储数据 ， 但它们不支持事务处理 ， 不保证数据质量 ， 并且缺乏一致性/隔离性 。 对此不少企业都曾纠结于数据湖和数据仓库的二选一 ， 那么是否能有一种方案能将二者的优势融合 ， 将这类“选择题”变成令人舒服的“肯定题”？如今这类肯定题已经出现：一种结合数据湖和数据仓库优势的方案诞生了——湖仓一体化 。 它实现了数据湖和数据仓库之间的无缝流转 ， 打通了数据存储和计算的不同的层面 ， 兼顾数据湖的灵活性和数据仓库的成长性 ， 将二者有效结合起来为用户实现更低的总体拥有成本 。
鱼和熊掌两手抓——“全栈式”数据平台 FastData
作为数据智能服务商 ， 滴普科技围绕数据智能技术 ， 构建了新一代云原生数据智能平台 FastData ， 它服务于企业建立流批一体和湖仓一体的数据存储计算平台和数据科学分析平台 。 相较于传统的数仓和数据湖产品 ， FastData 具备三大优势：

1. 低成本 ：FastData 可以为企业降低底层大数据平台的建设和运维成本 ， 减轻企业对于整个技术体系的依赖程度 ， 相比原经典的大数据平台而言 ， 可以节省 40%—50% 的成本 。
2. 高性能 ：FastData 在满足低成本的同时,仍具备处理 PB 级结构化、半结构化以及非结构化的数据 ， 在实时流计算的场景可以实现秒级的同步和计算 ， 可以满足大型企业实时或准实时的数据处理要求 。
3. 易使用 ：FastData 打造了一个 IT 工程师、数据工程师和数据科学家能够一体化操作的数据智能平台 ， 进行数据的智能化运营 。

FastData 通过湖仓一体 ， 同时吸收了数据仓库和数据湖的优势 ， 可以解决多模数据管理复杂的问题 ， 实现快速分析应用与数据价值深度的发掘 ， 加速业务价值创新 ， 相信客户面对这样“鱼和熊掌兼得”的产品很难不心动 。
同时 ， 基于高性能分布式对象存储基础设施 ， FastData 采用云原生、存算分离架构 ， 为了实现“全栈式”的数据平台级服务 ， 滴普科技核心研发了实时PB级数据引擎 DLink、数据智能开发平台 DataFacts ， 用于企业数据科学分析、可视化建模、机器学习等的数据科学分析平台 DataSense ， 以及数据资产管理和运营平台 DXP 。

文章图片

FastData 的底气何来 ， 揭秘 DLink 数据引擎
我们以 FastData 中的“PB 级大心脏” DLink 为例 ， DLink 的核心理念就是“统一” ， 它基于 Iceberg、Flink 和 Trino 技术栈 ， 提供多种数据类型的统一存储能力 ， 支持高质量的流批一体数据整合 ， 其特点包括海量数据存储处理、多样数据格式与来源、新数据高速产出、数据解释可变性高、数据遵循流畅一致性强、可供消费数据波动性高等 。
DLink 融合了实时数仓和数据湖服务 ， 采用存算分离架构 ， 弹性扩展、高并发、低延时 ， 支持 PB 级多模数据存储与处理 ， 无缝连接大数据生态 ， 提供一站式的数据探索（汲取）、实时开发、数据分析和数据科学（机器学习） ， 满足 BI、实时看板等应用需求 。