文章图片

1月6日 ， 由中国电子技术标准化研究院指导、 CSDN主办的2021DC分布式数据库开发者大会 ， 举行了“2021年度海纳奖”颁奖典礼 。
滴普科技数据平台技术专家吴小前获“2021年度海纳奖——分布式数据库十大先锋人物”奖 。 榜单由CSDN联合极客邦、思否、开源中国、木兰开源社区共同评选 ， 从技术创新、行业实践、学术研究、生态拓展等维度对参评人进行考评 。

文章图片

国产化替代趋势突出 ， 分布式数据库将成为核心
【滴普科技数据平台技术专家获2021海纳奖——分布式数据库十大先锋人物】近年来 ， 随着数据量爆发性增长 ， 导致数据负载随之扩大 ， 对数据库扩容的需求愈加迫切 。 但面对大规模数据处理 ， 集中式数据库的局限性问题日益凸显 。
吴小前认为 ， 国内的数据库发展起步较晚 ， 自2010年开始经历了传统数据库、云数据库、分布式数据库三个阶段 。 尤其是伴随云计算的发展 ， 企业面临更多的是半结构化、非结构化数据 ， 因而NoSQL、NewSQL、HTAP、多模等分布式架构的数据库开发规模逐渐扩大 。
在他看来 ， 分布式数据库以高可用、可扩展、多地域、多部署形态、混合负载以及透明兼容性等诸多特性 ， 正成为企业核心系统升级的首选 。 可以预见的是 ， 随着业务对大数据技术需求的不断演变 ， 分布式数据库的地位愈加重要 ， 必将成为未来大数据技术发展的核心 。
采用云原生架构 ， 滴普科技构建技术开源生态
作为大数据发展的核心技术 ， 分布式数据库主要解决分布式事务处理与查询优化智能数据分布技术、智能运维调优技术等 。 基于此 ， 吴小前和滴普科技研发团队 ， 首次引入领先的MDS架构 ， 规划并设计了国内首个低成本、高性能、易使用的云原生数据智能平台FastData ， 服务于企业建立流批一体和湖仓一体的新一代数据存储计算平台和数据科学分析平台 。
面对大规模的数据存储 ， FastData采用存算分离架构 ， 弹性扩展、高并发、低延时 ， 支持结构化、半结构化、非结构化数据存储 ， 实现EB级的大规模存储部署；并内置包括S3/OSS/HDFS/OBS的多模态的存储引擎与分级存储 ， 深度整合各类云数据存储 。
同时 ， 滴普科技还引入Apache iceberg表存储引擎 ， 支持公有云和私有云部署、支持多级分区、动态扩容、弹性调度 ， 以及并发控制的ACID事务 ， 确保了多方并发读写数据的一致性 。
在实际部署中 ， FastData则采用独立的存储和计算集群 ， 能独立扩展支持更大的用户并发和数据量 ， 使得资源按需使用 ， 进一步降低成本 。

文章图片

目前 ， FastData 已经赋能于先进制造、生物医药、能源出行、政务双碳、金融科技、消费流通等领域 ， 取得了一定的实践成果 。
以国内某鞋服零售集团为例 ， 之前该集团的数据分布在CDH/DB2/MySQL/Oracle等OLAP数据库中 ， 滴普科技为其完成核心大数据组件升级 ， 从原来的 Hive、Spark、离线计算等技术 ， 升级为 FastData-DLink、FastData-DCT、FastData-DataFacts ， 将原有 7 个数仓平台整合形成湖仓一体实时架构 。 统一数仓之后 ， 实现实时数据分析 ， 节约了大量传统数仓的技术运维成本 。
为了将创新技术赋能于更多业务场景 ， 滴普科技致力于打造DEEPNOVA开发者社区 ， 希望可以凭借其开放、共享等特性 ， 在更短的时间内快速完成产品迭代、生态构建、品牌渗透 ， 提高数据技术产品的创新效率 。