StarRocks COO叶谦:仰望星空,脚踏实地,StarRocks开启新的序章|数据猿专访( 二 )


第二 , StarRocks可以支持数据秒级实时更新 , 写入数据立即可见 , 帮助用户显著提升业务洞察的实时性;
第三 , StarRocks支持数千用户同时进行分析 , 可以赋能更多用户进行业务洞察;
第四 , StarRocks还支持基于多种数据模型的极速分析 , 可赋予业务全新的构建灵活性和速度 , 能帮助用户快速响应业务变化 。
StarRocks COO叶谦:仰望星空,脚踏实地,StarRocks开启新的序章|数据猿专访
文章图片

在变幻莫测的数据库行业中 , 这是StarRocks追求“极速统一分析”之路 , 也基于业务数据、数据报表、数据指标越来越多的企业应对之法 。
论创新 , StarRocks有效利用数据为业务创造价值
在追求“极速统一分析”的同时 , StarRocks也一直在解决一个难题——到底怎样的技术创新才能有效地分析海量数据 , 真正有效地利用数据为业务创造价值呢?
从0到1的进化 , 总伴随着破壳而出的喜悦 。 谈及技术创新点 , 叶谦自豪地讲到:“全面向量化技术是第一个创新 , StarRocks的整个执行引擎都是按照向量化的方式全部重写的 。 从磁盘数据格式 , 到内存数据格式 , 再到网络数据传输格式都按列的方式进行处理 。 而且我们执行引擎里的每一个算子 , 包括表达式计算、执行节点、数据Shuffle都是用向量化的方式实现并优化 。 ”
至于全面向量化的重要性有几何?StarRocks的全面向量化和其他产品的向量化有何区别 , 叶谦进一步解释到:“很多产品的向量化基本都只是局部的 , 并没有用向量化技术实现所有的算子 。 还有的产品虽然使用列式存储 , 但在计算时‘换汤不换药’还是按行来 。 而StarRocks不同 , 它是完全的按列存储 , 按列计算 , 按列传输 。 并且应用全面向量化引擎的执行 , StarRocks相比原来的执行引擎 , 性能提升了几倍到十几倍 。 ”
不仅如此 , StarRocks还有第二大技术创新点 , 即从零开始实现了一个全新的CBO优化器 。 “一个好的优化器要能够给出执行代价最低 , 并能充分利用自身执行引擎能力的执行计划 , StarRocks自研的全新CBO优化器让我们在SSB标准测试上的性能表现提升了3—5倍 。 在TPC-H测试集上 , 同样是以外表的方式查询Hive数据 , 性能比Presto快5倍以上 。 当然除了这两大创新点 , 我们还通过Colocate Join , 现代化物化视图等优化手段 , 这些优化手段在特定的场景下都能大幅提升数据分析的性能 。 ”叶谦补充到 。
StarRocks COO叶谦:仰望星空,脚踏实地,StarRocks开启新的序章|数据猿专访
文章图片

为什么StarRocks能如此迅速地成为“前排选手”?也许靠的正是面对数据库深水区时的产品创新和技术创新 , 以及帮助客户实现重大成就和打造世界级的分析型数据库产品的决心 。
品当下 , 满足客户的需求是StarRocks存在的唯一意义
杠杆只有在对的支点 , 才有撬动地球的能力 。 叶谦觉得这句话最适合互联网公司贝壳 。
“OLAP平台是贝壳的数字化运营基石 , 在数据平台中占据着非常重要的位置 。 首先OLAP平台需要支撑集团的经营管理决策 , 需要将各种业务流程中的关键指标抽象出来 , 在OLAP平台上进行实现;其次是探索性分析 , OLAP平台需要支持前线业务员的探索性分析;最后是可视化报表 , 即常规的固定报表业务 , 需要OLAP引擎有支持大规模并发请求的能力 。 ”叶谦介绍起贝壳情况 。
在没有上线StarRocks之前 , 为了满足不同数据分析场景的需求 , 贝壳上线了包括Impala、Presto、Kylin、Druid、ClickHouse、Hive等多套数据分析系统 , 做到不同系统对应不同的数据分析需求 。 但贝壳在数据分析方面依然存在不少问题 , 比如历史数据Update支持差、多表Join功能的支持能力差、运维复杂 , 用户学习成本较高等等 。

特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。