数据架构选型必读:2021上半年数据库产品技术解析( 七 )

  • runtime field运行时字段 , 算是ES一个小小的新创新 , 带来了一些新的玩法 , 大大简化之前版本直接使用脚本的的场景 , 也能支持多个场景复用字段 , 达到灵活与性能兼具;
  • runtime field运行时字段 , 目前官方提供2种使用形式 , 一种提前在mappings中定义 , 一种是在DSL中动态创建 。 建议可以尽快使用 , 尽可能将旧版本直接使用script的场景切换到最新的运行时字段方式来;
  • runtime field , 运行时字段 , 虽然带来了诸多便利与好处 , 但也需要注意不可滥用 , 毕竟运行时计算依然依赖了script 。
  • 2、Forzen tier冻结层
    • 7.12.x版本 , Elasticsearch推出了冻结层特性 , 相比7.10.x增加了一个新的数据层概念 , 要知道ES为了解决海量数据的存储成本 , 推出了非常大胆创新的Searchable Snapshots能力 , 相比其它数据产品 , ES备份的数据快照不用还原就可以搜索使用 , 虽然性能相比正常的索引稍微弱一些 , 但也大大的节约了时间与存储成本 。 冻结层就属于这个概念 , 目的就是把备份快照数据划分到冻结层 , 提供了索引从创建到所有可能使用阶段的生命周期管理;
    • 结合ILM (index lifecycle management) , 让索引的自动化运维能力大大提升;
    • 配套Searchable snapshots索引快照搜索能力 , 单集群可轻松应对海量数据存储与查询 , 用极少资源挂载数百TB或PB数据量成为可能 , 还在对于成本考虑的公司或技术人员可以换换思维了 。
    node.roles: [ data_frozen ]
    3、JDK16.x运行环境
    • 从7.12.x开始 , Elasticsearch升级了内置默认的JDK版本 , 当前版本是jdk16.x ,至于为什么升级到最新版本 , 官方并没有给出最佳解释 , 升级JDK当然可以获得一些性能提升或者其它方面便利;
    • JDK16.x版本 , 查阅官方增加了一些新的特性 , 其中最引入注意的是Vector API , 近几年支持SIMD指令集数据分析产品大火 , 介于JDK版本特性问题 , 基于Java语言编写的大数据产品想要在数据分析能力得到性能的极致提升 , 非常难于实现 , 不如硬件CPU直接 。 JDK16.x开始支持SIMD指令 , 如果ES在未来某个版本开始直接支持SIMD , 那么单机数据分析性能也可以直追Clickhouse , 再结合Elastic Stack生态 , 个人很看好;
    • 目前很多Java家族数据产品 , 想要做到SIMD , 不借助JDK的话 , 只能通过JNI方式 , 混合使用C++的能力 。 这很别扭 , 也很无奈 ,很期待Elasticsearch早日支持JDK Vector API 。
    Greenplum发布6.16版本
    Greenplum 6.0自正式版发布以来 , 保持每月一个小版本的迭代速率 , 持续提供新功能和修复补丁 , 目前的最新版是6月4日发布的6.16.2 , 更新功能如下:
    1、服务器
    • 解决了分区键类型和搜索值类型不同时Postgres planner分区选择的问题;
    • 解决了以下问题:在具有 exec 位置INITPLAN的函数上运行 \df+ 时 , Execute on列未正确显示“initplan”;
    • 解决了由于服务器保存某些数据上下文的时间超过所需时间而可能发生的内存不足情况;
    • 修复了创建DOMAIN时master和segment之间collname值的不一致;
    • 解决了在指定CREATE MATERIALIZED VIEW失败并显示ERROR:division by zero when WITH NO DATA was being specified 。
    2、执行器
    • 解决了由于内存上下文TupleSort的双重释放导致数据库出现PANIC的问题 。
    3、gpload
    • 解决了gpload会因列名使用大写或混合大小写字符而失败的问题 。 gpload现在会自动为YAML控制文件中尚未引用的列名添加双引号 。
    此外 , 在过去的一个月中 , Greenplum监控管理平台Greenplum Command Center(GPCC)和流数据处理和下一代ETL组件Greenplum Stream Server(GPSS)均进行了版本更新 。 其中 , GPSS 1.6.0已于5日28日正式发布 , GPCC 6.5已于5月31日正式发布 。

    特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。