Databend 开源周报第 80 期

站长

2024年03月17日 11:34 · 阅读数 64

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：app.databend.com 。

What's New

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

Features & Improvements :sparkles:

Meta

新增 databend-meta 配置项 grpc_api_advertise_host (#9835)

AST

支持在 select from stage 时选定文件或模式 (#9877)
解析 decimal 类型 (#9894)

Expression

新增 Decimal128 和 Decimal256 类型 (#9856)

Functions

支持 array_indexof (#9840)
支持 array_unique 和 array_distinct (#9875)
支持数组相关聚合函数 (#9903)

Query

在 TableSchema 中新增 column id; 并在读写数据时使用 column id 代替 index (#9623)
system.columns 中支持视图 (#9853)

Storage

ParquetTable 支持 topk 优化 (#9824)

Sqllogictest

使用 sqllogictest 执行 TPCH 基准测试 (#9887)

Code Refactoring :tada:

Meta

移除过时的 meta service API read_msg() 和 write_msg() (#9891)
引入 update_xx_with(id, f: FnOnce) 方法以简化 UserAPI 和 RoleAPI (#9921)

Cluster

exchange source 拆分为 reader 和 deserializer (#9805)
拆分并消除 exchange transform 和 sink 的状态 (#9910)

Functions

重命名部分数组函数，添加 array_ 前缀 (#9886)

Query

TableArgs 保留必备参数和具名参数的信息 (#9917)

Storage

ParquetTable 列出 read_partition 中的文件 (#9871)

Build/Testing/CI Infra Changes :electric_plug:

支持为 PR 运行基准测试 (#9788)

Bug Fixes :wrench:

Functions

修复可为空的 and 和 or 的作用域计算 (#9928)

Planner

修复 histogram_from_ndv 遇到错误回溯时导致 planner 过慢 (#9876)
修复包含聚合函数的 order by (#9879)
使用以子查询为条件的删除时防止恐慌 (#9902)

Query

修复插入默认值的数据类型 (#9816)

What's On In Databend

请持续关注 Databend 的最新动态。

为什么你应该尝试 Sccache

Sccache 是一个由 Mozilla 团队发起、类似 ccache 的项目，提供对 C/CPP 、Rust 和其他语言的支持，能够将缓存存储到本地或云存储服务。社区在 Sccache 0.3.3 中新增对 Github Action Cache Service 的原生支持，近期发布的 v0.4.0-pre.6 中又进一步加强这一功能，现在已经可以在生产 CI 环境中使用。

现在，由 Datafuse Labs 开源的 opendal 充当 sccache 的数据访问层，以对接多种存储服务（s3、gcs、azlob 等）。

阅读下述材料以了解更多讯息

Blog | Why You Should Try Sccache

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

尝试使用 `build-info` 重构 `common-building` 逻辑

使用 vergen 和 cargo-license 来获取关于 git 提交、构建选项以及上游依赖的信息。

build-info 可以收集 Rust crate 的构建信息。使用它来重构 common-building 中的相关逻辑可能会更好。

pub struct BuildInfo {
    pub timestamp: DateTime<Utc>,
    pub profile: String,
    pub optimization_level: OptimizationLevel,
    pub crate_info: CrateInfo,
    pub compiler: CompilerInfo,
    pub version_control: Option<VersionControl>,
}