类目筛选
2024-05-15
65575
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
65,575
2024-05-15
1425
Koordinator v1.4 正式发布，为用户带来更多的计算负载类型和更灵活的资源管理机制
Koordinator v1.4 正式发布！为用户带来更多的计算负载类型和更灵活的资源管理机制
1,425
2024-05-15
165234
OpenKruise v1.6 版本解读：增强多域管理能力
OpenKruise 在 2024.3 发布了最新的 v1.6 版本（ChangeLog），本文对新版本的核心特性做整体介绍。
165,234
2024-05-15
448
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能，允许任务间传递消息。输出节点（如SQL、Shell、Python任务）能输出参数，输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括：金融企业的币种转换，其中汇率任务（输出节点）提供汇率，转换任务（输入节点）使用该汇率；以及产品目录更新检查，通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数，并在运维中进行补数据操作。
448
2024-08-23
290
MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景，提供基于Delta Table的近实时增全量一体的数据存储和计算解决方案。
290
2023-08-07
624
MaxCompute ODPS 重装上阵，QUALIFY
MaxCompute支持QUALIFY语法过滤Window函数的结果，使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。
624
2023-12-01
871
MaxCompute 重装上阵，Global Zorder
MaxCompute支持Global Zorder，使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序，以便数据能有更好的聚集性。
871