类目筛选
2023-08-16
605
MaxCompute ODPS重装上阵：PIVOT/UNPIVOT
MaxCompute推出新语法 - PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求，简化了查询语句，提高了广大大数据开发者的生产力。
605
2024-05-15
65064
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
65,064
2024-05-15
115
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能，允许任务间传递消息。输出节点（如SQL、Shell、Python任务）能输出参数，输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括：金融企业的币种转换，其中汇率任务（输出节点）提供汇率，转换任务（输入节点）使用该汇率；以及产品目录更新检查，通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数，并在运维中进行补数据操作。
115
2023-06-15
13240
大数据SQL数据倾斜与数据膨胀的优化与经验总结
目前市面上大数据查询分析引擎层出不穷，但在业务使用过程中，大多含有性能瓶颈的SQL，主要集中在数据倾斜与数据膨胀问题中。本文结合业界对大数据SQL的使用与优化，尝试给出相对系统性的解决方案。
13,240
2023-09-08
339
阿里云智能媒体服务IMS在视频剪辑中花式抠图的代码实操与案例详述
本文介绍阿里云智能媒体服务IMS，围绕视频剪辑及数字人训练中的抠图需求，如何运用 绿幕抠图、实景抠图能力，实现高效、便捷的视频制作及合成体验。
339