类目筛选
2024-05-15
153
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能，允许任务间传递消息。输出节点（如SQL、Shell、Python任务）能输出参数，输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括：金融企业的币种转换，其中汇率任务（输出节点）提供汇率，转换任务（输入节点）使用该汇率；以及产品目录更新检查，通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数，并在运维中进行补数据操作。
153
2023-12-01
79959
AI 时代的 GPU 生存工具包，每个开发人员必须知道的最低限度
AI技术迎来了“百花齐放”的春天，这既是我们的挑战也是机会。而AI+千行百业创造了无限可能，也为独立开发者提供了大量的资源、支持以及学习经验的机会。本文分享一篇摘录自Hexmos 期刊的AI 时代的 GPU 生存工具包。
79,959
2023-12-01
614
MaxCompute 重装上阵，Global Zorder
MaxCompute支持Global Zorder，使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序，以便数据能有更好的聚集性。
614
2024-05-15
65184
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
65,184
2024-05-15
265
利用 KMS 对文本信息进行签名验签实践
通过阿里云的KMS产品针对文件或者证书文件进行签名验签，可以有效解决攻击者针对敏感文件、重要文件在传输过程中被篡改，其次可以实现证书双向认证过程中的证书合法性校验，真正做到传输链路安全。
265