2024-05-15
135

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

135
2024-05-15
60

通过计算巢轻松部署Salt服务

Salt基于Python构建,是一个事件驱动的自动化工具和框架,用于部署、配置和管理复杂的IT系统。使用Salt来自动化公共基础设施管理任务,并确保基础设施的所有组件都以一致的期望状态运行。 本文向您介绍如何开通计算巢上的Salt服务,以及部署流程和使用说明。

2024-05-15
108

试试这套轻量级低成本自建数据库的审计方案

本文主要介绍使用日志服务借助开源工具来搭建一套轻量级低成本的数据库审计方案。

108
2024-05-15
169

通过日志服务实现数据库MySQL入湖OSS实践

本文为您介绍如何使用日志服务来实现MySQL数据库入湖OSS。

169
2024-05-15
84

将 Terraform 生态粘合到 Kubernetes 世界

如果您正在寻找将 Terraform 生态系统与 Kubernetes 世界粘合在一起的东西,那么恭喜!你在这个文章中得到了你想要的答案。准备 Terraform Module转化 Terrafrom 模块作为 KubeVela 扩展组件类型准备 KubeVela 环境部署带有公网 IP 地址的 ECS 实例并启动 FRP 服务使用 FRP 服务清理环境

84
2024-05-15
118296

DataphinV3.14全新升级:数据研发突破全域覆盖,资产治理更加灵活可控

DataphinV3.14支持传统数据库调用,带来全新高效研发体验,及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。

118,296
109588

基于 Hologres+Flink 的曹操出行实时数仓建设

本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。

2024-05-15
65151

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

65,151
2024-05-15
138734

用软硬协同设计下的飞天盘古降低存储系统开销

历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。

138,734
1
...
7
8
9
...
12
到第
1
2
3
4
5
6
7
8
9
10
11
12
8/12