2024-05-15
149

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

149
2024-05-15
65177

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

65,177
2024-05-15
388

全景剖析阿里云容器网络数据链路(六)—— ASM Istio

本文是[全景剖析容器网络数据链路]第六部分部分,主要介绍ASM Istio模式下,数据面链路的转转发链路。

388
2023-03-21
2281

Hologres技术揭秘,JSON半结构化数据的极致分析性能

本文将会揭秘Hologres JSONB半结构化数据的技术原理,实现JSON半结构数据的极致分析性能。

2,281
2023-08-28
20806

探索AI时代的应用工程化架构演进,一人公司时代还有多远?

当代AI来势汹汹,本文从AI的特点、对研发的挑战、AI的应用工程和场景分化等剖析了AI时代的应用工程化架构演进之路。

20,806

Flink+Paimon+Hologres 构建实时湖仓数据分析

本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。

2024-05-15
125

函数计算 HTTP 触发器支持异步,解放双手搭建 Web 服务

当前阿里云函数计算支持两种类型的函数:事件函数和 HTTP 函数。其中 HTTP 函数结合 HTTP 触发器,能够支持用户直接通过 HTTP 请求利用 Restful API 的方式发起函数调用;通过这种方式,用户无需集成函数计算提供的 SDK 就能实现函数调用,更好地同已有系统的组件及 Web 服...

大数据分析平台之 OLAP 架构的最佳实践

本文将分享聚水潭云原生 OLAP 架构的最佳实践。

2024-06-03
41509

iLogtail 2.0 重大升级,端上支持 SPL

日志数据格式可能是多样且复杂的,iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持,在日志处理场景下,可以通过多级管道对数据进行交互式、递进式的探索和处理,从配置交互和性能上,都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中,欢迎大家体验和使用。

41,509
1
...
5
6
7
...
18
到第
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
6/18