2024-05-15
147

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

147
2024-06-03
41508

iLogtail 2.0 重大升级,端上支持 SPL

日志数据格式可能是多样且复杂的,iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持,在日志处理场景下,可以通过多级管道对数据进行交互式、递进式的探索和处理,从配置交互和性能上,都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中,欢迎大家体验和使用。

41,508
2022-12-28
1242

阿里CCO基于Hologres的亿级明细BI探索分析实践

阿里CCO基于Hologres的亿级明细BI探索分析实践。

1,242
2023-08-16
675

MaxCompute ODPS重装上阵:PIVOT/UNPIVOT

MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

675
2023-09-14
667

沉浸式学习PostgreSQL|PolarDB 14: 共享单车、徒步、旅游、网约车轨迹查询

本文的目的是帮助你了解如何设计轨迹表, 如何高性能的写入、查询、分析轨迹数据.

667
109599

基于 Hologres+Flink 的曹操出行实时数仓建设

本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。

2024-05-15
104803

深度|庖丁解InnoDB之Buffer Pool

聚焦在Buffer Pool的本职功能上,从其提供的接口、内存组织方式、Page获取、刷脏等方面进行介绍

104,803
2024-05-15
123

奇思妙想的SQL|兼顾性能的数据倾斜处理新姿势

本篇为系列第2篇,分享在支付宝支付数据链路改造升级过程中,针对数据倾斜的优化实践新方法,在解决数据倾斜问题的同时,还能兼顾更优的计算性能!

123
2024-05-15
61149

云效 Pipeline as Code 来了,这些场景,用好它效率翻倍

可视化与YAML编排兼具,云效CI/CD流水线你愿意打几分?

1
...
10
11
12
...
28
到第
11/28