2023-11-09
420

Dataphin实时研发实践—电商场景下的实时数据大屏构建

实时数据大屏是实时计算的重要应用场景之一,广泛应用在电商业务中,用于实时监控和分析电商平台的运营情况。通过大屏展示实时的销售额、订单量、用户活跃度、商品热度等数据指标,帮助业务人员随时了解业务的实时状态,快速发现问题和机会。同时,通过数据可视化和趋势分析,大屏也提供了决策支持和优化运营的功能,帮助业务人员做出及时的决策和调整策略,优化电商业务的运营效果。 下面以电商业务为背景,介绍如何构建经典实时数仓,实现实时数据从业务库到ODS层、DWD层、DWS层全链路流转,基于Dataphin和Quick BI实现实时数据大屏。

420
2024-05-15
65176

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

65,176
2024-05-15
1426

你好,iLogtail 2.0

你好,iLogtail 2.0!

1,426
2024-05-15
144

Java 22 新增利器: 使用 Java Stream Gather 优雅地处理流中的状态

本文中我们分析了 什么 是 “流”,对比了 Java 上几种常见的 “流”库,引入和详细介绍了 Java 22 中的 Stream Gather API 。同时也简单分享了利用虚拟线程 如何简化 Stream map Concurrent操作符的实现。希望抛砖引玉和大家分享新的特性,共同进步。同时也希望大家都可以升级到新版本的 JDK,更好的赋能业务。

144

Flink+Paimon+Hologres 构建实时湖仓数据分析

本文整理自阿里云高级专家喻良,在 Flink Forward Asia 2023 主会场的分享。

2024-05-15
273

准确率100%,阿里商旅账单系统架构设计实践

阿里商旅作为飞猪旅行旗下面向企业客户的数字化差旅解决方案产品,依托飞猪旅行机票、酒店供应链为企业客户提供一站式的机票、酒店、火车票、用车等预订管控及结算票据服务。阿里商旅不仅是集团欢行的供应商,而且近几年在商业化差旅市场上崭露头角,服务了2万+中大型客户,43万+小微企业。

2024-05-15
148

跨节点参数的缘起与今生

Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

148
2024-05-24
47336

“黏土风格”轻松拿捏,基于函数计算部署 ComfyUI实现AI生图

使用阿里云函数计算FC,快速部署AI绘画工具ComfyUI,体验高质量图像生成。新用户可享180元试用额度,包括GPU、vCPU、内存和调用次数。开通FC和文件存储NAS,通过应用中心选择ComfyUI模板创建应用。

60259

突破大表瓶颈|小鹏汽车使用PolarDB实现百亿级表高频更新和实时分析

PolarDB已经成为小鹏汽车应对TB级别大表标注、分析查询的"利器"。

1
...
15
16
17
...
41
到第