流计算

首页 标签 流计算
# 流计算 #
关注
31467内容
|
13小时前
| |
数据架构演变:状态放在哪里,决定了你要维护几套系统
本文深度剖析数据架构五代演进本质:从单体到流批一体,核心驱动力并非技术升级,而是“状态存放位置”的持续下移与集中。状态越统一,重复计算越少,口径越一致。Flink 2.3通过物化表、START_MODE、原生S3等能力,真正实现“一套代码、一份状态、一份存储”,让实时与离线融合为自然选择。(239字)
|
13小时前
| |
Structured Streaming 窗口操作及案例实践:三种窗口、一个 watermark、三种迟到处置
本文深入剖析流式聚合核心——窗口机制,厘清滚动、滑动、会话三类窗口的本质差异与状态代价;详解窗口与Watermark联动的四阶段生命周期;解析迟到数据的丢弃、update修正、多水印容忍三大策略;结合GMV统计、滑动告警、用户会话三大实战案例,并指出窗口不输出、状态膨胀、时间字段用错三大高频陷阱。(239字)
|
19小时前
| |
Apache Flink 2.3 概述:一条流,两种边界,一套引擎
本文深度解析 Apache Flink 2.x 架构演进:从 2025 年 2.0 大版本(分离式状态、Java 17、API 彻底重构)到 2026 年 2.3(原生 S3、物化表 DDL 补全、SQL 变更流),厘清流批统一本质,拆解 JobManager/TaskManager、算子链、Checkpoint 四柱支撑,并直击升级痛点与生产落地场景。(239字)
|
19小时前
| |
来自: 物联网
从信息撮合到供应链标准:1688珠峰供应链的数字化逻辑
1688“珠峰供应链”榜单标志着B2B竞争从流量转向供应链能力。它首创结构化评级体系,从制造、服务、履约三维度量化源头工厂可靠性,实现日更动态准出,并以数据客观、专家权威、公正宁缺为原则,推动产业数字化与信任基建升级。
|
1天前
| |
Structured Streaming 时间分类:事件时间、处理时间、摄入时间
本文详解Structured Streaming中事件时间、摄入时间、处理时间的本质差异:谁赋值、是否受延迟影响、重放是否一致。配架构图与选型表,代码对比窗口漂移,并揭示四大高频翻车点,助你避开流计算中最隐蔽的时间陷阱。
|
2天前
| |
Structured Streaming 案例分析:三个不同形态的流,三套完全不同的答案
本文横向剖析实时风控(流-流Join)、CDC入湖(binlog幂等合并)、IoT会话监控(session window)三大典型流处理场景,揭示watermark、输出模式与状态管理在不同业务语义下的差异化设计逻辑,直击乱序、重复、动态边界等核心挑战。(239字)
|
2天前
| |
Structured Streaming 集成 Kafka 实现:读写路径、位点语义与生产调优
本文深度解析Spark Structured Streaming与Kafka集成的实战要点:涵盖流/批双入口、订阅三式、七列数据结构、位点语义三大易错点、读写调优、安全认证及高频问题定位。助你精准掌握startingOffsets生效逻辑、重复消费归因与集群迁移关键配置。(239字)
|
2天前
| |
Structured Streaming Kafka Sink:写出一条生产级的回流链路
本文详解 Kafka Sink 生产级回流链路五大核心关卡:列契约规范、Producer 吞吐调优(batch/linger/compression/acks)、读端幂等三式(去重表/upsert/业务幂等)、死信队列与多 Topic 分发高阶模式、Schema 演进兼容规则,并附可落地配置、监控指标与排障指南。(239字)
阿里云实时数仓 Hologres如何支持数仓选型:架构与特性解析
本文系统对比了Hologres、Doris、ClickHouse和Databricks DLT四类主流数仓方案的架构设计、实时能力、存储模型、生态集成与落地实践,指出Hologres凭借毫秒级实时写入可见性、PG兼容性、事务支持及阿里云全栈协同能力,在强一致性、低延迟与工程友好性兼顾场景中具备独特优势;同时强调选型应以业务SLA为锚点,倡导湖仓一体渐进式升级路径。
免费试用