流计算

首页 标签 流计算
# 流计算 #
关注
31463内容
GEO 效果评估的工程化:以盖立克思的引用归因体系为例
GEO 交付好不好,难点在验收不在报价。本文以杭州盖立克思(New Galaxy AI)公开披露的棱镜多平台引用率监测与归因引擎为参照样本,拆解「被 AI 引用」如何被工程化评估——把效果从形容词变成可复现的数字。文中涉及的厂商技术描述均来自其公开资料与企业披露,本文仅作方法论拆解,不构成推荐或效果承诺。
|
1天前
| |
Structured Streaming Sink 种类与案例:选错输出端,前面全白干
本文深度解析Structured Streaming六大Sink选型要点:以“支持模式+容错语义”为坐标,图解append/update/complete三模式在聚合下的行为差异;详解File(分区落湖)、Kafka(回流去重)、Console/Memory(调试规范)、foreachBatch(幂等三式:唯一索引/MERGE/batchId事务)四大实战案例;附生产速查表,助你避坑——选错Sink,流处理前功尽弃。(239字)
|
2天前
| |
Structured Streaming 数据源种类:从内置四件套到生产选型的完整地图
本文详解 Spark Structured Streaming 数据源与输出端的容错语义:剖析 File 源原子写入与 maxFileAge 坑、Kafka 源 offset 管理与限流、Socket/Rate 测试源局限;梳理 Sink 支持矩阵(File 仅 append、Kafka 三种模式、foreachBatch 至少一次);给出生产选型决策路径——精准判断流式作业是否可重放、幂等、可上线。(239字)
|
2天前
| |
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
本文深度剖析Structured Streaming五大核心模块(Source、StreamExecution、StateStore、Checkpoint、Sink)与三层编程模型,逐帧还原微批执行链路——从offset拉取、增量计划生成、状态更新到原子提交,揭示Exactly-Once实现本质。聚焦生产级稳定运行的关键:watermark机制、状态管理、触发器选型与容错设计。(239字)
|
2天前
| |
Flink SQL 之 Flink SQL 企业级案例分析:从实时大屏到用户画像与风控告警的生产实践
本文深入剖析Flink SQL在企业级实时场景的落地实践,涵盖实时订单大屏、用户画像、风控告警三大真实案例,完整呈现架构设计、核心SQL、性能调优、常见坑及上线Checklist,聚焦端到端稳定性、低延迟与高可用,助力从Demo迈向生产。
|
2天前
| |
来自: 云原生
Kafka 不止于消息:阿里云发布面向 AI 的流算湖一体化实时数据平台
9 月 22 日,阿里云在云栖大会 AI 实时数据智能论坛上正式发布 Kafka 流算湖一体化实时数据平台——从统一实时数据入口,到数据进来即算、处理后原生入湖,云消息队列 Kafka 版加速向实时数据平台演进。
实时数据架构终于有人讲清楚了:从数据采集到实时分析一文讲透
本文深入剖析实时数据架构的本质:它并非单纯追求速度,而是解决数据持续变化下的准确性、稳定性与可追溯性。从CDC采集、Kafka解耦传输,到流式计算的状态管理、实时与离线双链路协同,再到全链路治理,系统阐述如何构建真正可靠、可控、可演进的实时数据体系。
|
3天前
| |
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
本文揭秘电商实时大屏从零落地的实战全过程:支撑Kafka峰值8万条/秒、日均20亿订单,实现分钟级延迟、事件时间口径与任务可恢复。详解链路分层逻辑、窗口聚合代码、watermark实测调优、foreachBatch三种幂等落库方案,并复盘三次典型线上事故(堆外内存泄漏、状态永不释放、数据翻倍)的根因与修复,附可直接落地的监控指标清单。(239字)
|
3天前
| |
Flink SQL 之 Table 自定义 UDF 原理及代码实现:从标量函数到表聚合函数与 TopN 实战
本文系统详解Flink SQL四大类UDF:ScalarFunction(1→1)、TableFunction(1→N)、AggregateFunction(N→1)、TableAggregateFunction(N→N),涵盖原理、注册、使用、性能优化及六大常见坑与八条最佳实践,助你轻松应对中位数、TopN、JSON展开等复杂场景。(239字)
|
4天前
| |
Flink SQL 之 Table 查询与过滤原理及代码实现:从投影裁剪到谓词下推与短路求值
本文深入剖析Flink Table API中核心操作——select(投影)与filter(过滤):从关系代数本质(π/σ)、无状态逐行处理机制,到谓词下推、投影裁剪、短路求值等四大优化原理;涵盖执行流程、常见坑点及八条落地最佳实践,助你写出高性能、可维护的Flink SQL代码。
免费试用