京东零售基于Flink的推荐系统智能数据体系
摘要：本文整理自京东零售技术专家张颖老师，在 Flink Forward Asia 2024 生产实践（二）专场中的分享，介绍了基于Flink构建的推荐系统数据，以及Flink智能体系带来的智能服务功能。内容分为以下六个部分：
推荐系统架构
索引
样本
特征
可解释
指标
Tips：关注「公众号」回复 FFA 2024 查看会后资料～
基于 Flink + Redis 的实时特征工程实战：电商场景动态分桶计数实现
本文介绍了基于 Flink 与 Redis 构建的电商场景下实时特征工程解决方案，重点实现动态分桶计数等复杂特征计算。通过流处理引擎 Flink 实时加工用户行为数据，结合 Redis 高性能存储，满足推荐系统毫秒级特征更新需求。技术架构涵盖状态管理、窗口计算、Redis 数据模型设计及特征服务集成，有效提升模型预测效果与系统吞吐能力。
实时异常检测实战：Flink+PAI 算法模型服务化架构设计
本文深入探讨了基于 Apache Flink 与阿里云 PAI 构建的实时异常检测系统。内容涵盖技术演进、架构设计、核心模块实现及金融、工业等多领域实战案例，解析流处理、模型服务化、状态管理等关键技术，并提供性能优化与高可用方案，助力企业打造高效智能的实时异常检测平台。
基于Java 17 + Spring Boot 3.2 + Flink 1.18的智慧实验室管理系统核心代码
这是一套基于Java 17、Spring Boot 3.2和Flink 1.18开发的智慧实验室管理系统核心代码。系统涵盖多协议设备接入（支持OPC UA、MQTT等12种工业协议）、实时异常检测（Flink流处理引擎实现设备状态监控）、强化学习调度（Q-Learning算法优化资源分配）、三维可视化（JavaFX与WebGL渲染实验室空间）、微服务架构（Spring Cloud构建分布式体系）及数据湖建设（Spark构建实验室数据仓库）。实际应用中，该系统显著提升了设备调度效率（响应时间从46分钟降至9秒）、设备利用率（从41%提升至89%），并大幅减少实验准备时间和维护成本。
官宣 | Fluss 0.7 发布公告：稳定性与架构升级
Fluss 0.7 版本正式发布！历经 3 个月开发，完成 250+ 次代码提交，聚焦稳定性、架构升级、性能优化与安全性。新增湖流一体弹性无状态服务、流式分区裁剪功能，大幅提升系统可靠性和查询效率。同时推出 Fluss Java Client 和 DataStream Connector，支持企业级安全认证与鉴权机制。未来将在 Apache 孵化器中继续迭代，探索多模态数据场景，欢迎开发者加入共建！
流批一体向量化引擎Flex
本文整理自蚂蚁集团技术专家刘勇在Flink Forward Asia 2024上的分享，聚焦流批一体向量化引擎的背景、架构及未来规划。内容涵盖向量化计算的基础原理（如SIMD指令）、现有技术现状，以及蚂蚁在Flink 1.18中引入的C++开发向量化计算实践。通过Flex引擎（基于Velox构建），实现比原生执行引擎更高的吞吐量和更低的成本。文章还详细介绍了功能性优化、正确性验证、易用性和稳定性建设，并展示了线上作业性能提升的具体数据（平均提升75%，最佳达14倍）。最后展望了未来规划，包括全新数据转换层、与Paimon结合及支持更多算子和SIMD函数。
Flink在B站的大规模云原生实践
本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享，围绕Flink On K8S的实践展开。内容涵盖五个部分：背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战，包括资源池统一、环境一致性改进及隔离性提升，并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外，还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向，为Flink云原生化提供了全面的技术参考。
Fluss 实战：用 Partial Update 构建实时宽表的新范式
传统流式数据管道通过多表 Join 构建宽表，如实时推荐引擎需整合用户偏好、购买记录等8个数据源，但此方法在大规模场景下状态管理复杂、资源消耗高且调试困难。Fluss 提出部分更新方案，基于主键将各数据源独立写入共享宽表，避免复杂 Join 操作。示例中，通过 Flink SQL 创建推荐、曝光、点击等表，并逐步插入数据实现宽表构建。最终，借助 Fluss 的高效合并机制，输出包含最新信息的统一视图，提升可扩展性和维护性。
Flink CDC + Kafka 加速业务实时化
Flink CDC 是一种支持流批一体的分布式数据集成工具，通过 YAML 配置实现数据传输过程中的路由与转换操作。它已从单一数据源的 CDC 数据流发展为完整的数据同步解决方案，支持 MySQL、Kafka 等多种数据源和目标端（如 Delta Lake、Iceberg）。其核心功能包括多样化数据输入链路、Schema Evolution、Transform 和 Routing 模块，以及丰富的监控指标。相比传统 SQL 和 DataStream 作业，Flink CDC 提供更灵活的 Schema 变更控制和原始 binlog 同步能力。
