FFA 2022 专场解读 - 实时风控 & 实时湖仓 & 数据集成

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！

FFA 2022 官网：https://flink-forward.org.cn/

实时风控

实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。

网易游戏实时 HTAP 计费风控平台建设

林佳｜网易互娱技术中心计费实时平台与 SDK 技术负责人，Apache Flink Contributor，Flink CDC Contributor

用户在终端设备上的一次行为动作，往往需要多个系统协作完成，其间会同时触发多个请求，产生跨越多个服务提供方和各类异构数据的一次业务会话。计费行为（登录/支付等）正是这类复杂业务会话的典型，也是关系到营收的风险控制关键阶段。要实时关联并还原业务会话，满足具体问题定位、宏观质量监控、故障分类和归因等风控需求，是业界的一大难题。

在网易互娱计费数据中心开发计费实时风控需求的实践中，基于 Flink 和 TiDB，在实时计算、非结构化存储、HTAP 实践等技术领域做了大量的探索，积淀了不少业界前沿的实践经验，本次演讲旨在与分享和讨论其中的关键技术和最佳实践，本次演讲内容将包括：

基于 Flink 的配置式跨请求复杂风控业务会话关联分析
实时异常识别与自适应修复
提升数据能效
Flink + TiDB，实时 HTAP 风控平台建设

Flink CEP 在抖音电商的业务实践

张健｜字节跳动数据工程师

FlinkCEP 是基于 Flink 实现的实时数据规则引擎，支持跨多个事件的规则匹配。然而，当前 FlinkCEP 在多规则处理、规则表达方面还存在易用性问题。本次分享主要介绍 FlinkCEP 在抖音电商业务的应用实践以及易用性优化：

FlinkCEP 简介
抖音电商业务场景介绍
抖音电商应用实践
收益总结
未来展望

京东物流实时风控实践

周文跃｜运营数据产品部-风控数据产品组架构师

京东物流风控涉及到的业务介绍（包括招投标、商家、仓、分拣、运输、配送），风控场景概括，每个业务类型中关系到的风险场景介绍，招投标涉及的围标串标、商家中的虚假商家、分拣中偷重漏重等等，本次分享包含京东对实时风控的整体思考、技术方案以及目前的实践应用情况。

京东物流业务介绍
物流风控场景概括
物流风控平台建设
Flink 赋能，实时技术赋能前后对比
技术挑战，平台建设所遇到的一些挑战以及如何解决
未来规划

Flink CEP 新特性进展与在实时风控场景的落地

耿飙｜阿里云开发工程师，Flink Contributor

胡俊涛｜阿里云开发工程师，Flink Contributor

Flink CEP 是基于 Flink 实现的复杂事件处理库，它可以识别出数据流中符合特定模式(Pattern)的事件序列，并允许用户作出针对性处理。依托于 Flink 的分布式特性、毫秒级处理延迟以及自身丰富的规则表达能力，Flink CEP 在实时风控、实时营销场景中扮演着越来越重要的角色。

本次分享我们会介绍 Flink 社区在 1.16 中对 Flink CEP 所做的增强与优化。

除此之外，我们还会介绍阿里云实时计算团队为了进一步提高 Flink CEP 的泛用性与易用性所做的工作，包括：

支持规则热更新、支持多规则在同一数据流上进行匹配等新特性；
拓展了 Flink SQL 的 MATCH_RECOGNIZE 语法，进一步增强 MATCH_RECOGNIZE 表达能力。

展示中，我们会针对实时反作弊场景，通过一个 Demo 来展示如何使用 Flink CEP 来构建实时反作弊应用，并在作业运行的过程中，动态热更新反作弊规则。

AirWallex 基于 Flink 打造实时风控系统

董大凡｜AirWallex 风控团队研发经理

作为一家金融科技公司，Airwallex提供跨境支付，跨境收账的诸多跨境金融服务。为了应对交易过程中面对的洗钱，诈骗等金融风险， Airwallex的风控团队决定全面拥抱Flink，借助Flink的流批一体能力，打造AirWallex的实时风控系统。本次分享主要介绍我们如何基于Flink构建高可用低延时的风控服务

公司业务背景介绍
风险及应对方案
技术挑战与亮点
高可用性保证
线上表现

实时湖仓

实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。

Flink + Hologres：构建企业级 Streaming Warehouse 实时数仓

姜伟华｜阿里云一站式实时数仓 Hologres 总负责人

随着实时数仓的普及，在线化、一站式、敏捷化成为实时数仓新的发展趋势，阿里云 Hologres 支持高吞吐写入与更新、PB 级数据秒级查询以及高并发的在线服务查询，并与 Flink 深度融合，解决传统数仓加工链路长、数据更新难等问题，提供一站式实时数仓标准解决方案。

通过 Flink Catalog、Hologres binlog 等的深度整合，Flink+Hologres 为用户提供了完整的企业级实时数仓 Streaming Warehouse 构建能力，让用户把实时数仓变的易用好用。

本次演讲内容主要包含：

实时数仓分层的技术需求
阿里云一站式实时数仓Hologres介绍
Flink x Hologres：天作之合
基于Flink Catalog的Streaming Warehouse实践

快手基于 Apache Flink 的实时数仓建设实践

冯立｜快手实时数据开发工程师

羊艺超｜快手实时数据开发工程师

本次演讲围绕快手在实时数仓方面的探索与实践展开，主要涉及：实时数仓建设的方法论，降本增效背景下资源优化的方法论，以及实时数仓的场景化实战。

快手实时数仓的发展
实时数仓建设方法论
实时数仓场景化实战
未来规划

B 站实时数据湖实践

周晖栋｜bilibili 大数据实时团队资深开发工程师

本次演讲分享将包括：

背景和痛点
探索：DB 入仓，埋点入仓，BI 实时报表场景
基建优化
总结展望

美团买菜基于 Flink 的实时数据建设实践

严书｜美团买菜实时数仓技术负责人

美团买菜属于美团全链条自营的生鲜零售业务，Flink 在实时数据分析、业务生产实时监控、实时特征等场景下有着广泛的应用，本次分享主要介绍美团买菜基于 Flink 的实时数据建设实践经验。

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

戢清雨｜SmatNews 数据平台架构师， Apache Iceberg Contributor

本次演讲分享将包括：

SmartNews 数据湖介绍
基于 Iceberg v1 格式的数据湖实践
基于 Flink 实时更新的数据湖（Iceberg v2 format）解决方案
Flink 实时更新带来的小文件数量性能问题
性能评估
总结

Flink Table Store 0.3 构建流式数仓最佳实践

李劲松｜阿里巴巴高级技术专家，Apache Flink PMC

本次演讲分享将包括：

流式数仓核心需求
Flink Table Store 最佳实践
Flink Table Store 0.3 核心能力

Apache Flink X Apache Doris：构建极速易用的实时数仓架构

王磊｜SelectDB 资深大数据研发专家、Apache Doris Contributor

作为一个现代化、高性能、支持实时的 OLAP 数据库，目前 Apache Doris 与 Apache Flink 结合构建的实时数仓架构已经得到众多用户的应用。与此同时，如何进一步简化数据同步链路、提升数据实时性以及高并发写入性能，也是 Apache Doris 在持续优化和迭代的重要方向。在本次分享中，我们将为大家介绍如何基于 Apache Doris 和 Apache Flink 构建极速易用的实时数仓架构。

美团增量数仓建设新进展

汤楚熙｜美团数据系统研发工程师

数据生产一直以来存在离线与实时两套流程，口径不统一，维护成本高，数据生产就绪时间将会越来越难保证，伴随着实时数仓的 SQL 化和实时数仓平台的推广，一些业务团队实时与离线开发开始集中到同一批人身上，开发方式也逐渐趋同，离线与实时流程统一具备了实现的要求，基于美团长期以来的能力储备，我们适时的提出增量生产，以解决离线数仓就绪时间难保证、离线+实时两套生产流程所带来的数据正确性、开发成本等问题。

OceanBase+Flink：构建高效的实时计算解决方案

周跃跃｜OceanBase 架构师

本次演讲分享将包括：

分布式数据库 OceanBase 关键技术解读
OceanBase 与 Flink 生态对接以及典型应用场景
OceanBase X Flink 生产实践
展望

Flink + StarRocks：实时数据分析新范式

谢寅｜StarRocks 社区技术布道师

本次分享围绕以下五个方面：

StarRocks 极速分析核心能力
基于 Primary Key 模型实现有更新的实时数据分析
Flink + StarRocks Primary Key 带来了数据分析性能怎样的改变
京东物流的实践案例
StarRocks 未来实时数仓新范式

数据集成

云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。

基于 Flink CDC 高效构建现代数据栈

徐榜江｜阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer

阮航｜阿里云高级开发工程师，Apache Flink Contributor & Flink CDC Maintainer

本次演讲分享将包括：

深入解读 Flink CDC 2.3
基于 Flink CDC 构建现代数据栈
基于 Flink CDC 的现代数据栈实践
Demo

Flink 的数据集成类服务在小红书降本增效的实践与应用

袁奎｜小红书高级开发工程师

小红书作为在多云架构云原生场景中的头部公司，其存在数据分布在不同云上的问题，所以基于 Flink 数据集成和传输是大数据处理和分析业务侧的基石。在降本增效的业界大环境下，不断苛刻的成本要求，对目前基于 Flink 的数据集成传输提出了更高的要求，我们在这个背景下做了两个维度的优化措施和方案。

本次演讲分享将包括：

小红书基于 Flink 的数据集成传输类服务的特点和挑战；
Flink 批模式和虚拟集群部署的实践；
实践过程中遇到的问题以及解决方案；
未来展望

基于 Flink 的小米数据集成实践

胡焕｜小米计算平台高级工程师

本次演讲中，我们将介绍小米在数据集成领域的思考和实践，以及正在打造的基于 Flink 的数据集成引擎。生产实践环节中，我们将展示部分小米数据集成的实战案例。

本次演讲分享将包括：

MySQL 实时数据集成支持分库分表中间件
TiDB 百亿级单表实时集成到 Iceberg
Doris 写入支持分区覆盖语义
非结构化数据集成
数据集成产品设计

基于 Flink CDC 的实时同步系统

张军｜科杰科技大数据架构师，Apache Flink、Iceberg、StreamPark Contributor

Flink CDC 技术为数据的实时同步提供了稳定、可靠的保证，但是还是存在一些不足，比如无法支持整库同步，无法支持 ddl 同步等，所以我们基于 Flink cdc 开发了一套实时同步系统，使用户通过可视化页面就能进行数据的同步，并且还对数据同步的功能做了增强，添加了很多额外的功能。

本次演讲分享将包括：

功能概览：可视化操作、库同步、多表同步、DDL 支持、多数据源支持、丰富的数据类型支持、其他功能支持
技术方案
未来规划

Flink CDC 在易车的应用实践

王林红｜易车数据平台负责人

Flink 在易车实时数仓、实时数据集成、湖仓一体等方面有很广泛的应用实践，尤其是满足实时大屏、实时流量分析及实时大促等应用场景。本次分享主要介绍 Flink CDC 在易车相关应用的落地实践及经验分享：

Flink CDC 全增量一体化框架介绍及基于 Flink CDC 的 DTS 平台建设实践
Flink CDC 实践问题与优化
Flink CDC+hudi 集成及实时数据湖应用实践

Flink CDC 在京东的探索与实践

韩飞｜京东资深技术专家，Apache Flink Contributor

演讲内容大纲：

京东自研 CDC 介绍(业务规模、部署容灾、技术架构、技术特性)
京东场景的 Flink CDC 优化(指定位点、自动切库、监控告警扩展、多实例)
业务案例(业务背景、数据架构演进)
未来规划

顺丰基于 Flink CDC + Hudi 推进实时业务落地

唐尚文｜顺丰科技大数据平台研发高级工程师

主要分享顺丰基于 Flink 实时计算应用的场景, 实时数据平台的建设实践、以及我们在这个过程中对 Flink CDC 实践经验与 Hudi Schema Evolution 等一些相关的工作内容。

Flink CDC & MongoDB 联合实时数仓的探索实践

孙家宝｜XTransfer 基础架构团队技术专家

本次演讲将分享 Flink & MongoDB 构建实时数仓的一些探索，以及 MongoDB CDC Connector 和 MongoDB Connector 的实现原理和使用实践。

以上为 Flink Forward Asia 2022 实时风控 & 实时湖仓 & 数据集成专场内容节选，了解更多大会详情可点击下方链接：

https://flink-forward.org.cn/

移动端建议观看 ApacheFlink 视频号预约观看:

点击预约直播~

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动：
99 元试用实时计算Flink版（包年包月、10CU）即有机会获得 Flink 独家定制卫衣；另包 3 个月及以上还有 85 折优惠！
了解活动详情：https://www.aliyun.com/product/bigdata/sc

FFA 2022 专场解读 - 实时风控 & 实时湖仓 & 数据集成

FFA 2022 专场解读 - 实时风控 & 实时湖仓 & 数据集成

实时风控

网易游戏实时 HTAP 计费风控平台建设

Flink CEP 在抖音电商的业务实践

京东物流实时风控实践

Flink CEP 新特性进展与在实时风控场景的落地

AirWallex 基于 Flink 打造实时风控系统

实时湖仓

Flink + Hologres：构建企业级 Streaming Warehouse 实时数仓

快手基于 Apache Flink 的实时数仓建设实践

B 站实时数据湖实践

美团买菜基于 Flink 的实时数据建设实践

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

Flink Table Store 0.3 构建流式数仓最佳实践

Apache Flink X Apache Doris：构建极速易用的实时数仓架构

美团增量数仓建设新进展

OceanBase+Flink：构建高效的实时计算解决方案

Flink + StarRocks：实时数据分析新范式

数据集成

基于 Flink CDC 高效构建现代数据栈

Flink 的数据集成类服务在小红书降本增效的实践与应用

基于 Flink 的小米数据集成实践

基于 Flink CDC 的实时同步系统

Flink CDC 在易车的应用实践

Flink CDC 在京东的探索与实践

顺丰基于 Flink CDC + Hudi 推进实时业务落地

Flink CDC & MongoDB 联合实时数仓的探索实践

实时计算 Flink

热门文章

最新文章

相关课程

相关电子书

相关实验场景