流计算平台建设

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 流计算平台建设

  流计算平台建设

  各公司随着各自的步调,在流计算平台的发展上快慢有所不同,但flink已经成为了业界主流,各互联网公司都有基于flink的流计算处理平台。目前来看国内发展最快的是阿里巴巴,其不仅仅成功将自己改造的Blink合并入Flink主版本,这次也开源了Alink算法平台,可以实现基于Flink的实时机器学习。在Flink Forward 2019大会上,阿里云智能总裁张建锋表示:“大量业务从批处理转变为流处理,实时化是数据处理的真正未来。”

  其他各家公司基本处于通过使用Flink实现自身业务的阶段,和阿里相比,对Flink仍然处于实践和使用阶段。部分公司也基于Flink进行了二次开发,形成了自己的分支。主要解决的问题或未来想解决的问题集中在Task调度优化,SQL扩展等,Flink Docker化,任务调度的智能诊断的等方面。可期待未来Flink社区由于各公司的贡献在这些方面上得到进一步加强。

  在使用场景方面,Flink在实时计算,监控等方面都有出色的应用,如:

  字节跳动:数仓平台、风控和安全、机器学习、视频、广告

  快手:卡顿率,中断率等监控、活跃、新增、留存等指标计算、直播

  携程:基于Flink和Tensorflow的智能监控平台

  网易:广告、电商大屏,数据分析,风控,监控,直播,ETL,推荐

  爱奇艺:信息流推荐、实时分析平台(UV、精细化运营等)

  中国农业银行:神荼反欺诈平台

  在基于Flink的流计算平台建设方面,各家公司的路线基本一致,基本都经历了从试用、迁移(从spark,storm等)、平台建设、封装的技术路线。最终暴露给用户提供最简单的使用方式。

  

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
数据可视化 搜索推荐 关系型数据库
【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践
据 IDC 估计,到 2020 年物联网将在全球范围内产生 1.46 万亿美元的价值。据预测,届时中国的物联网市场规模将超过 1.8 万亿人民币。
|
移动开发 JSON 分布式计算
【最佳实践】实时计算Flink在游戏行业的实时数仓建设实践
随着互联网和移动互联网的相互促进与融合,以及PC终端和各类移动终端在智能化和便携性上的趋同,游戏产品跨平台运行于各类终端的需求逐步显现。
|
2月前
|
消息中间件 存储 大数据
大数据-数据仓库-实时数仓架构分析
大数据-数据仓库-实时数仓架构分析
103 1
|
3月前
|
SQL 分布式计算 数据处理
从零到一建设数据中台 - 数据处理之批流一体
从零到一建设数据中台 - 数据处理之批流一体
60 1
|
3月前
|
存储 数据采集 分布式计算
阿里巴巴数据仓库实践:从离线到实时的一体化探索
阿里巴巴的数据仓库实践从离线到实时的一体化探索,不仅为企业自身业务的快速发展提供了有力支撑,也为行业树立了标杆。通过不断优化技术架构、提升数据处理能力、加强数据治理和安全管理,阿里巴巴的实时数仓将为企业创造更大的价值,推动数字化转型的深入发展。未来,随着技术的不断进步和业务的持续拓展,阿里巴巴的实时数仓实践将展现出更加广阔的应用前景和发展空间。
|
SQL 存储 NoSQL
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
阿里云实时计算产品经理李佳林(风元)在 Flink 峰会的演讲。
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
|
数据采集 人工智能 监控
【最佳实践】实时计算Flink在广告行业的实时数仓建设实践
通过每个广告位上不同广告的投放地区、广告ID、设备唯一编码等信息,可以统计点击次数、投放次数等指标,可用于制定更高效的广告投放策略,降低投放成本,提高广告收益。
|
SQL 消息中间件 存储
美团基于 Flink 的实时数仓平台建设新进展
美团实时数仓平台负责人姚冬阳在 FFA 2021 的演讲。
美团基于 Flink 的实时数仓平台建设新进展
|
Cloud Native 大数据
《离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进》电子版地址
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进.ppt
311 0
《离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进》电子版地址
|
存储 消息中间件 SQL
新东方基于Hologres实时离线一体化数仓建设实践
新东方基于Hologres实时离线一体化数仓建设实践
2580 2
新东方基于Hologres实时离线一体化数仓建设实践