流计算平台建设

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 流计算平台建设

  流计算平台建设

  各公司随着各自的步调,在流计算平台的发展上快慢有所不同,但flink已经成为了业界主流,各互联网公司都有基于flink的流计算处理平台。目前来看国内发展最快的是阿里巴巴,其不仅仅成功将自己改造的Blink合并入Flink主版本,这次也开源了Alink算法平台,可以实现基于Flink的实时机器学习。在Flink Forward 2019大会上,阿里云智能总裁张建锋表示:“大量业务从批处理转变为流处理,实时化是数据处理的真正未来。”

  其他各家公司基本处于通过使用Flink实现自身业务的阶段,和阿里相比,对Flink仍然处于实践和使用阶段。部分公司也基于Flink进行了二次开发,形成了自己的分支。主要解决的问题或未来想解决的问题集中在Task调度优化,SQL扩展等,Flink Docker化,任务调度的智能诊断的等方面。可期待未来Flink社区由于各公司的贡献在这些方面上得到进一步加强。

  在使用场景方面,Flink在实时计算,监控等方面都有出色的应用,如:

  字节跳动:数仓平台、风控和安全、机器学习、视频、广告

  快手:卡顿率,中断率等监控、活跃、新增、留存等指标计算、直播

  携程:基于Flink和Tensorflow的智能监控平台

  网易:广告、电商大屏,数据分析,风控,监控,直播,ETL,推荐

  爱奇艺:信息流推荐、实时分析平台(UV、精细化运营等)

  中国农业银行:神荼反欺诈平台

  在基于Flink的流计算平台建设方面,各家公司的路线基本一致,基本都经历了从试用、迁移(从spark,storm等)、平台建设、封装的技术路线。最终暴露给用户提供最简单的使用方式。

  

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
数据可视化 搜索推荐 关系型数据库
【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践
据 IDC 估计,到 2020 年物联网将在全球范围内产生 1.46 万亿美元的价值。据预测,届时中国的物联网市场规模将超过 1.8 万亿人民币。
|
1月前
|
供应链 流计算
飞鹤基于阿里云实时计算Flink构建数字化运营管理体系
飞鹤借助实时计算Flink等产品,构建数字化运营管理体系,建立实时预警机制,提前窥探风险,为供应链等业务决策提效。
652 0
|
SQL 存储 NoSQL
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
阿里云实时计算产品经理李佳林(风元)在 Flink 峰会的演讲。
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
|
SQL 存储 Kubernetes
FLINK 在蚂蚁大规模金融场景的平台建设
蚂蚁集团高级技术专家、蚂蚁集团流计算平台负责人李志刚,在 Flink Forward Asia 2022 平台建设专场的分享。
FLINK 在蚂蚁大规模金融场景的平台建设
|
数据采集 人工智能 监控
【最佳实践】实时计算Flink在广告行业的实时数仓建设实践
通过每个广告位上不同广告的投放地区、广告ID、设备唯一编码等信息,可以统计点击次数、投放次数等指标,可用于制定更高效的广告投放策略,降低投放成本,提高广告收益。
|
SQL 机器学习/深度学习 存储
实时化或成必然趋势?新一代 Serverless 实时计算引擎
本文由阿里巴巴高级产品专家高旸(吾与)分享,主要介绍新一代Serverless实时计算引擎的产品特性及核心功能。
实时化或成必然趋势?新一代 Serverless 实时计算引擎
|
SQL 消息中间件 存储
美团基于 Flink 的实时数仓平台建设新进展
美团实时数仓平台负责人姚冬阳在 FFA 2021 的演讲。
美团基于 Flink 的实时数仓平台建设新进展
|
Cloud Native 大数据
《离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进》电子版地址
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进.ppt
290 0
《离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进》电子版地址
|
存储 消息中间件 SQL
新东方基于Hologres实时离线一体化数仓建设实践
新东方基于Hologres实时离线一体化数仓建设实践
2532 2
新东方基于Hologres实时离线一体化数仓建设实践
|
存储 运维 分布式计算
云原生离线实时一体化数仓建设与实践
本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人:刘一鸣 Hologres 产品经理
云原生离线实时一体化数仓建设与实践