流计算平台建设

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 流计算平台建设

  流计算平台建设

  各公司随着各自的步调,在流计算平台的发展上快慢有所不同,但flink已经成为了业界主流,各互联网公司都有基于flink的流计算处理平台。目前来看国内发展最快的是阿里巴巴,其不仅仅成功将自己改造的Blink合并入Flink主版本,这次也开源了Alink算法平台,可以实现基于Flink的实时机器学习。在Flink Forward 2019大会上,阿里云智能总裁张建锋表示:“大量业务从批处理转变为流处理,实时化是数据处理的真正未来。”

  其他各家公司基本处于通过使用Flink实现自身业务的阶段,和阿里相比,对Flink仍然处于实践和使用阶段。部分公司也基于Flink进行了二次开发,形成了自己的分支。主要解决的问题或未来想解决的问题集中在Task调度优化,SQL扩展等,Flink Docker化,任务调度的智能诊断的等方面。可期待未来Flink社区由于各公司的贡献在这些方面上得到进一步加强。

  在使用场景方面,Flink在实时计算,监控等方面都有出色的应用,如:

  字节跳动:数仓平台、风控和安全、机器学习、视频、广告

  快手:卡顿率,中断率等监控、活跃、新增、留存等指标计算、直播

  携程:基于Flink和Tensorflow的智能监控平台

  网易:广告、电商大屏,数据分析,风控,监控,直播,ETL,推荐

  爱奇艺:信息流推荐、实时分析平台(UV、精细化运营等)

  中国农业银行:神荼反欺诈平台

  在基于Flink的流计算平台建设方面,各家公司的路线基本一致,基本都经历了从试用、迁移(从spark,storm等)、平台建设、封装的技术路线。最终暴露给用户提供最简单的使用方式。

  

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
6月前
|
存储 分布式计算 分布式数据库
实时湖仓技术选型,企业如何借实时湖仓赢在“数据驱动”时代
本文从技术的角度,为大家解析实时湖仓的存储原理以及生态选型,为企业建设实时湖仓给出参考意见,助力企业借实时湖仓赢在“数据驱动”时代。
121 0
|
数据可视化 搜索推荐 关系型数据库
【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践
据 IDC 估计,到 2020 年物联网将在全球范围内产生 1.46 万亿美元的价值。据预测,届时中国的物联网市场规模将超过 1.8 万亿人民币。
|
移动开发 JSON 分布式计算
【最佳实践】实时计算Flink在游戏行业的实时数仓建设实践
随着互联网和移动互联网的相互促进与融合,以及PC终端和各类移动终端在智能化和便携性上的趋同,游戏产品跨平台运行于各类终端的需求逐步显现。
|
4月前
|
SQL 分布式计算 数据处理
从零到一建设数据中台 - 数据处理之批流一体
从零到一建设数据中台 - 数据处理之批流一体
95 1
|
4月前
|
存储 数据采集 分布式计算
阿里巴巴数据仓库实践:从离线到实时的一体化探索
阿里巴巴的数据仓库实践从离线到实时的一体化探索,不仅为企业自身业务的快速发展提供了有力支撑,也为行业树立了标杆。通过不断优化技术架构、提升数据处理能力、加强数据治理和安全管理,阿里巴巴的实时数仓将为企业创造更大的价值,推动数字化转型的深入发展。未来,随着技术的不断进步和业务的持续拓展,阿里巴巴的实时数仓实践将展现出更加广阔的应用前景和发展空间。
|
6月前
|
供应链 流计算
飞鹤基于阿里云实时计算Flink构建数字化运营管理体系
飞鹤借助实时计算Flink等产品,构建数字化运营管理体系,建立实时预警机制,提前窥探风险,为供应链等业务决策提效。
723 0
|
SQL 存储 NoSQL
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
阿里云实时计算产品经理李佳林(风元)在 Flink 峰会的演讲。
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
|
SQL 存储 消息中间件
小米基于 Flink 的实时数仓建设实践
本次分享围绕小米在实时数仓方面的探索与实践展开,主要涉及:Flink+Iceberg 实时数仓架构升级,稳定性与实时性优化;基于当前 Flink 实时数仓的不确定性问题,介绍 Merge into 功能和算子级状态清理的解决方案。
7929 0
小米基于 Flink 的实时数仓建设实践
|
数据采集 人工智能 监控
【最佳实践】实时计算Flink在广告行业的实时数仓建设实践
通过每个广告位上不同广告的投放地区、广告ID、设备唯一编码等信息,可以统计点击次数、投放次数等指标,可用于制定更高效的广告投放策略,降低投放成本,提高广告收益。
|
SQL 消息中间件 存储
美团基于 Flink 的实时数仓平台建设新进展
美团实时数仓平台负责人姚冬阳在 FFA 2021 的演讲。
美团基于 Flink 的实时数仓平台建设新进展
下一篇
无影云桌面