【1元试用邀测】脱胎于阿里双11实时大屏业务,5年披荆斩棘,阿里云实时计算为数据价值而战

简介: 近日,阿里云流计算宣布正式推出独享模式,开放udx,支持更多如fpga,gpu等机型,方便vpc的打通,极大拓展流计算的适用范围。

大数据时代,企业的数据积累就相当于财富积累。但是在当下这个数据容量呈几何倍暴增的时代背景下,数据的价值在其产生之后,将随着时间的流逝,逐渐降低。

因此,对于企业而言,迅速的对实时数据进行有效处理相较于数据存储在一起之后再进行批量处理,数据价值孰高孰低不言而喻。

近日,阿里云实时计算宣布正式推出独享模式,开放udx,支持更多如fpga,gpu等机型,方便vpc的打通,极大拓展流计算的适用范围。

一、依托于独特的产品架构,阿里云流计算提供一些极具竞争力的产品优势:

强大的实时处理能力

阿里云实时计算集成诸多全链路功能,方便用户进行全链路流计算开发,包括:强大的实时计算引擎,提供BlinkSQL,支持各类Fail场景的自动恢复,保证故障情况下数据处理的准确性;支持多种内建的字符串处理、时间、统计等类型函数;精确的计算资源控制,彻底保证公共云用户作业的隔离性。

关键性能指标超越开源Flink的3到4倍,数据计算延迟优化到秒级乃至亚秒级,单个作业吞吐量可做到百万(记录/秒)级别,单集群规模在数千台。

深度整合各类云数据存储,包括DataHub、日志服务(SLS)、RDS、OTS、ADS、IOTHub等各类数据存储系统,无需额外的数据集成工作,阿里云实时计算可以直接读写上述产品数据。

托管的实时计算服务


不同于开源或者自建的流式处理服务,阿里云实时计算是完全托管的实时计算引擎,可针对流数据运行查询,无需预置或管理任何基础设施,一键启用流式数据服务能力。并且天然集成数据开发、数据运维、监控预警等服务,方便用户最小成本试用和迁移实时计算。

良好的流式开发体验


支持标准SQL(产品名称为:BlinkSQL),提供内建的字符串处理、时间、统计等各类计算函数,替换业界低效且复杂的Flink开发,让更多的BI人员、运营人员通过简单的BlinkSQL可以完成实时化大数据分析和处理,让实时大数据处理普适化、平民化。
提供全流程的流式数据处理方案,针对全链路实时计算提供包括数据开发、数据运维、监控预警等不同阶段辅助套件,让数据开发仅需三步,即可完成流式计算作业上线。

降低人力和集群成本


大量优化的SQL执行引擎,会产生比手写原生Flink作业更高效且更廉价的计算作业,无论开发成本和运行成本,阿里云实时计算均要远低于开源流式框架。

二、应用场景

实时计算使用BlinkSQL主打流式数据分析场景,目前在以下领域有使用场景:

 实时ETL
集成实时计算现有的诸多数据通道和SQL灵活的加工能力,对流式数据进行实时清洗、归并、结构化。作为离线数仓有效的补充和优化,作为数据实时传输的可计算通道。

 实时报表
实时化采集、加工流式数据存储,实时监控和展现业务、客户各类指标,让数据化运营实时化。

 监控预警
对系统和用户行为进行实时检测和分析,实时监测和发现危险行为。

 在线系统
实时计算各类数据指标,并利用实时结果及时调整在线系统相关策略。在各类内容投放、无线智能推送领域有大量场景。

阿里云实时计算脱胎于阿里集团内部双十一实时大屏业务,在阿里集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经4、5年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。阿里云实时计算期望将阿里集团本身沉淀多年的流计算产品、架构、业务能够以云产品的方式对外提供服务,助力更多中小企业实时化自身大数据业务。

戳此链接1元试用阿里云实时计算:
https://data.aliyun.com/product/sc

_

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
4月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
714 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
6月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
937 43
|
4月前
|
存储 运维 分布式计算
零售数据湖的进化之路:滔搏从Lambda架构到阿里云Flink+Paimon统一架构的实战实践
在数字化浪潮席卷全球的今天,传统零售企业面临着前所未有的技术挑战和转型压力。本文整理自 Flink Forward Asia 2025 城市巡回上海站,滔搏技术负责人分享了滔搏从传统 Lambda 架构向阿里云实时计算 Flink 版+Paimon 统一架构转型的完整实战历程。这不仅是一次技术架构的重大升级,更是中国零售企业拥抱实时数据湖仓一体化的典型案例。
279 0
|
6月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
393 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
10月前
|
存储 消息中间件 Kafka
基于 Flink 的中国电信星海时空数据多引擎实时改造
本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享,围绕星海时空智能系统展开,涵盖四个核心部分:时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据,具备亚米级定位能力,通过Flink多引擎架构解决数据膨胀与响应时效等问题,优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知,未来将推进湖仓一体改造与三维时空服务体系建设,助力数字化转型与智慧城市建设。
927 3
基于 Flink 的中国电信星海时空数据多引擎实时改造
|
6月前
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
2538 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
7月前
|
存储 消息中间件 搜索推荐
京东零售基于Flink的推荐系统智能数据体系
摘要:本文整理自京东零售技术专家张颖老师,在 Flink Forward Asia 2024 生产实践(二)专场中的分享,介绍了基于Flink构建的推荐系统数据,以及Flink智能体系带来的智能服务功能。内容分为以下六个部分: 推荐系统架构 索引 样本 特征 可解释 指标 Tips:关注「公众号」回复 FFA 2024 查看会后资料~
474 1
京东零售基于Flink的推荐系统智能数据体系
|
11月前
|
Oracle 关系型数据库 Java
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库(YashanDB)的方法,支持全量与增量同步,并涵盖新增、修改和删除的DML操作。内容包括环境准备(如JDK、Flink版本等)、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署,以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
|
12月前
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
2867 45
|
存储 监控 数据处理
flink 向doris 数据库写入数据时出现背压如何排查?
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压,然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因,并通过分析相关日志进一步定位问题。
1004 61