大数据计算引擎,为什么阿里坚定地选择 Flink?| 直播预告

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

为什么玛雅人公元前就掌握了斗转星移的规律?

为什么AlphaGo 4比1战胜围棋世界冠军?

为什么城市大脑能有效预测城市运转的规律?

科技文明的每次进步,都离不开计算的力量。随着技术的发展,AI 时代呼之欲出。这一切,无不对计算提出了更高要求:Faster,smarter,and more accurate。

在时代的大背景下,阿里巴巴如何应对挑战?

9月13日晚,锁定阿里技术直播,对话阿里实时计算大牛,共同探索计算之美。

54da92c7c00e460214f8332805cc92a706a830da

为什么要学习 Flink?

针对大数据的应用场景,在批处理的基础之上,越来越多的企业对流处理有了更多的需求,因为他们的产品对计算的实时性以及多样性有了更高更丰富的要求。但是传统的大数据计算框架并没有能够很好地融合批计算和流计算,因此各个企业都需要将批处理和流处理的任务分开部署,大大增加了运维成本(两套引擎)和开发成本(两套任务作业)。对于企业来说,这种架构很难维护,成本较高。对于学习大数据的同学来说,学习成本较高。在这种情况下,新一代的大数据框架应用而生。

Flink 是一款同时支持流处理和批处理的计算引擎。它针对大数据的分布式计算提供了高效的数据通信及快速容错等机制。此外也提供了很友好的高抽象层的 API 便于用户编写分布式任务。Flink 本身在流处理场景就有着诸多天然的优势,是世界上最先进的流处理引擎,被各大企业广泛的应用。针对批处理场景,阿里巴巴最近对 Flink做了诸多优化使得 Flink 也拥有了世界一流的批处理计算能力。

本期大咖嘉宾是谁?

9f01dff81b109b81d867dc4b02329683d9ed10f3

花名:大沙

大沙,阿里资深技术专家,同时也是 Apache Flink Committer。他是加州大学圣迭戈分校计算机工程博士,于2015年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。在加入阿里之前,曾在 Facebook 开发分布式图关系数据库TAO。
加入阿里之后,大沙一直从事阿里新一代计算平台 Blink 的研发工作。现在负责基于 Blink 的计算平台和算法平台。加入阿里之初,他负责搜索事业部的离线大数据处理,利用半年的时间带领团队将阿里淘宝、天猫搜索离线数据的计算,全部迁移到 Blink 计算平台之上。之后负责 Blink 计算平台的查询和优化。仅用时半年多,就打造了一套功能完备高性能的实时计算 Blink SQL&Table API,并成功地将阿里的实时机器学习计算平台整体地迁移到这套API之上。大沙是 Apache Flink Committer,除了自己,他在团队内部还培养出另外2位 Apache Flink Committer。
哪些直播亮点值得期待?
●  大数据领域当前发展状况,以及趋势如何?
●  随着IOT、人工智能的发展,万物互联时代俨然已来,实时计算随之风生水起,作为下一代大数据计算引擎,火的一塌糊涂的Flink究竟是啥?
●  为什么阿里坚定地选择 Flink?
●  阿里巴巴在流处理和批处理上对Flink都做了哪些优化,Flink 在流处理和批处理上和其他开源计算引擎相比都有哪些优势?
●  Flink 在阿里承担了哪些重任,有哪些典型的应用场景?
●  想要参与开源贡献却无处下手,如何快速成为开源项目的 committer?
●  当下最抢手的大数据工程师需要具备哪些特质与技能?

在直播中,这些你感兴趣的问题,都能找到答案!

除了干货内容,更有精彩互动

直播过程中将预留30分钟左右时间,专门解答大家的问题。如果你有更多想听的内容,也欢迎在文章底部留言。

当然,阿里妹还联合 Flink China 社区为大家准备了一大波神秘周边,送给参与直播的你~

经验是不可跨越的,但是我们可以让经验积累的过程变得短些。一切准备就绪,只等君来。9月13日晚,让我们不见不散!

最后,阿里妹再为大家详细介绍本次直播观看形式:

0431bb5a0299060aab32030f225bc9ca7c5e4933

1、使用钉钉App,扫描上方二维码,加入Flink交流群

2、本次直播将通过钉钉群直播形式举行,直播结束后可免费观看、下载视频。

3、钉钉群将永久保留,方便你与志同道合的技术人交流。


原文发布时间为:2018-09-12

本文作者:期待直播的

本文来自云栖社区合作伙伴“阿里技术”,了解相关信息可以关注“阿里技术”。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
1286 73
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
|
9天前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
85 15
|
3天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
20 4
|
10天前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
142 8
|
2月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
253 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
2月前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
53 0
|
2月前
|
存储 数据采集 分布式计算
大数据技术:开启智能时代的新引擎
【10月更文挑战第5天】大数据技术:开启智能时代的新引擎
|
4月前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
64 1
|
4月前
|
Java Spring 安全
Spring 框架邂逅 OAuth2:解锁现代应用安全认证的秘密武器,你准备好迎接变革了吗?
【8月更文挑战第31天】现代化应用的安全性至关重要,OAuth2 作为实现认证和授权的标准协议之一,被广泛采用。Spring 框架通过 Spring Security 提供了强大的 OAuth2 支持,简化了集成过程。本文将通过问答形式详细介绍如何在 Spring 应用中集成 OAuth2,包括 OAuth2 的基本概念、集成步骤及资源服务器保护方法。首先,需要在项目中添加 `spring-security-oauth2-client` 和 `spring-security-oauth2-resource-server` 依赖。
59 0
|
4月前
|
消息中间件 数据挖掘 Kafka
揭秘大数据时代的极速王者!Flink:颠覆性流处理引擎,让实时数据分析燃爆你的想象力!
【8月更文挑战第29天】Apache Flink 是一个高性能的分布式流处理框架,适用于高吞吐量和低延迟的实时数据处理。它采用统一执行引擎处理有界和无界数据流,具备精确状态管理和灵活窗口操作等特性。Flink 支持毫秒级处理和广泛生态集成,但学习曲线较陡峭,社区相对较小。通过实时日志分析示例,我们展示了如何利用 Flink 从 Kafka 中读取数据并进行词频统计,体现了其强大功能和灵活性。
94 0