不止于流,615杭州流计算峰会圆满举行

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 6月15日,阿里云流计算杭州峰会在阿里巴巴西溪园区曼陀山庄隆重举行,原本限定100人的规模,现场座无虚席。本次阿里云流计算杭州峰会,聚焦实时大数据处理,邀请了袋鼠云、鸥新软件和阿里集团技术、产品深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。
      6月15日,阿里云流计算杭州峰会在阿里巴巴西溪园区曼陀山庄隆重举行,原本限定100人的规模,现场座无虚席。本次阿里云流计算杭州峰会,聚焦实时大数据处理,邀请了袋鼠云、鸥新软件和阿里集团技术、产品深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。

1529573234774-07056e26-4fa3-4ab9-81d0-3d
     流计算的产生即来源于对于上述数据加工时效性的严苛需求: 数据的业务价值随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式,即以小时甚至以天为计算周期对当前数据进行累计并处理,显然这类处理方式无法满足数据实时计算的需求。
    在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域,批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而流计算作为一类针对流数据的实时计算模型,可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本,最终有效满足实时处理大数据的业务需求。

1529572518731-84110b40-caaf-4c04-af75-7f
    阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,经历了全球历次双十一的技术大考——1.8亿/秒的数据洪峰’,‘全链路延迟三秒,流计算延迟一秒以内’。阿里云流计算产品已具有国际领先的产品优势,在吞吐/时延、SQL支持、开发体验、窗口支持、乱序支持、上下游对接等多方面都优于其他云厂商的产品。通过它,您可以快速搭建具有亿级QPS处理能力的流式大数据系统。

1529572493661-e9a87d1a-0165-47a7-9179-87
陈守元(巴真)
阿里巴巴
产品专家
   相对于批数据来说,流计算其实还是算是一个比较新颖的概念。但也同样拥有着相当广泛的运用场景。随着互联网+、物联网、大数据时代的逐渐到来,数据在推动社会进步和变革的步伐越来越快。流计算也有了越来越多的机会帮着传统企业进行转型和升级。可能很多用户目前还没有意识到流计算的内容、作用。我们也是希望通过这种一系列的活动来告诉大家,什么是流计算,流计算能为大家做什么,以及在具体业务中怎么提升企业效率和经济效益。

让业务实时,让数据发电
1529572700133-b3b049c9-ed2a-4bdb-9b09-2e
郭华(付空)
阿里巴巴
流计算产品负责人
    付空主要从产品层面,介绍了阿里流计算的工作内容、与大数据实时化的解决方案,阿里对于流计算的思考,以及典型案例。此前,流计算一般宣传用户实时报表,演示大屏的场景较多。而现在实时推荐,实时风控等场景也在逐渐成为流计算的实践案例。

如何巧妙运用流计算?
1529572777998-371cd7c1-9868-4233-b7bf-a9
蔡新峰
鸥新软件
技术总监、合伙人
    上海鸥新与阿里云流计算合作较早,使用场景中,对流计算更有创新性的运用。蔡新峰主介绍了原理、应用场景,以及鸥新在客流分析系统上使用阿里云流计算带来的效益。

Blink SQL技术及原理揭秘
1529572845728-d0c786f2-eee5-4c56-8f11-e8
孙金城(金竹)
阿里巴巴
技术专家
     随着近些年大数据技术的不断发展和成熟,无论在传统行业还是互联网公司,批处理计算都无法再满足对数据与日俱增的实时性的要求。流计算已经从Nice to Have变成了Must to Have,流处理的场景越来越多,需求越来越强烈。金竹的演讲重介绍Flink SQL关键核心技术,并对个别算子进行底层实现和原理进行介绍。

袋鼠云如何解决茅台销售过程中的‘黄牛’问题?
1529572946466-5f1b1ace-b118-4bc0-af27-d5
訚赛华(勒蔑)
袋鼠云
技术架构师
     基于茅台电商的业务痛点和实时业务监控需求,结合阿里云流计算平台,袋鼠云在如何新零售行业,提升企业运营和决策效率的问题上也有很多自己的思考。

Blink之数据湖
1529573018591-19c0fd3a-ccfa-4f07-858e-50
张荣(荣蓉)
阿里巴巴
高级产品经理
    荣蓉重点介绍流计算推出的新功能:Data Lake场景下的数据清洗,数据传输以及数据分析等能力。结合IoT行业具体场景,展示Blink在数据湖场景下的使用方式及优势。


1529573075520-37daff2f-d2b3-41c5-afb9-58
蒋晓伟(量仔)
阿里巴巴
研究员
    此外,阿里巴巴实时计算团队负责人量仔在现场接受了浙江电台的专访。
   量仔也对流计算团队和业务作了总结和介绍:我们整个部门是阿里集团计算平台事业部,负责阿里集团整个底层数据计算平台的构建,目前阿里集团内部所有的大数据业务的计算都运行在由我们构建的基础平台之上。同时,我们对外通过阿里云平台,向全社会开放我们的计算能力,希望人人都能够享受到阿里巴巴一流的计算能力。我这里团队主要基于Apache Flink构建阿里集团的实时计算平台,我们希望通过Flink领先的技术,能够推动阿里集团以及外面各行各业的大数据全面进入实时计算。

    阿里云流计算可以提供BlinkSQL协助用户简单轻松完成流式计算逻辑的处理。同时,受限于SQL代码功能有限无法满足某些特定场景的业务需求,阿里云流计算提供全功能的UDF函数,帮助用户完成业务定制化的数据处理逻辑。在流数据分析领域用户直接使用BlinkSQL+UDF即可完成大部分流式数据分析处理逻辑,目前的流计算更擅长于做流式数据分析、统计、处理。主要解决了用户的三大痛点:
   1.流式数据的及时性;
   2. 一站式的流式数据处理;
   3. SQL化的流式分析

   同时,实现实时的数据监控/分析。比如BI人员可以看到自己网站实时的访客数据变化,购买情况,交易额波动等,不需要一段时间后才能做统计和分析。之前150人/月的工作,现在只需3个人/月就可以轻松解决,效率提升了50倍。

   阿里云流计算在4月商业化正式上线,上周推出‘新用户免费试用一个月’活动,同时起售门槛降至‘2个CU’,对流计算有场景需求的用户可以立即申请:https://data.aliyun.com/product/sc

嘉宾演讲PPT下载:
阿里巴巴-付空《流计算-让业务实时,让数据发电》:https://yq.aliyun.com/download/2815
上海鸥新-蔡新峰《应用分享》:https://yq.aliyun.com/download/2816
阿里巴巴-金竹:《Blink SQL关键技术及实现原理》:https://yq.aliyun.com/download/2817
袋鼠云,勒蔑《流计算,让新零售起飞》:https://yq.aliyun.com/download/2819
阿里巴巴-荣蓉《Blink_Data_Lake》:https://yq.aliyun.com/download/2820

活动录播视频:http://www.itdks.com/eventlist/detail/2287
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
9月前
|
架构师 数据挖掘 OLAP
与创新者同行,Doris Summit Asia 2023 线下技术峰会圆满落幕!
10 月 21 日,由飞轮科技主办、阿里云与腾讯云联合主办的 Apache Doris 社区首届线下技术峰会 Doris Summit Asia 2023 在一片热潮中落下帷幕。
|
存储 SQL 弹性计算
|
存储 Cloud Native 数据管理
【预约直播】2022全球数据湖峰会盛大启幕
【预约直播】2022年3月31日 全球数据湖峰会盛大启幕
885 0
【预约直播】2022全球数据湖峰会盛大启幕
|
消息中间件 Dubbo Kafka
云栖大会 | 开源引力峰会线下参会指南
在各种纷乱的信号与噪声中,阿里是如何在商业成功和以开源为代表的工程师文化中平衡?我们该如何理解开源和商业的关系、云厂商和开源项目的关系?
545 0
云栖大会 | 开源引力峰会线下参会指南
|
存储 SQL Cloud Native
高能预警! E-MapReduce 数据湖 Meetup · 上海站重磅来袭
8月7日,阿里云 E-MapReduce 数据湖首场 Meetup 重磅上线。来自 Intel、Cloudera、阿里巴巴的七位技术专家齐聚上海,为你带来超多数据湖干货和行业新动态~
高能预警! E-MapReduce 数据湖 Meetup  · 上海站重磅来袭
|
SQL 资源调度 Kubernetes
百城汇杭州站大数据实时计算实战专场圆满落幕
9月19日下午2:00,来自杭州及周边地区的开发者们齐聚阿里巴巴EFC欧美金融城园区,共同参与百城汇·杭州站:大数据实时计算实战专场,共享数字时代的欢聚。
1693 0
百城汇杭州站大数据实时计算实战专场圆满落幕
|
分布式计算 监控 大数据
[干货]作为大数据入门者,你不得不知道的2017杭州云栖大会
2017杭州云栖大会于10月14日完美闭幕,据说今年6W+人的技术盛宴(我们先不追究具体多少人)。大家可能更多的只知道马老师谈及到阿里巴巴达摩院、听到各种刷脸支付的高科技、各种数据大脑的发布,但是我觉得作为一个大数据入门者,你只知道这些远远不够!
5453 0
|
大数据 云栖大会
【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加:迈向数据智能之路
第一时间带来深圳云栖大会大数据专场现场干货及PPT
11030 0
|
新零售 分布式计算 安全