走进阿里云计算

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2016阿里巴巴技术论坛,阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清在云计算与大数据技术分论坛向我们呈现了精彩的演讲。本文是一个技术小白分享他参加分论坛的所见所闻。

2016年4月15日下午,我参加了阿里巴巴技术论坛的《云计算与大数据技术分论坛》。会议讨论主题涉及飞天技术与应用、大数据计算平台的研究与实践、大规模实时计算及应用和云上安全。阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清向我们呈现了精彩的演讲。

何为云计算?

“云计算”对于我们来说,早已经不是一个陌生的词汇了。对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

阿里云飞天总架构师唐洪为我们揭示了云计算的三个本质问题:大规模,云计算是应互联网而生并且为互联网服务的;低成本,低成本不等于低价格,调度才是关键;服务运营,像公共服务一样按量计费。

云计算的作用很大,其中让我感触最深的是云计算能够降低创业的门槛。这主要体现在两个方面:一是可以降低成本门槛,二是可以降低技术门槛。随着云计算的逐渐发展和成熟,云主机已经可以基本替代传统的物理托管主机,并且具有弹性配置,按需自助服务,价格优惠等优势,近两年的趋势就是越来愈多的客户会选择云主机服务。现在的创业模式完全不同于以前,人们对传统IT资源的依赖性越来越小,但云端工具的依赖性却变得越来越大,这些工具可以帮助他们将脑中的想法变成现实、转换为成功的创业模式。在全民创业、万众创新的大趋势下,云计算让大小企业站在了同一个起跑线上,小公司通过云计算也拥有了大公司一样的能力,可以去做他们想做的创新。我们手机上各种APP的诞生不断见证着云计算的重要价值。云计算还有两个作用是赋能业务创新和支持传统产业升级。

飞天的了解和感受

飞天系统是阿里巴巴的大规模分布式操作系统。由于之前不了解分布式系统,所以自己在网上查找了一些分布式系统的概念和理解。通俗点说,分布式系统就是把服务器端程序分开部署到多台机器上。飞天的两个设计原则是:以大规模通用计算平台为基础,同一套系统支持离线和在线服务,多租户、资源共享、削峰填谷;以Web API方式提供服务,即时开通按量付费,集群边界、位置对用户透明。

通过了解飞天的历史,我真正感受到,没有创新就没有飞天,没有飞天就没有现在的阿里云。飞天系统的研究是在阿里巴巴IT费用的增长超过了业务的增长这个背景下提出的。经过阿里人的创新和努力,飞天的出现让用户感觉不到地域的边界,给阿里各种业务带来强力支持的同时给其他大小公司的发展也带来了希望。

一个感兴趣的算法

大数据系统的发展趋势由数据和计算规模转变为时效性和计算延时。大规模实时计算的特点包括:超大规模,每天处理几十亿事件、上千个计算节点;复杂计算,几十个计算阶段、复杂JOIN语义和几十TB内存状态;容错,从系统维护和异常故障中自动恢复。其系统架构为移动设备、传感器、云服务器、事件存储、在线服务通过实时计算平台将计算结果传给移动设备、监控终端、商业报表和实时大屏。

在实时计算分析的讲解过程中,我对阿里云高级专家钱正平讲的流计算比较感兴趣,钱老师通过通俗易懂的讲解和精心准备的示意图让我对流计算有了一定的理解。任何分布式计算都可以通过全局快照存下来。但使用全局快照的一个问题是,一个人出现问题时,所有人都得跟着回滚,这样就会造成系统的延时。在此基础上提出了无状态计算,即假设流计算没有状态,check输入输出的映射关系,建立依赖树。这个方法存在的问题是计算量太大,而且不能保证每个映射关系都找到,容易丢失信息。其中,容错面临的挑战包括三个方面:对上游依赖;重构计算状态;影响下游计算。更好的一种方法是迷你批处理(mini-batch),将输入流数据分批后通过批处理引擎得到输出流。这种方法也存在问题:批大小决定性能延时、容错粒度,存在不必要的耦合。这就需要进行上下游解耦,提供“持久化”管道。其实对于单个节点,可以利用计算快照的方法,这样就可以从任意一个快照重启计算,容错性得到了保证。其中,容错策略包括:基于数据依赖重算、检查点回放、持久化流状态。


通过这些算法的分析,我深深地体会到了实时计算正在加速创新、改变世界,我们需要新的计算机系统研究方法。

云安全感想小谈

其实,在平时的生活中,我们对云计算的安全问题并没有足够的重视,总会感觉这些不应该是我们需要考虑的问题,但是黑客的攻击确实离我们并不遥远,我们掌握在黑客手中的个人信息正在逐年增多。有些人会想通过只建立局域网来防止黑客入侵,但实际上物理隔绝并不能绝对安全。

在云安全方面,数据能力是核心竞争力,支撑云安全的是顶级的威胁情报、顶级的计算能力、顶级的响应和处理能力。其中一种防御的思路是根据信誉,借助大数据进行分析。

总结

今天下午的演讲有很多干货,对于我这个入门学生来说,有些地方仍有很多疑问,将来要通过自己的努力多学习一些这方面的相关知识。

每一个新事物的出现都不是一帆风顺的,阿里云也是如此。但是阿里云面对问题时,一直在努力不断的寻求解决方法,这些问题也不断促进云平台的成熟。如果听到批评的声音就放弃,才是最大的失败。批评是最容易的事情,而塌下心来解决问题并坚持才是王道。只有坚持走自己的路,不被别人的看法左右,才会有成功。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
机器学习/深度学习 人工智能 弹性计算
借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务
借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务
借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务
|
人工智能 Cloud Native 物联网
“计算 进化 未来”-记2022云栖大会
不知不觉,距离上一次参加云栖大会已经过去一年了。昨日的自研磐久,开源玄铁还历历在目,这么快又迎来了2022云栖大会。从信息化跨越到数字化,云计算的下一个风向标在何处?阿里云在本届云栖大会主论坛中给出了答案:重构整个IT硬件体系、软件研发范式深刻变革、云端加速融合。
700 0
“计算 进化 未来”-记2022云栖大会
|
边缘计算 Cloud Native 云栖大会
|
机器学习/深度学习 人工智能 城市大脑
【计算讲谈社】第九讲 | “碳中和”时代下:计算的机会在哪里?
碳中和是什么?如何影响我们的生活?与计算又有何关系?8 月 19 日,阿里云【大咖说】全新子系列【计算讲谈社】第九讲《“碳中和”时代下:计算的机会在哪里?》上线,阿里云能耗云负责人周文闻、阿里巴巴研究员吴翰清(道哥)携学员针对该主题展开分享和讨论。
328 0
【计算讲谈社】第九讲 | “碳中和”时代下:计算的机会在哪里?
|
云计算
【计算讲谈社】第六讲 | 三星堆奇幻之旅:只有云计算才能带来的体验
支撑多少人同时在线互动,是实现“元宇宙”的前提?只有云计算才能带来数字交互空间的空前体验?阿里云【大咖说】全新子系列【计算讲谈社】第六讲《三星堆奇幻之旅:只有云计算才能带来的体验》上线,阐述一次关于“数字空间”的讨论、分享和实践。
460 0
【计算讲谈社】第六讲 | 三星堆奇幻之旅:只有云计算才能带来的体验
|
Serverless
90秒走进阿里云函数计算
函数计算是出现最早、使用最广泛的 Serverless 产品形态。
3891 10
90秒走进阿里云函数计算
|
机器学习/深度学习 人工智能 并行计算
人工智能从“计算”破局 谁能抢先拿到赛点?
人工智能从“计算”破局 谁能抢先拿到赛点?
人工智能从“计算”破局 谁能抢先拿到赛点?
|
存储 分布式计算 DataWorks
【大数据】训练营专场形式回归!快来Get你的大数据技能
错过往期训练营?小助手为大家准备了11个大数据训练营重新开营,帮你技能拉满!
|
大数据
第二届阿里巴巴大数据智能云上编程大赛亚军比赛攻略
第二届阿里巴巴大数据智能云上编程大赛亚军比赛攻略
1284 1
|
云安全 Rust 安全
“三清”博士与支付宝机密计算背后的故事
支付宝的机密计算也正处于大规模落地前夕,田洪亮和他的小伙伴们急需各类人才加入,欢迎应届同学踊跃投递简历,和大牛一起,攻关这个世界前沿课题!
1920 0
“三清”博士与支付宝机密计算背后的故事