走进阿里云计算

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2016阿里巴巴技术论坛,阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清在云计算与大数据技术分论坛向我们呈现了精彩的演讲。本文是一个技术小白分享他参加分论坛的所见所闻。

2016年4月15日下午,我参加了阿里巴巴技术论坛的《云计算与大数据技术分论坛》。会议讨论主题涉及飞天技术与应用、大数据计算平台的研究与实践、大规模实时计算及应用和云上安全。阿里云飞天总架构师唐洪、资深专家林伟、高级专家钱正平、安全研究员吴瀚清向我们呈现了精彩的演讲。

66bd1a41a66e74bd35a36b316c1f7d4b172f78a3

何为云计算?

“云计算”对于我们来说,早已经不是一个陌生的词汇了。对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

阿里云飞天总架构师唐洪为我们揭示了云计算的三个本质问题:大规模,云计算是应互联网而生并且为互联网服务的;低成本,低成本不等于低价格,调度才是关键;服务运营,像公共服务一样按量计费。

云计算的作用很大,其中让我感触最深的是云计算能够降低创业的门槛。这主要体现在两个方面:一是可以降低成本门槛,二是可以降低技术门槛。随着云计算的逐渐发展和成熟,云主机已经可以基本替代传统的物理托管主机,并且具有弹性配置,按需自助服务,价格优惠等优势,近两年的趋势就是越来愈多的客户会选择云主机服务。现在的创业模式完全不同于以前,人们对传统IT资源的依赖性越来越小,但云端工具的依赖性却变得越来越大,这些工具可以帮助他们将脑中的想法变成现实、转换为成功的创业模式。在全民创业、万众创新的大趋势下,云计算让大小企业站在了同一个起跑线上,小公司通过云计算也拥有了大公司一样的能力,可以去做他们想做的创新。我们手机上各种APP的诞生不断见证着云计算的重要价值。云计算还有两个作用是赋能业务创新和支持传统产业升级。

飞天的了解和感受

飞天系统是阿里巴巴的大规模分布式操作系统。由于之前不了解分布式系统,所以自己在网上查找了一些分布式系统的概念和理解。通俗点说,分布式系统就是把服务器端程序分开部署到多台机器上。飞天的两个设计原则是:以大规模通用计算平台为基础,同一套系统支持离线和在线服务,多租户、资源共享、削峰填谷;以Web API方式提供服务,即时开通按量付费,集群边界、位置对用户透明。

通过了解飞天的历史,我真正感受到,没有创新就没有飞天,没有飞天就没有现在的阿里云。飞天系统的研究是在阿里巴巴IT费用的增长超过了业务的增长这个背景下提出的。经过阿里人的创新和努力,飞天的出现让用户感觉不到地域的边界,给阿里各种业务带来强力支持的同时给其他大小公司的发展也带来了希望。

一个感兴趣的算法

大数据系统的发展趋势由数据和计算规模转变为时效性和计算延时。大规模实时计算的特点包括:超大规模,每天处理几十亿事件、上千个计算节点;复杂计算,几十个计算阶段、复杂JOIN语义和几十TB内存状态;容错,从系统维护和异常故障中自动恢复。其系统架构为移动设备、传感器、云服务器、事件存储、在线服务通过实时计算平台将计算结果传给移动设备、监控终端、商业报表和实时大屏。

在实时计算分析的讲解过程中,我对阿里云高级专家钱正平讲的流计算比较感兴趣,钱老师通过通俗易懂的讲解和精心准备的示意图让我对流计算有了一定的理解。任何分布式计算都可以通过全局快照存下来。但使用全局快照的一个问题是,一个人出现问题时,所有人都得跟着回滚,这样就会造成系统的延时。在此基础上提出了无状态计算,即假设流计算没有状态,check输入输出的映射关系,建立依赖树。这个方法存在的问题是计算量太大,而且不能保证每个映射关系都找到,容易丢失信息。其中,容错面临的挑战包括三个方面:对上游依赖;重构计算状态;影响下游计算。更好的一种方法是迷你批处理(mini-batch),将输入流数据分批后通过批处理引擎得到输出流。这种方法也存在问题:批大小决定性能延时、容错粒度,存在不必要的耦合。这就需要进行上下游解耦,提供“持久化”管道。其实对于单个节点,可以利用计算快照的方法,这样就可以从任意一个快照重启计算,容错性得到了保证。其中,容错策略包括:基于数据依赖重算、检查点回放、持久化流状态。

e7c537ebfd4505d41c68f7dace8c2a5d1b466d2c

通过这些算法的分析,我深深地体会到了实时计算正在加速创新、改变世界,我们需要新的计算机系统研究方法。

云安全感想小谈

其实,在平时的生活中,我们对云计算的安全问题并没有足够的重视,总会感觉这些不应该是我们需要考虑的问题,但是黑客的攻击确实离我们并不遥远,我们掌握在黑客手中的个人信息正在逐年增多。有些人会想通过只建立局域网来防止黑客入侵,但实际上物理隔绝并不能绝对安全。

在云安全方面,数据能力是核心竞争力,支撑云安全的是顶级的威胁情报、顶级的计算能力、顶级的响应和处理能力。其中一种防御的思路是根据信誉,借助大数据进行分析。

总结

今天下午的演讲有很多干货,对于我这个入门学生来说,有些地方仍有很多疑问,将来要通过自己的努力多学习一些这方面的相关知识。

每一个新事物的出现都不是一帆风顺的,阿里云也是如此。但是阿里云面对问题时,一直在努力不断的寻求解决方法,这些问题也不断促进云平台的成熟。如果听到批评的声音就放弃,才是最大的失败。批评是最容易的事情,而塌下心来解决问题并坚持才是王道。只有坚持走自己的路,不被别人的看法左右,才会有成功。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
存储 云计算 开发者
【预告】阿里云计算新品速递:HPC优化实例商业化发布
5月30日14:00,将推出专为云上高性能计算设计的HPC优化实例hpc8ae,旨在解决现有云计算基础设施对HPC应用优化不足的问题,提供经济高效的仿真解决方案,提升计算效率,加速业务创新。直播中,阿里云专家将展示实例在计算流体、有限元分析等领域的应用,并通过两个云上工业仿真Demo进行实践演示。参与直播还有机会赢取丰富礼品。
【预告】阿里云计算新品速递:HPC优化实例商业化发布
|
10天前
|
存储 关系型数据库 分布式数据库
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
【7月更文挑战第3天】PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题。此架构让存储层专注数据可靠性,计算层专注处理SQL,提升性能并降低运维复杂度。通过RDMA加速通信,多副本确保高可用性。资源可独立扩展,便于成本控制。动态添加计算节点以应对流量高峰,展示了其灵活性。PolarDB的开源促进了数据库技术的持续创新和发展。
153 2
|
10天前
|
存储 弹性计算 大数据
阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求
【7月更文挑战第3天】阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求,如大数据型实例配备高吞吐硬盘。与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保任务高效运行。案例显示,使用ECS能提升处理速度、降低成本,为企业数据驱动创新提供有力支持。
28 1
|
14天前
|
存储 机器学习/深度学习 弹性计算
阿里云ECS计算型c8i服务器测评_网络PPS_云盘IOPS性能参数
阿里云ECS计算型c8i实例采用Intel Xeon Emerald Rapids或Sapphire Rapids CPU,主频2.7 GHz起,支持CIPU架构,提供强大计算、存储、网络和安全性能。适用于机器学习、数据分析等场景。实例规格从2核到192核,内存比例1:2,支持ESSD云盘,网络带宽高达100 Gbit/s,具备IPv4/IPv6,vTPM和内存加密功能。详细规格参数表包括不同实例的vCPU、内存、网络带宽、IOPS等信息,最高可达100万PPS和100万IOPS。
|
2月前
|
存储 Cloud Native 对象存储
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储OSS、块存储 ESSD、弹性伸缩ESS以及抢占式实例实现了相比 Apache Kafka 10倍的成本优势并且提供了自动弹性的能力。
84069 25
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
2月前
|
弹性计算 人工智能 安全
蚂蚁数科MAPPIC密态计算云平台入驻阿里云计算巢,打造云上密态计算服务
阿里云计算巢新添成员——蚂蚁数科的MAPPIC密态计算云平台,旨在为企业提供安全的大数据和模型密态计算服务,促进数据资产和模型资产的挖掘。MAPPIC是融合AI和BI的隐私保护平台,支持N+接入方式和弹性计算。通过阿里云计算巢,企业能快速创建密态计算集群,降低使用门槛,同时提升业务可靠性和审计追溯能力。双方合作将加速密态计算在云上的应用,应对数据隐私和安全挑战。
蚂蚁数科MAPPIC密态计算云平台入驻阿里云计算巢,打造云上密态计算服务
|
15天前
|
缓存 运维 Devops
阿里云云效操作报错合集之在构建过程中,Docker尝试从缓存中获取某个文件(或计算缓存键)时遇到了问题,该如何处理
本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法,包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台,为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑,致力于提升企业的研发效能和创新能力。
|
2月前
|
SQL 分布式计算 数据挖掘
阿里云MaxCompute携手华大基因打造精准医疗应用云平台,十万基因组计算成本降低至1000美金以内
华大基因是中国最领先的基因科技公司,华大基因为消除人类病痛、经济危机、国家灾难、濒危动物保护、缩小贫富差距等方面提供分子遗传层面的技术支持。让我们结合maxcompute的技术特点,看看如何助力华大基因。
2029 13
|
2月前
|
存储 安全 大数据
蚂蚁数科MAPPIC密态计算云平台入驻阿里云计算巢,打造云上密态计算服务
蚂蚁数科MAPPIC密态计算云平台入驻阿里云计算巢,打造云上密态计算服务
|
2月前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级