
《逐云》是云栖社区的一档人物记录短视频栏目。一共10集。锁定云技术领域,每期记录1位云技术细分领域的代表专家,见证云技术先行者在时代潮流下的选择与追寻、坚持与自由。了解更多云栖专家分享,请点击云栖专家频道,当然我们也欢迎你往前走一步,成为我们的云栖专家(https://yq.aliyun.com/expert),与技术大牛一起“煮酒论英雄”。 本期人物:阿里巴巴通用计算平台负责人关涛 以下为关涛讲述: 学生时代:一路保送,但可能不是你想象中的学霸 可能我不是那种大家想象中的学霸。爱读书,但也很爱玩。我觉得兴趣是最重要的。读书经历的话,一路基本没考过试。初中到高中是保送,高中到大学因为数学竞赛保送了南开大学,读的计算机专业。选择计算机,是因为从小特别爱玩游戏,边玩还会边修改存档,就这样迷上了计算机。后来大学到研究生,是从南开推荐到了天津大学,带我的导师在网络方面研究成果很领先,也是通过他在计算机的领域里走得更深入。 除了游戏,也很爱运动。工作后没了那么多时间玩游戏,但会一直坚持运动。在微软时也曾做过微软中国网球协会主席,拿过微软大部门网球联赛的冠军。很爱单板滑雪,之前也一直坚持在每年的最后一天自驾去不同的滑雪地滑雪。 初入社会:微软最年轻的技术管理者之一,带跨国团队更具挑战 研究生毕业后,拿到了微软的offer,一做就是6年。在微软的第一个项目,是做基础架构,主要负责分布式系统。在当时的体量还是很大,团队有几千台机器可以布局。最考验的是系统的拓展能力,这个经历也成为了后来逐步往上做的基础。 第二个项目,是做搜索后台,那时整个业界搜索技术也刚起步,可以理解为是从0到1的过程,到后来这个搜索后台也成为了微软后台最重要的搜索架构之一。 做完了这两个偏存储层面的后台后,开始往上做,做大数据,更偏重于计算层。也就是在微软的第三个项目:交互式查询。从最初牵头来做这个项目到经历各种系统的升级更新,做到后面基本微软一半以上的团队都在用这个系统。 做到这里,在微软国内已经算是比较资深的员工,刚好在做组织架构调整,希望可以接受更大的挑战,便决定去到美国那边的对口组,在那边工作了两年的时间。这期间继续深入做交互式查询、优化推动等,因为在微软比较早就开始带团队,在美国那边也是带团队,不过这次是多国的战队。也是在那时积累了很多团队管理的经验,包括如何带领多国成员组成的团队,如何与远程团队沟通等。 阿里人:从微软到阿里,技术信念的回归 在微软工作将近10年,中国美国都工作过,带一个团队做交互式大数据计算这个领域,当时是一个比较“得心应手”的状态。微软也是大型工作,内部可以换到各种不同的工作和岗位,之前大约每两年也会make some change。过去的十年,以BAT为代表的本土公司也发展的很快,一直很好奇哪些技术、风格、文化上的特点驱动了BAT。所以当时有了阿里的机会,也很好奇希望更深入的了解,也算是make a bigger change。 从工作性质上,还是很match,都是大数据引擎(规模上有较大差异),而且阿里在国际化方面有投资,也需要跨国经验,之前的技术,工程和管理经验都能复用。 另外,我在很小的时候,有一次到中关村玩。有两个广告牌给我留下了深刻的印象,到现在我都记得,一个是联想的“人类失去联想,世界将会怎样”,一个是金山软件“为国产软件的发展而奋斗”,这两个广告体现了。。。。。。。兜兜转转十年,转回到阿里,做通用计算平台(Maxcompute),也算是为国产软件而奋斗了。 在微软做了近10年,一路都是在核心项目上深挖,也是在业界比较领先的技术上向前走,当时国内的BAT也有了加速的发展,很多地方速度超越了微软、谷歌这样的外企,正巧阿里在西雅图成立了分部,对阿里技术一直比较看好,再加上技术线和自己也很匹配,便来到了阿里,成为了当时阿里西雅图分部的第22名员工。 之前也一直带北京和美国的团队。这次在阿里,我管这个叫“两岸三地工作”(太平洋两岸,北京,杭州,西雅图),这个工作状态,确实工作更忙一些,很多会议需要照顾两边的时差,但这也是必要的。杭州和北京团队setup都很齐整,西雅图是我们最近两年的海外研发中心,特别的西雅图的“云谷”,云计算北美的三巨头都在,希望通过海外人才的引进,进一步提升我们竞争力。这方面需要加大投资,付出一些时间和沟通成本也是值得的。 随着三边团队融合和成熟,情况已经不错了。研发全球化一些优势已经开始体现,例如24小时全球事情cover的值班能力,国内/海外的客户和合作伙伴会议,可以就近参加(例如与Intel美国团队的合作,由西雅图同学完成)。 责任:在阿里,开启的是一场大的硬仗 在阿里我有一种感觉,就是事比人多,可做的事情非常多。就好像带领一个大战队,去打一场很大很持久的硬仗。关于计算平台,你可以想象一座航母,本身系统很复杂,周期也很长,这个航母的每次转型都耗资巨大,但如果转型的方向正确,战斗力里一定会非常地强。计算平台之于阿里,便是类似这样一个存在。 在阿里负责的是带整个计算平台(Maxcompute)的团队,在之前,阿里是各个业务部门会搭自己的数据平台,现在是统一收到一个统一的大后台中,计算平台便是这个统一的平台,也是整个阿里巴巴的数据中心。阿里内部超过95%的数据都在这个平台上,每月的月活有一万多人,也就是每4个阿里员工中就会有1个人在用这个系统,每天的获阅量有300万左右。阿里这么多业务线的数据汇总在一起,数据也就具有了一加一大于二的特性,所有这些数据综合在一起也是阿里巴巴最大的数据价值之一。如果这个平台一旦不工作,举例说,像支付宝的商户订单、商家商户的统计信息以及商品的维度信息等都会缺失掉,影响是非常难以想象的。 来到阿里,最开始就在和其他架构师一起,对这个计算平台进行一次全面的革新,将性能提升了一倍。一倍可能很多人会没有明确的概念,举例来说,性能提升5%可以省去的预算时一个亿,那么一倍的话其实是节省了20亿的预算。 计算平台最典型的应用,便是每年的双十一。双十一期间我们团队会值48小时的班,第一天支撑实时流量和交互式查询,第二天需要支撑分量的信息,中间不能有间断。每年双十一结束的时候,计算平台也会迎来全年最大的洪峰期,数据量会暴涨三倍到五倍的样子,非常考验整个数据平台的能力,所以真的是一场很大的硬仗。 对未来的展望:让计算平台(Maxcompute)成为阿里的“水电煤” 针对计算平台的未来,是希望它可以普及成为“水电煤”一般的基础设施。具体的方向,一是要有匠心也要有深耕,要从以业务为主能上能下,转变为可在某一个领域深耕,能够打造业界影响力的一个状态。二是生态线上有非常多的地方值得我们学习,也值得去整合,希望可以做到闭源系统与开源平台很好的互动,在保证数据资源都统一的基础上,能够保有既有资源系统最核心的能力,比如更安全、更高效、功能更强的优势,也能支撑开源系统更好的生态性,从而找到这中间的结合点。我也很坚信,目前我们做的方向是对的。希望自己可以带领阿里计算平台这座航母,开得更远。 就我个人而言,也是希望可以以内部和外部业务为导向,把计算平台(Maxcompute)这座航母本身的战斗力提升上来,在业务、科研、高校等领域打造影响力,把它打造为世界上最好的计算平台(Maxcompute)。 相关内容: 1.关涛的个人博客 2.阿里巴巴大数据-玩家社区
北京时间11月2日晚间,阿里巴巴集团公布2018财年第二季度(2017年7月至9月底)业绩,云计算业务保持强劲增长,比去年同期接近翻番,季度营收接近30亿元。同时,在企业级市场持续突破,有1/3中国500强企业使用阿里云。以该季度营收规模推算,预计阿里云年度营收势将突破100亿元,持续扩大市场领先优势。 财报显示,该季度阿里云营收达29.75亿元人民币,同比增长99%。这一强劲增长得益于云计算付费用户的增长,以及高附加值服务对收入结构的持续优化。阿里巴巴在财报中表示,将继续投资云计算业务,通过为用户提供价值服务来进一步扩大市场占有率。 今年10月,阿里巴巴在杭州举行云栖大会,吸引全球67个国家和地区近6万人现场参会,1500万人在线观看。阿里云总裁胡晓明在现场表示,阿里云被超过100万客户所采用,其中包括了中国500强企业当中的1/3。未来还将与合作伙伴一起为1000万企业提供技术服务。 在人工智能方面,阿里云在全球范围内率先实现了规模化的产业落地,ET大脑成功应用于城市治理、工业制造、社会安全、金融科技等多个领域。在杭州市萧山区,ET城市大脑为120救护车实时规划急救路线,并沿途自动调配信号灯,将120救护车到达现场时间缩短了一半。 在工业领域,ET工业大脑帮助中策橡胶提升了3到5个百分点的混炼胶平均合格率。位于苏州的光伏制造企业协鑫光伏借助ET工业大脑,将生产良品率提升1个百分点,每年可节省上亿元的生产成本。 财报中提及,阿里云将继续发展面向大型企业的整体解决方案,为不同行业提供数字化转型的技术支持。 目前,飞利浦中国、贵州茅台、南京银行等已经广泛使用阿里云的技术和产品。其中,飞利浦中国将企业IT应用迁移至阿里云上。茅台正在使用计算、数据库、安全等服务来与消费者更好互动。南京银行正在将整个IT系统迁移到阿里云平台上,同时正在采用OceanBase数据库和机器学习平台PAI。 产品技术方面,该季度内阿里云共推出245款新产品和功能,其中包括自主研发的神龙云服务器和关系数据库POLARDB,这两款产品分别为企业提供高性能、强隔离的计算服务,以及性能更加优化的数据库产品。 在长期技术研发投入上,阿里巴巴在云栖大会上宣布成立“达摩院”,未来3年投入1000亿,进行基础科学和颠覆式技术创新研究,投入量子计算、机器学习、基础算法、网络安全、视觉计算、自然语言处理、下一代人机交互、芯片技术、传感器技术、嵌入式系统等,涵盖机器智能、智联网、金融科技等多个产业领域。
2017杭州云栖大会已于10月11日-14日在云栖小镇完美召开,作为全球最具影响力的科技展会之一,本届有140多场技术主题论坛,共计800多个主题分享,涵盖人工智能、金融科技、量子计算、生命科学、IoT、政务、多媒体、VR等20多个前沿科技领域。多位全球顶级学术专家、以及MySQL & MariaDB创始人、PostgreSQL联合创始人、Redis创始人等大咖都献出了精彩的分享。相关文章和其他回顾,请点击云栖大会公众号(https://yq.aliyun.com/teams/142)。期间,云栖社区也同步上线了下载频道(https://yq.aliyun.com/download),为大家带来更多技术实战干货、技术趋势等资源。 2016杭州云栖大会资料分享获得大家的热烈欢迎。为此,组委会特别决定今年大会资料将以部分免费+通过积分兑换形式对外公开,完整规则见如下: 面向云栖社区用户,社区提供100份资料免积分下载,地址:https://yq.aliyun.com/articles/231065 另外300+份下载资料,主会100积分/份;峰会和分论坛50积分/份,地址:https://yq.aliyun.com/articles/231701 L3和L4用户,除了享受独有的100份核心资料,同时还可免费(积分)获取所有PDF(500份),地址:https://yq.aliyun.com/promotion/377 积分查看地址:https://club.aliyun.com 那如何获取积分?我们特别整理了一份攻略。 积分是什么? 阿里云积分是阿里云于2017年5月底推出的、面向全体会员的忠诚度计划,旨在鼓励会员对阿里云的普惠科技产品体系进行更多主动的互动、交易、探索和反馈,并对会员以上行为进行奖励。除了下载资料,也可以兑换云产品、卡券和实物等。云栖社区的积分体系也已经融入积分规则中。查看地址:https://club.aliyun.com。 轻松赚取积分攻略 获取积分的通道很多。比如购买云产品等。如果从内容贡献的角度来看: 首先,可以登陆云栖社区,通过如下行为即可轻松赚取50+积分:完善个人资料、签到、登录APP,如图1所示。 图1 1.完善资料 登陆云栖社区,进入我的云栖,即可看到,完善就可以立即领取25个积分: 图2 如图2所示,除了完善个人资料可以获取积分、参与聚能聊(得15积分)、观看云课堂课程(得25个积分)、关注专家(得25积分)都可以获取相应的积分。 2.打卡 打开云栖社区首页,在主页右边,点击“打卡“即可得1分,连续打卡可获得更多积分。 图3 或者打开阿里云APP,在手机上打卡也可以领取1个积分: 图4 3.发/逛博客轻松拥有35+积分 用户进入博客页面:https://yq.aliyun.com/articles发布文章、或者评论、点赞博文等行为都可以获取相应的积分。当然,如果您成为云栖社区专家,将会获得更多经验值和阿里云会员积分,具体请见图5表格(社区专家要求及认证方法:https://yq.aliyun.com/articles/117071)。 图5 轻轻统计一下,发布一篇博文、发表评论、博文被点赞、收藏至少可以获得30个积分。如果您是我们云栖社区专家(如何认证,见:https://yq.aliyun.com/articles/117071),至少可以获得35个积分,并且同样的动作,获得积分更多。 PS:云栖社区首届博主招募活动正在进行中,在积分之外,还有753个大奖等你来拿,详情访问:https://yq.aliyun.com/activity/363 。 4.问答积分同样值得你来领 30+小意思 进入问答页面:https://yq.aliyun.com/ask回答问题、点赞等行为都可以获取积分。 图6 在问答频道至少可以赚取多少积分呢?略微一算,至少可以获得30个积分,当然,如果您是我们认证的云栖专家(如何认证,见:https://yq.aliyun.com/articles/117071),至少可以获得45个积分。 5.聚能聊里积分也不少 进入聚能聊主页:https://yq.aliyun.com/roundtable所有社区用户均可参与【聚能聊】话题讨论,但只有社区专家可以发起【聚能聊】话题。 图7 同样,用户进入个人主页(如图2所示)也可以参与聚能聊讨论。 6.积分还可以怎么获取? 除了上面的方法,最后再给大家分享一个大招。用户可以在会员俱乐部(https://club.aliyun.com)领取任务和领取积分,目前共有9个任务,分别是推荐任务、新手任务还有互动奖励。全部完成至少可以获得1115个积分。 最后,你肯定想知道自己获得了多少积分。登录云栖社区,进入个人主页,点击“我的积分”即可查看您的所有积分获得和消费记录,如下图所示: 图8 结束语 Get以上积分小技能,积分过千只是一瞬间的事,当然,云栖大会盛宴上面的资料更是轻而易举就可以获得。赶快行动吧,下载频道(https://yq.aliyun.com/download)的干货也都会是你的。
下载频道即将上线,这是打造自己影响力、分享技术资料,以及赚取积分的好机会(积分用处很大,点此可了解详情:积分官网)。那么在下载频道玩耍,需要遵守哪些规定? 以下是您需要知晓的规则: 一、我该如何上传资料? 目前上传资料的权限,暂且只对云栖专家开放(云栖专家是什么?如何申请云栖专家,点此了解:云栖专家)。 二、要求: 请勿上传与技术无关的内容,一旦发现将被删除。如果内容违反国家规定的,云栖社区有权向该用户停止服务。 请勿在未经授权或不享有著作权的情况下上传任何资源; 点击上传资源即表示您确认该资源不违反资源分享的使用条款,并且您拥有该资源的所有版权或者上传资源的授权 上传后的内容,云栖社区享有修改、复制、发行、信息网络传播、改编、翻译等权利。 用户应妥善保管自己的社区账户及其密码。因用户自身原因丢失账户、密码或其他重要信息等,用户自行承担停止服务以及其他一切不利后果。 三、声明 云栖社区上的内容部分来自用户上传,云栖社区不享有所有权。如发现侵犯上传用户侵犯您的版权,请与社区联系处理yqgroup@service.aliyun.com,一经核实,我们会立马删除。 用户上传到云栖社区的资源及其内容不代表社区观点,云栖社区不对资源及其内容的真实、完整、准确及合法性进行任何保证。 云栖社区有权根据发展需要,不断修改下载频道规则的相关条款。 本协议的最终解释权归云栖社区所有。
该指南更新于2018年4月3日。再次修正于2019年3月22日。 如果您熟悉相关规则,可以点此直接申请云栖专家:https://yq.aliyun.com/settings?type=expert 1.什么是云栖专家? 云栖专家是社区的认证,是技术能力与影响力的体现。它本质上是一种荣誉称号,代表云栖社区对用户个人在云栖社区内容贡献的肯定。 2. 成为云栖专家后,有哪些福利? 目前,云栖社区专家体系分为三级,分别是云栖专家、阿里云MVP和云栖KOL(云栖最有影响力专家)。 不同等级的云栖专家,享有的福利不同,以下为不同等级的专家对应的权利。 2.1 云栖专家 特殊的身份标识和勋章; 文章获得更多机会推广; 云栖大会以及云栖社区其他举办的会议门票; 阿里云产品优先使用的机会; 成为我们的直播嘉宾,以及云栖大会讲师 云栖社区与多家知名出版社合作,云栖资深专家享有出版实体书籍的专门通道。 2.2 阿里云MVP、云栖KOL(云栖最有影响力专家) 享有云栖专家所有权益; 走近企业,探讨技术趋势和相关难点; 专访权益 3. 云栖专家的门槛有哪些? 3.1 云栖专家申请标准(以下条件满足其一即可) 专业领域博文至少发布30篇或问答回答30篇 聚能聊至少发过2个话题,且博文至少发布2篇 在最近的六个月内,至少做过一场直播。 担任版主半年以上,并且连续3个月版主积分大于500 行业资深人士,云栖社区特邀成为专家 3.2 专家认证特殊标签 1)阿里云MVP(以下条件,满足其一即可) 优质文章15篇,且点赞总数达到300个,评论150个; 聚能聊话题10个,且每个话题都和阿里云相关; 分享的线上直播三场,且直播主题和阿里云相关 2)云栖KOL(意见领袖)(以下条件,满足其一即可) 社区粉丝>2000人; 博文发表大于20篇;每篇均传播量1000; 直播(含钉群)大于5场; 线下沙龙分享1次; 云栖特邀专家; 云栖顾问团的审核; 聚能聊话题10个,且参与回答人数有1500人; 说明: 专家为实名制,需要填写个人真实信息,上传真实头像。 云栖社区专家,需要保持月均(自然月)活动度,包括并不限于:发布博文、博文下讨论、发布直播、参与聚能聊话题、问答频道回复相关技术问题等。 成为云栖专家后,不得大量发布广告或软文,否则云栖社区有权永久取消云栖社区专家身份。 4.如何成为云栖专家? 点此申请云栖专家:https://yq.aliyun.com/settings?type=expert 5. 云栖专家认证取消机制 如果长达3个月没有发布任何博文,没有发布直播,没有参与聚能聊或在社区问答频道回复开发者问题,云栖社区有权取消云栖资深专家、云栖KOL等身份。 云栖专家不得有违反国家规定、云栖社区网站规则的行为,否则将取消云栖专家身份。 云栖专家的文章,不得抄袭别人,如果抄袭超过3篇(文章重合度超过50%,可以定为抄袭),将会取消?云栖专家认证。 6. 注意事项 云栖专家并不是云栖社区的官方人员,其观点和行为,仅代表个人,不代表云栖社区官方立场。
继去年MariaDB基金会将阿里云数据库高级专家彭立勋列为个人成员后,今年又有一位阿里云工程师在国际技术社区重要工作中有所担当,她就是张秋怡。 张秋怡,花名洗影,阿里云云应用服务团队工程师。2016年,她毕业于中山大学软件工程专业,现在在阿里云alinode团队参与 alinode Node.js 应用服务解决方案的开发和维护,同时也对阿里内部和外部的客户提供技术咨询的服务。 Node.js社区宣布将张秋怡吸纳为CTC的页面(@joyeecheung 为张秋怡在Github的账号) 近日Node.js社区决定,将张秋怡吸纳为CTC(核心技术委员会)成员,而这也使得她成为国内首位Node.js社区CTC成员。 CTC 主要负责 Node.js Core 大方向上的技术决策。其成员主要的工作包括:参加周会讨论 GitHub Node.js 组织下面所有提交给 CTC 讨论或者 Review 的事项,参与 CTC 邮件列表的讨论,对有争议的 issue 进行投票,Review Node.js Core semver-major 的不兼容改动(semver-major 的 PR 必须要有 CTC 成员的 sign-off 才能合并),以及其他 Node.js Core Collaborator 的工作 (CTC 成员也是 Collaborator)。 只有对Node.js 社区有足够大贡献的人,才会被吸纳为CTC成员,张秋怡做了哪些贡献?她在接受云栖社区电子邮件访谈时说:“我主要是参与了 WHATWG URL 标准的实现(在 8.x 我们已经做到能完全通过 Web Platform Test 了),和内部 benchmark 的一些改进,平时也会帮忙维护 issue tracker 和 review 代码。”回复中,张秋怡也指出,日常工作其实是维护 issue 和 code review 更多一些。 聊到国内为什么到今天才有第一位CTC成员时,张秋怡表示并不很清楚,但她分析可能和以下两个原因有关系:1.语言障碍;2.Node.js社区的人基本都是志愿者,需要大家牺牲个人大量周末休闲的时间。有些原因她没在访谈中说,但却在稍早些时候——《Node.js Collaboration Summit 与 JSConf EU 纪行》一文中有所点明。她当时感叹中国开发者在国际社区与标准制定过程的缺席,进一步探究原因她则发现,国内工程师大都喜欢自己去寻找曲线救国的解决方案,缺乏标准意识,从长远角度解决问题……从这来看,或许也能多少知道为什么在国际技术社区看不到来自国内的现象级人物和技术贡献的根本原因。 尽管这位年轻的CTC成员本科毕业才一年,但她的技术实力很雄厚,而这来源于她在Node.js领域四年的持续耕耘。因此张秋怡在成为CTC成员之前,也收获了来自小伙伴的钦佩。2016年年底,张秋怡受邀在Node.js Interactive 2016 North America上做分享,归来后她写了一篇文章《Node.js Interactive 2016 North America 纪行》做记录,阿里的技术同学除了在内网感叹对最新进展介绍全面、信息量太大的同时,也有人发自内心的问:“如何成为像你这样的大神。” 对于下一阶段,张秋怡说,原来做什么,现在还会继续做什么,只不过每周会多参加一次语音会议。在阿里云的工作,她说,将继续维护 alinode 和开发新特性,“会将Node8功能集成到 alinode 平台上,提供更多为 Node.js 应用监控调优和故障排查的手段。” 更多细节,请查看以下完整访谈内容: 云栖社区:请介绍下自己以及所从事的工作。 张秋怡:我 2016 年从中山大学软件工程专业毕业,现在在阿里云的 alinode 团队参与 alinode Node.js 应用服务解决方案的开发和维护,也对阿里内部和外部的客户提供技术咨询的服务。目前主要做 Node.js 应用的监控调优、故障排查和稳定性保障相关的事情,开发的工作从底层 Node.js 运行时的定制,到上层的监控平台和可视化调优工具都有涉及。此外也协助一些阿里云其他产品与 Node.js 开发相关的工作。 云栖社区:你是什么时候接触 Node.js 的?你为什么会选择不断在 Node.js 社区做贡献? 张秋怡:第一次接触 Node.js 大概是在大二的时候,有同学给我们看了他用 Node.js 写的一个 Demo,当时学习过 Python 的 Tornado,发现 Node.js 的 Koa 和 Tornado 比较相似,出于好奇心就了解了另一个平台下的 Web 开发对比来看看。后来对编程语言的编译器和虚拟机实现产生了兴趣,在探索 JavaScript 引擎的实现的同时也有去阅读 Node.js 的源代码,了解抽象了计算机网络和操作系统这些课程知识的跨平台库(libuv),与一个脚本语言的运行时(v8)嵌在一起在实际应用中会长什么样子。大三实习转岗到 alinode 团队之后开始有在 Node.js Core 的代码上做一些开发,但是没有向上游提交过 patch。 大四毕业前在 Node.js Live Beijing 做过一次关于 V8 GC 日志的分享,被 Node.js 基金会邀请到当年北美的 Node.js Interactive 再做一回,在那次会议上有一个 Code and Learn 的活动,现场指导熟悉给上游提交代码的流程,因为这个契机就开始熟悉上游 Node.js Core 的工作流程了,后面在业余时间也有不断给 Node.js Core 做一些维护 issue tracker、提交和 Review 代码之类的事。 要说为什么会一直不断做这些的话,大概就是没有家庭负担,所以业余时间比较闲吧……加上 Node.js 社区整体氛围还是很友好的,对新加入的贡献者都很鼓励,大家都很遵守 code of conduct ,比较有礼貌。偶尔有疑似火药味出现的时候也会私下沟通,很注意不要互相冒犯,所以在里面一起工作感觉很愉快。碰过的代码多了之后也会经常被 ping 去做 code review,慢慢就变成习惯了。Node.js 底层的代码涉及的技术范围比较广,在参与贡献的过程中也可以了解很多平时工作不怎么打交道的技术领域。 云栖社区:Node.js 社区只会对有足够大贡献的人吸纳为CTC(核心技术委员会)成员,能不能和大家分享下,你都做了哪些贡献? 张秋怡:我主要是参与了 WHATWG URL 标准的实现(在 8.x 我们已经做到能完全通过 Web Platform Test 了),和内部 benchmark 的一些改进,平时也会帮忙维护 issue tracker 和 review 代码。不过这种是比较成熟的开源项目,日常工作其实是维护 issue 和 code review 更多一些。 云栖社区:从接触到的信息来看,你是首位国内 CTC 成员,就你个人来看,能否分析下之前为什么国内没有人成为 CTC 成员? 张秋怡:坦白说我也不是很清楚,我认识四五个在国内工作的 Node.js Core collaborator,感觉区别只是活跃程度不同吧,我平时泡在上面的时间会多一些。 据我了解,现在 CTC 里起码一半的人本职工作和 Node.js Core 的日常维护没有关系,完全是志愿者,真正受公司赞助对 Node.js 这个项目负责,全职参与开发的人寥寥无几。我已经算是工作关系比较密切的,平时工作也要接触同一个 code base。虽然维护上游代码并不是我的本职工作,只是 APM 这类工作的本质需要对运行时底层做一定的修改而已,所以我在上游提交的代码和我在内部提交的代码关系也不大,维护 issue 和做 review 这些工作关系就更远了。我认识的其他几个 collaborator 平时的工作和 Node.js Core 的日常维护关系也不大,日常工作如果忙起来,留给开源项目做义务劳动的时间也不多也很正常。 工作和 Node.js 相关是一回事,愿不愿意牺牲自己周末玩乐的时间,陪伴家人的时间去给底层依赖的项目做义务劳动是另外一回事,毕竟 Node.js 已经是很成熟的开源项目,多一个维护者少一个维护者影响并不大。但是这样比较知名的项目日常维护需要投入不小的精力,每天一觉起来收件箱多出上百个通知是家常便饭,每个月都会有两三百个 commit 合并到 master,相应地每天都有很多 PR/issue 要看,所以全跟进是不太可能的。Node.js 的 collaborator 有不少不太活跃选择退回权限的,CTC 也有一些成员因为个人事务变多没有时间继续参与 CTC 的活动而离开(参考 CTC Emeriti:https://github.com/nodejs/node#ctc-emeriti),大家也都很理解。我们也有完整的流程来处理这种情况,有新的活跃贡献者出现,也有完整的流程吸收成为新血,总体有进有出还是比较健康的。 从我的角度看来,我和其他人的区别只是我燃烧了一下自己个人的时间而已,我能理解为什么其他人不选择放弃更多自己的个人时间做这种义务劳动,也不保证自己会一直坚持花费这么多的业余时间(现在本职工作比较忙所以活跃程度也有所降低,但还是尽量保持每周都会做一些工作),这些都是很正常的。 如果要拿国内和国外对比来问(考虑到人口基数)的话,还有一点是语言障碍。虽然 CTC 大概有一半的人母语并不是英语,也不居住在英语国家,collaborator 母语不是英语的也很多,但是 Node.js 的注释、commit message 的语言、issue tracker 上交流的语言都是英语,CTC 每周开电话会议也是用英语的。另外国外开会和活动的时候,即使有旅费赞助,考虑到语言和签证问题,国内的开发者要去参加难度也高一些,我到国外开会的时候很多人都表示他们是第一次和来自中国的活生生的开发者交谈。双方平时打的交道不多,了解不深的话比较难吸引作为新成员进来。 云栖社区:CTC(核心技术委员会)成员有哪些义务?它和 Node.js 社区的Collaborators 有什么区别? 张秋怡:CTC 主要负责 Node.js Core 大方向上的技术决策,成员主要的工作包括参加周会讨论 GitHub Node.js 组织下面所有提交给 CTC 讨论或者 Review 的事项,参与 CTC 邮件列表的讨论,对有争议的 issue 进行投票,Review Node.js Core semver-major 的不兼容改动(semver-major 的 PR 必须要有 CTC 成员的 sign-off 才能合并),以及其他 Node.js Core Collaborator 的工作 (CTC 成员也是 Collaborator)。 Collaborator 的人数更多一些,只要在 Node.js Core 有足够多的代码贡献就可以成为 Collaborator,Collaborator 有 push 到 GitHub 上 nodejs/node 这个代码仓库的 master 分支的权限和运行 CI job 的权限,也可以编辑、标记和关闭 nodejs/node 的 issue 和 PR。 两者的主要区别……日常能察觉到的大概就是 semver-major 的 PR 需要通过至少一个 CTC 成员的 code review,所以一个 PR 如果被标记成了 semver-major 而且有 Collaborator review 后同意合并了,但是还没有 CTC 成员 LGTM 的话,会需要 ping @nodejs/ctc 这个团队的人提醒过来 review(注:LGTM 就是 Look Good To Me,通过了 code review 的意思)。另外有争议的 PR 或者 code review 中产生的问题如果没办法在讨论中达成一致,会召集 CTC 来投票做决定。 此外还有 CTC 每周都要开语音会议和有自己的邮件列表。 云栖社区:CTC 成员与成员之间都是怎么进行交流的?日常会有聚会吗? 张秋怡:大家日常在 GitHub 上都是低头不见抬头见的,还有就是包括很多 collaborator 都会上的 #node-dev 的 IRC 频道和 twitter。CTC 每周都会开一次语音会议,讨论 Node.js 组织下面所有标记了 ctc-agena 或者 ctc-review 的 issue/PR,把反馈、决定或者下一步要做的事情回复在对应的地方。不过因为我们分散在世界各地,CTC 的会议时间是北京时间周三晚上7点,晚上12点,周四凌晨4点三个时间轮流的,由于时差一般每次会议只能聚集到大概三分之一到一半的人。此外 CTC 还有自己的邮件列表用于讨论一些比较敏感的话题。 线下主要是 Node.js 基金会每年会组织两三次 collaboration summit,一般会在 JavaScript 或者 Node.js 社区的大型会议周边举行。不过这个活动的参与范围也包括所有的 Core Collaborator 和 Node.js 基金会下其他 Working Group 的成员。一般 Collaboration Summit 主要是分小组讨论一些需要集齐人讨论的问题,线下见面谈会更有效率一些。 云栖社区:我们知道,你也在维护阿里云基于 Node.js 推出应用服务解决方案alinode,因此有两个问题:第一个问题是,alinode 主要改动了什么,体现的优势是?适用于什么场景;第二个问题是:当下在阿里云的工作和 Node.js 社区交集多吗?如果不多,你是怎么分配这两块时间的? 张秋怡:alinode 运行时的改动主要是 APM 方面的一些东西,包括从底层采集性能数据输出到日志等,以及接受远程开启性能数据快照(CPU Profile、Heap Snapshot、GC Log 等)并定时关闭的功能,配合我们的 agent 和控制台完成对线上 Node.js 应用的监控和调优。优势其实主要不在于运行时本身,是我们提供配套的监控、报警、性能调优、慢日志和错误日志采集等,一系列完整的用于保障 Node.js 线上应用稳定性、方便故障排查和优化线上应用性能的服务。 我平时的工作除了 alinode 运行时和配套工具服务的开发,还要做一些技术咨询的工作,另外最近主要在协助阿里云的其他产品团队做一些 Node.js 相关的比较上层的工作,按比例的话在公司的实际工作内容其实和我在上游的工作交集不太多,虽然保持对上游变动的关注对我的日常工作也是有用的。线下聚会我会借助一些其他机会去,比如到被附属的开发者会议投 Proposal 做 Speaker,或者像今年集团派遣参加 JSConf Europe 就顺便参加在 JSConf 前两天举办的 Collaboration Summit,这样申请差旅会比较合理一些。 刚开始参与社区的时候因为收件箱消息太多,上班时间也会处理一下邮件,不过现在日常工作比较忙,虽然工作中有一些问题还会需要到 ssue tracker 和上游的代码提交记录去寻找相关线索,但是一般达到目的就会回去继续完成公司的工作,避免注意力分散得太严重。现在主要是下班时间在参与一些社区的工作,周末和节假日会花多一些时间(我今年最活跃的时间其实是春节假期……)。 参与开源项目肯定会占据个人时间的,毕竟有时差就不存在休息时间,就算不专门腾时间出来工作,也会有无穷无尽的消息 24 * 7 小时轰炸收件箱,我会尽量用比较琐碎的时间处理掉一些比较琐碎的任务(比如在手机上阅读 issue,分清哪些是不需要我关注的,那些是需要我关注的),再把需要跟进或者花更多时间工作的东西记下来在下班时间找比较长的空闲时间来处理。另外工作时间等编译或者发布的时候如果手头没有其他事,偶尔也会处理一下消息或者做一下简单的 Review。 云栖社区:在阿里云和 Node.js CTC 中,接下来你会怎么做? 张秋怡:在社区的工作其实没有很明确的计划,毕竟 Node.js 项目本身其实也没有明确的 Roadmap,所以基本还是原来做什么现在做什么,就是每周要多参加一次语音会议。 在公司的工作主要是继续维护 alinode 和开发新特性,上游现在已经发布了 Node 8,alinode 也会在 10 月 Node 8 成为 LTS 的时候发布新版本,我们正在将这段时间做的一些功能集成到 alinode 平台上,提供更多为 Node.js 应用监控调优和故障排查的手段。此外还会帮阿里云的其他产品团队做一些与Node.js 开发相关的工作。 另外 Node.js 基金会计划在今年 7 月上海举办的 JSConf China 办一次 Code and Learn 活动(讨论参见这里),到时候有几个国内外的 Node.js CTC 成员和 collaborator 会过来担任导师,现场指导参加的人为 Node.js Core 提交 PR,我也会去这个活动做导师。
科技盛宴再临上海,6月10日-11日,云栖大会·上海峰会于上海跨国采购会展中心召开。 在本次云栖大会上,阿里云人工智能全新“大脑”重磅发布,云技术、IoT解决方案重装亮相,金融行业、国际电信行业重要合作伙伴登台,YunOS年度新版本正式发布。 本文荟萃了重点新闻,一起见证:让数据连接产生价值,为各行业变革铺就非凡路径的智能时代。 一、产品发布: 1.上海云栖大会直播和新品专题 重磅产品官方介绍。【详情】。 【资料合集】2017云栖大会·上海峰会回顾合集:PDF下载+现场视频 2.阿里云将新增印度和印尼数据中心 加速全球化布局 阿里云拥有亚洲规模最大的计算资源平台,未来新增的印度、印尼和马来西亚数据中心,将把阿里云全球覆盖面提高至由数十个飞天数据中心覆盖的17个区域。【详情】 3.阿里云发布移动数据中心“闪电立方”:为PB级海量数据迁移而生 阿里云推出的“闪电立方”外形黑色立方,可防尘防水,抗震抗压。容量上可容纳100TB数据,并能实现最高30:1的压缩比,配合高效的去重功能可节省更多的存储空间。内置了20Gbps的光纤网络连接,传输速度更快。【详情】 4.阿里云发布聆听平台 全球招募300位MVP 这是一个开放的建议反馈社区,客户可在此提交产品的使用体验、建议与意见,推进产品质量改进,并对产品未来版本的发展方向产生积极影响。【详情】 以及MVP官网。 5.阿里云发布ET环境大脑 对抗雾霾、排污和自然灾害 目前客户使用ET环境大脑已在江苏实现了对水、气、土、污染源的智能感知。在沿海多个省份的固废全程监管模拟推演中,政府使用ET环境大脑共预警131次,其中有效预警122次,有效率达93%,管理企业达2.5万家。【详情】 6.Oracle数据库上云利器 阿里云发布数据库迁移服务ADAM 业内首个覆盖数据全生命周期的应用与数据库迁移工具Advanced Database & Application Migration(以下简称ADAM),使得企业能够将Oracle等数据库无缝迁移上云,在云上数据库MySQL、PPAS、AnalyticDB等开展业务。【详情】 7.阿里云推出企业级智能协同办公方案 云桌面、云AP、云客服一应俱全该方案将阿里巴巴集团创立18年来研发积累的内部办公系统优化输出,让企业客户提升办公效率,节省运维成本。它包含了四大能力中心:沟通能力、基础设施能力、安全能力、协同能力,这四个能力覆盖了企业办公95%以上的办公场景,适应互联网时代下的企业办公需求,帮助企业提升跨区域办公效率,降低运维成本,管控安全风险。【详情】 二、声音和合作 1.阿里云总裁胡晓明:保护客户数据隐私是阿里云第一原则 胡晓明介绍了阿里云的数据安全体系,并再次重申保护客户数据隐私是阿里云的第一原则。“阿里云承载的是客户的信任,对我们来说,客户数据安全和隐私保护是最重要的事情。”【详情】 2.浙数文化携手阿里云拓展云计算服务双方将共同建设云计算服务平台,联合在智慧城市解决方案、企业上云和互联网大数据云计算培训等领域互相合作。【详情】 3.阿里云牵手战旗直播:让500万人进入1个直播房间 即日起,战旗直播作为国内高清游戏直播第一平台,阿里云将为其提供内容接入与分发网络和大规模分布转码技术、灾备方案,及图像语音处理等人工智能方案。【详情】 4.宝信软件与阿里云达成合作 助力“中国制造2025” 宝信软件和阿里云将依据“优势互补、平等互利、互相支持、共同发展”的原则,探讨运用云计算及大数据领域先进、成熟的技术架构和产品,在采购、销售等电商领域,共同搭建以客户为中心、具备互联网架构的工业品电商平台。【详情】 三、回馈 1.阿里云ECS、Redis再次降价 最高降幅35% “技术进步和规模效应是产品价格得以快速下降的原因,我们希望能够让云计算成为普惠科技。”据悉,上述核心产品价格调整已在10日生效,用户可在官网查询并以新价应用。 【详情】 2.阿里云云数据库Redis版降价35% 分享技术红利 “云数据库本身的低成本和连续多次降价,已大幅降低了数据库的成本。这将对传统的数据库模式产生巨大冲击,吸引更多企业采用云计算的方式开展业务。”业内人士认为。 【详情】 四、解读 1.视觉智能产品发布 阿里云这项世界第一的技术现在人人可用 用手机拍下朋友的相片,软件会自动识别进行分类并将照片发送给朋友。这不是空想,利用视觉智能对手机相册进行管理、分类和分享正逐步成为现实。【详情】 2.印度塔塔通信携手阿里云 网络互连覆盖150个国家地区 双方达成合作之后,阿里云的高速通道产品与塔塔通信的IZO™ Private Connect网络服务产品将互联互通,为企业拓展全球业务提供高速、稳定、安全的网络通信服务。【详情】
2017中国国际大数据产业博览会于5月25日-28日在贵阳市举行。本届数博会继续聚焦大数据的探索与应用,展示大数据最新的技术创新与成就,成为中国最具国际化和产业化的高端专业平台。 而一直在云计算、大数据和人工智能领域耕耘的阿里,今年都有哪些发声和动作? 笔者整理了以下相关文章: 一、事件 阿里巴巴创新中心落地贵安新区 用新技术助力创新创业 二、其他 马云、阿里云和“云上贵州”的故事 汇总:这届数博会,阿里云展了什么? 数博会第一辩:机器智能是人也不具备的智能
什么都不说,请看图!
提到主题咖啡厅,相信很多人总会想到那些高颜值、高品质的文艺咖啡厅,比如说巴洛克文艺主题、日系复古主题、法式主题、猫奴主题等。当然,有些人也会“贱贱”地想到一些Cosplay咖啡厅,比如女仆类型的…… 甭管多么主题,在大多数程序员眼中,这些主题咖啡,好像都和他们的生活沾不上什么边,因为这与他们的工作和生活交集太少。 近日,工程师文化氛围浓厚的阿里云联合Costa,在杭州推出全国首个工程师主题咖啡店。目前首家店已在杭州云栖小镇阿里云办公区开张,而阿里巴巴西溪园区店也紧接着开放。据笔者观察,之所以在这两个地方开张,是因为这里聚集着大批阿里程序员。 工程师主题咖啡店里,有眼花缭乱的键盘和灯泡等装极客元素,也有供工程师用来脑暴的黑板。 实际上,除了特别的空间之外,这家全国首个工程师主题咖啡店还提供程序员专属咖啡——Apsara咖啡。Apsara咖啡有着阿里云logo的拉花,相比通常的咖啡更浓缩,同时味道更苦一些。Costa咖啡师表示:“为了定制符合工程师的咖啡,咖啡师精选1%的咖啡豆,萃取18%-22%的最佳可溶浓度段。” 值得一提的是,Apsara(飞天)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。目前,这款命名为Apsara的咖啡,现已在苏州、杭州、成都、上海、深圳地区部分门店上线。 说了这么多,相信有些小伙伴忍不住,想看全国首个程序员主题咖啡店究竟长什么样了吧?下面放高清、无码、大图! 尽管是在阿里办公区,但他不仅仅“造福”阿里程序员。“我们打造独一无二的Code Space,提供所有的工程师一个轻松的氛围。”阿里云工程师汤子楠表示。 阿里云相关负责人透露,他们计划在全国其他城市陆续复制主题店。同时,也会依据此次程序员的声音,进行咖啡店的定点复制。 5月11日22:27更新: 有不少同学在社交媒体上问,程序员专属咖啡,在哪里可以喝到?主题曲君,赶紧找来“副本”入口指南: Tip:每周一10:24,咖啡店都会推出程序员免费咖啡,别说我没告诉你哦! 掌握第一手干货,欢迎关注阿里云云栖社区官方微博:http://weibo.com/u/1939498534
5月10日是阿里一年一度的阿里日,这对阿里人来说,是个非常特别的日子。 那什么是阿里日呢?看看官方介绍: 它起源于2005年4月20日,是为了纪念2003年5月的“非典”时期阿里人的激情和信念。因此阿里巴巴决定,今后每年的5月10日定为“阿里日”。每年的这一天,公司都会有庆祝活动,举行集体婚礼,并开放公司为“亲友日”,让阿里人的亲属和朋友走近阿里巴巴、感受阿里精神。 今年的杭州阿里巴巴西溪园区内张灯结彩,格外有节日气氛,来,咱们直接看图(也包括各地的园区): 和往年一样,102对阿里新人将在这天园区内举行集体婚礼。 这些都太美了,我们来看一组格外美的: 这么多图,上传完累死了,咱们能点个赞,转发下吗? 掌握第一手干货,欢迎关注阿里云云栖社区官方微博:http://weibo.com/u/1939498534
当下,由于云计算具备在线(在线的价格、服务交付、管控运维和技术文档)等特点,很多场景下用户自己就能通过online的方式自助购买并使用云服务,但由于他们缺乏产品与解决方案层面的技术和决策能力,因此,不论是用户、还是云厂商对云架构师的依赖和需求都越来越大。 那什么是云架构师呢?或者咱们从起点出发——什么是云架构? 有些同学属于理论党,我们先来看看云架构的定义,维基里面的描述为: Cloud computing architecture refers to the components and subcomponents required for cloud computing. These components typically consist of a front end platform (fat client, thin client, mobile device), back end platforms (servers, storage), a cloud based delivery, and a network (Internet, Intranet, Intercloud). Combined, these components make up cloud computing architecture. 简书里有位作者对此做了解读: 大意是说云计算架构主要指的是云计算所需的组件和子组件,这些组件包括前端(胖客户端、瘦客户端、移动端)、后端(服务器、存储)、基于云的交付和网络,从网上盗图一张展示云计算架构如下,云计算架构师就是“搞”云计算架构的人,这个概念应该还是挺好理解的。 Via:《云计算架构师是个什么样的存在》 TechTarget中国有篇文章,则有更进一步的描述: 云架构=企业架构+SOA架构+云技术。要想成为一个云架构师,你必须要先理解企业架构的基础,包括如何围绕业务需求配置IT资产,但是你还必须是SOA的专家。 Via:《云架构师与企业架构师有区别吗?》 概念弄清楚了,那云架构师任职都有什么要求?他们的日常是什么样的?相关人员如何向云架构转型?就此,云栖社区就此采访了阿里云两位资深专家:阿里云云架构总监Danny Liu和阿里云国际业务部云架构总监王宇德。 云时代,将没有纯粹的单一工种 阿里云国际业务部云架构总监王宇德表示,其实早在2015年2月Gartner的一篇分析文章中,就已经明确提出了一个新兴的IT角色——云架构师(Cloud Architect)。对一个组织来说,云计算已经不再是一个“是否(If)”的问题,而是一个“如何(How)”的问题。 “当前人们都已经意识到云计算能够提供敏捷性、可扩展性、弹性、创造业务价值并带来差异化的创新。”王宇德称,在这种背景下,如何构建、部署、消费、管理、安全地应用云服务是所有组织的挑战。 随着云越来越深入人心,阿里云云架构总监Danny Liu指出,这也给当下的从业者带来新的变化。他表示:“云给从业者带来最大的转变是,原有条块清晰的职业边界被打通了。也就是,没有纯粹的单一工种。售前服务、专业服务和售后服务这些角色全部打通,原有的企业架构师角色也需要转型,云架构师是大势所趋。” 云架构师到底需要具备哪些能力? 了解趋势后,我们再看看,当下的云架构师需要具备什么能力。 “未来的云架构师必须具备这样的能力,包括:存储、计算、网络、大数据、安全能力,以及新晋的视频转码能力。“Danny Liu强调,知识面要全面,动手(Coding)能力要强。 王宇德则从另外个维度做出更为具体分析,他认为云架构师需要具备软硬两方面的技能。一方面是具备“T”型的技术硬技能,即包括云上的计算、存储、网络、数据库、应用服务、大数据、安全等和传统IT与开源产品的全领域技术堆栈,又在某一个垂直技术领域(如大数据)有特别深入的研究和精通;另一方面是有很好的行业知识,具备Industry know-how, 很好的沟通和演讲技巧,以及很好的抗压能力等软技能。 “只有通过这两种能力的结合才能给企业提供专业化的端到端解决方案定制能力,帮助客户实现上云的价值。”王宇德说。 阿里云的架构师是什么样的? 虽然云的目标是简化IT,提升DevOps效率, 但是现实世界是复杂的。因此,阿里云对外提供服务的早期,就建立了云架构师的角色。Danny Liu透露,阿里云的CA全球团队人数已经达上百人。 那阿里云云架构师在工作中都扮演了什么角色?Danny Liu介绍到:“阿里云的CA,不仅仅是产品技术的布道者,也是客户需求的聆听者。他不仅理解客户需求,将阿里云的100多种产品打包,形成客户定制(Customer Fit)的解决方案,解决客户的问题;同时,也感知市场趋势,将新产品需求带回公司,供产品研发团队建造新的产品。” 他还说,阿里云CA起到的作用是阿里云和市场客户之间的桥梁——让新技术更快地传递到用户,帮助用户解决问题,协助客户用技术拓展商业边界。 王宇德则先做了一个总的概括:作为一个阿里云云架构师,需要能上得厅堂(高大上),下得厨房(接地气)。“即具备CEO/CIO/CTO等C Level客户的对话能力,又具备Hands-on帮助客户开发与实施团队在云上项目的落地能力。” 这位阿里云国际业务部云架构总监认为,好的CA能够引领行业发展,是客户值得信赖的顾问(Advisor)。从客户的角度思考他们面临的业务和技术挑战,并提出有价值的解决方案。要思考的不再仅仅是如何降低成本,而是通过云上的数字化转型实现开发和运维的敏捷性,并在此之上通过技术的变革实现业务的转型和创新。反过来,倾听市场和客户需求,善于沟通并能看到问题的本质,能够抽象成产品和技术的要求,结合技术发展的趋势,懂得取舍,起到技术和业务的桥梁作用。 如何向云架构师转型? 对于销售人员如何转型,王宇德从自身出发,分享了他的五个心得: 多实践和多总结,在真实的项目中锻炼和成长。好的云架构师是从实践而不是理论中成长出来的,多和客户不同部门的人沟通,包括业务、开发、运维、财务等,全面了解客户的业务技术特点和需求痛点,从而制定真正能给客户带来价值的解决方案; 注重细节,在为客户服务过程中体现出专业性,从而赢得客户的信赖,建立个人影响力。比如在和客户沟通之后,及时发出会议纪要,清晰地总结和归纳双方沟通的内容,包括问题、解决方案和下一步行动,并对客户的问题及时响应,保持积极主动沟通; 持续的学习能力。最高效的学习方法是带着问题去学习,经常去一些技术社区看看,查漏补缺,建立全面的知识体系。云计算相关技术更新迭代是非常快的,对于新的技术,架构师需要非常自觉地去了解; 不要脱离技术底层,保持hands-on和写代码的能力,能和客户做同样的事情; 要有国际化视野。多了解国际上的技术和行业发展趋势,保持对AWS、Azure、Google Cloud等主流云厂商产品技术以及开源平台的关注。 Danny Liu则总结到:“总之要多学,多看,多动手。从Cloud Native架构入手,以最佳实践构建应用(比如阿里云的电商,直播解决方案),用Devops方式快速迭代升级自己的知识堆栈(Knowledge Stack)。” 掌握第一手干货,欢迎关注阿里云云栖社区官方微博:http://weibo.com/u/1939498534
北京时间5月9日消息,饿了么CTO张雪峰,在朋友圈透露,饿了么多活(Multi-Active IDCs/Regions)终于取得成功,实现首次多活生产环境全网切换(灰度)。 这家外卖巨头的CTO回顾到:“自去年八月决定做多活,历经半年规划、调研、设计、协调,又经过三个月所有技术团队连续冲刺开发、改造及业务/产品/运营等兄弟团队的鼓励、支持甚至容忍,今晚,我们终于做到了!” 张雪峰称:“据我所知(如不准确,请指出并见谅),国内日均(非峰值或大促期间)订单100万以上的交易平台,除阿里巴巴(包括蚂蚁金服&菜鸟网络)真正意义上实现了全网多活(不是双活),迄今为止应该还没有第二家可以完全做到。” “有些公司或许正在规划中,有些团队或许正在改造中,还有些或许正在经历和饿了么已经历过的相似风雨与酸甜苦辣……” 那异地多活的最大挑战在哪里?除了希望大家去搜索了解电商、交易、异地多活、数据实时性、数据一致性、跨机房多路数据复制、避免跨机房循环复制等知识外,张雪峰总结了两方面难度:技术和实施。技术难度上,最主要是实时数据强一致性(尤其外卖及配送这种即时性很强业务场景),包括 Cross-IDC DRC解决的app data strong consistency和Cross-IDC ZK Replication解决的config data strong consistency,而无论哪种data replication,都必须解决循环复制问题。其中,饿了么解决的Cross-IDC ZK Replication为业内首创,当初规划、选型、设计时没有任何大规模先例可以参考。 实施难度上简单总结就是,必须全员all-in冲刺,任何一个环节滞后,结果肯定是made nothing。张雪峰说:“给高速飞行(产品迭代)中的飞机换引擎,真不是闹着玩的。” 对于中间历程,他说,确实有太多酸甜苦辣。“技术团队所有同学承担了‘不再尝试灾备过渡,直接进行多活改造’的巨大压力。好在,到今天为止,我们都挺过来了。”他认为,所有付出的努力都是值得的,所有经历的风雨,只为今后的长治久安——因为多活就是最好的灾备。 对于为什么要实施多活,2个月前,张雪峰在接受云栖社区采访时曾做过剖析:“主要是上云后发现,事情比他们想象的要复杂的多——IDC和云机房之间要拉光纤,很多事情需要配套。”在一次核心主备全挂后,张雪峰拍板,决定更进一步:实施多活。 据悉,饿了么只用了三个季度搞定多活,而当年的淘宝则用了三年时间。为此,在朋友圈,他除了列了一串名单感谢饿了么内部员工,他也特别感谢外部人员。包括阿里云(好多同学,不一一列举了)、毕玄(中国多活建设第一人)、阿里平台架构部等。张雪峰说:“没有大家,我们没那么快走到这一天!” 张雪峰微信朋友圈 对于昨晚今晨的首次多活生产环境全网切换(灰度),饿了么CTO张雪峰也表示,这只是一个开始,前方还有更难、更复杂的技术挑战。“多活切换只是技术10→100过程中的第一步,可能还会伴随局部抖动与新的坎坷。”他鼓励饿厂所有技术同学一起拼——for Making Everything 30’,for 下一个九年! 相关阅读: 饿了么四次技术进化的曲折路,记访谈张雪峰 饿了么运维负责人程炎岭分享:饿了么Redis Cluster集群化演进 掌握第一手干货,欢迎关注阿里云云栖社区官方微博:http://weibo.com/u/1939498534
虽距离上一张新春版全向图仅隔四个月,但这四个月,阿里云发生了很多变化。 技术层面: 阿里巴巴开辟科技主航道:启动一项代号“NASA”的计划,面向未来20年组建强大的独立研发部门,建立新的机制体制,为服务20亿人的新经济体储备核心科技。 中国首个光量子计算机诞生 中科院、阿里巴巴共同研发:世界上第一台超越早期经典计算机的光量子计算机在中国诞生!该光量子计算机是由中科大、中国科学院-阿里巴巴量子计算实验室、浙江大学、中科院物理所等协同完成参与研发的,是货真价实的“中国造”。 4月26日的云栖大会·南京峰会上,NASA计划的最新黑科技——基于全浸没的服务器麒麟露面。通过把整台服务器浸在液体里循环冷却,数据中心可以无需使用空调,能源使用率(PUE)逼近了理论极限值1.0。 阿里云发布飞天敏捷版 支持Docker企业版:这是国内第一个支持Docker官方企业版(Enterprise Edition, EE)的容器类产品,可以部署在企业自有数据中心环境内,特别适用于企业专有云及混合云场景。 [阿里“NASA”首个重磅武器——机器学习平台PAI2.0亮相]():相比1.0版本,PAI2.0有多项重大更新,除增加了100余种算法外,更重要的是对主流深度学习框架TensorFlow、Caffe和MXNet的全面兼容。 阿里云联合英特尔国内首推Skylake版云计算产品:阿里云宣布云服务器ECS实例新成员——N5规格族启动公测。这是一款各行各业都可以采用的通用型实例,基于阿里定制版英特尔Xeon Skylake 处理器,以及阿里云对软硬件的深度优化,新产品单实例性能上限大幅度提升。 阿里云正式发布ET工业大脑。 普惠层面: 阿里云宣布合并优酷CDN业务降价35%击穿行业底线:此次阿里云CDN官网降价降幅最高可达35%,流量单价最低只需0.17元/GB。 江苏联合阿里云启动“1+30+300”工程 可为制造业带来数百亿利润。 阿里云参与两大国家工程实验室获批,人工智能继续深入工业制造:由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定,分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。 ET工业大脑助力浙江智能制造 带来数百亿利润空间:阿里巴巴副总裁刘松表示,通过技术的革新去帮助中国制造业提升1%的良品率,按照浙江当前的产业规模,这相当于每年能增加数百亿利润。 这些变化,反映在产品上是怎么样的?5月份,云栖社区又拿出一张阿里云产品全向图,供大家端倪(可多关注尾部带【B】【N】的部分): 阿里云产品和解决方案全向图(5月版),一共165款产品,点此可以下载高清打印版 需要指出的是,为了让大家能够清晰看到同一产品在不同领域的位置,看清其定位;二也是希望大家能够多灵活运用这些产品,我们并没对全向图里重复的产品去重。 当然,仅端倪产品的变化是不够的,我们也希望你能用心感受阿里云产品的逻辑以及用户场景。 2017阿里云产品场景图,点此可以下载高清打印版 产品之外,我们也有一系列干货给大家: 15+文章详细讲述Serverless:开启函数计算时代!(含PDF下载) 【资料合集】运维/DevOps在线技术峰会:文章、PDF+回顾视频! 解读DockerCon 2017——阿里云专家的美国行记录和思考 【深度】2020年业务峰值提前3年出现,中国邮政上云实战经验谈 【深度】中信集团张波:信息化已经过去,数字化刚刚到来 【深度】一条已经坚持了10年原则,是否能适应波司登“新零售”征程? 【深度】小硅片与大数据的结合——协鑫光伏的新制造之路 【深度】特步CIO唐坤军:特步上云,最难的地方是组织流程的调整 【深度】饿了么四次技术进化的曲折路,记访谈张雪峰 【深度】金鑫:基因应用现状解析及华大基因的数据平台架构 【深度】丁国祥:吉利的数字化转型从云上起步
背景:4月23日是世界读书日,这是联合国教科文组织确立的节日,于1995年11月15日设立,其目的之一,是推动更多的人去阅读和写作。上周,云栖社区在聚能聊也发了一个话题:又是一年世界读书日,我们读什么书,才能让自己进步得更快?。目前参与人数多达200多位,欢迎你也来分享下自己的看法。 技术大牛会看哪些书,网上有不少推荐。 那,技术大牛中的大牛呢?他们关注什么领域?会看什么书?想必大家都很好奇。 上周五和今天,笔者把阿里的这些大牛都“骚扰”了一番。他们层级非常高,数量很少,均是阿里的研究员,负责各自领域的技术方向和决策。 这些技术领域的弄潮者,很罕有地给出了他们心中最有份量或近来手中在读的书单。书单有的文艺气息十足,有的很技术范;有的大牛推荐了十几本,而有的只推荐了一本。 然而,不管类型繁与简、书籍多与少,所呈现的均是一种视角。再加上,阅读是一件很私密的事情,通过书单,能了解一个人和他“之所以”背后的秘密。相信,这些在读的或他们心中觉得有份量的书籍,多多少少能让你有所启发。 以下是书单: 1.阿里中间件技术部研究员蒋江伟(花名:小邪) 小邪说:“他看书比较少。”尽管如此,他还是列了一些书单过来。 书单:《人类简史》、《时间简史》和《尽在双11》 推荐:《尽在双11》。 理由:“《尽在双11》的内容印象比较深刻,讲了很多双11遇到的技术问题,以及技术决策的背后思考。” 背后故事: “好的。” 是的,你没看错,小邪就是这么干脆。 2.阿里云数据库技术组研究员余锋(花名:褚霸) “褚霸,你喜欢读什么书?给我们的云栖社区用户推荐一些呗。” 江湖人称“霸爷”的他,立即啪、啪、啪,推荐了以下书单: 书单:《人类简史》、《未来简史》、《现当代长篇小说经典:徐贵祥军事精品系列:历史的天空》、《亮剑》、《日本战国系列·丰臣秀吉:光与火》、《织田信长:菊与刀》、《1968:撞击世界之年》、《霍乱时期的爱情》、《你的孤独,虽败犹荣:谁的青春不迷茫系列》、《关键对话:如何高效能沟通》、《反脆弱:从不确定性中获益》、《学会提问》、《耶路撒冷三千年》、《重新定义公司:谷歌是如何运营的》、《黑天鹅:如何应对不可预知的未来》、《最好的告别:关于衰老与死亡,你必须知道的常识》、《引爆点:如何引发流行》、《青铜骑士》、《世纪文睿人文典藏:要塞》、《小王子》、《偷影子的人》、《人的大地》、《世纪文睿人文典藏:夜航》…… 推荐:《人类简史》和《未来简史》。 理由:觉得不需要努力干了。 背后故事: “最有感触的是哪本?必须挖挖你的想法。”笔者发了一个阴险的表情给霸爷。 “没有想法。” 或许是被我“紧贴着”逼急了,也可能这就是他真实的想法,他回复到:“努力看点不一样东西。” “最有感触或最推荐是哪本,这个求答下。” 霸爷说,《人类简史》和《未来简史》吧,“觉得不需要努力干了。” 3.阿里云大数据研究员徐常亮(花名:常亮) 书单:《在线》。 推荐:《在线》。 理由:“《在线》可以让大家看事物的角度有很大的拓宽。”徐常亮表示,如果听过博士之前的演讲,结合起来,更是会有很好的体感和回味,对云计算/大数据的本质或者到底追求的是什么,有更深层次的认识。 背后故事: “你把我从书单里删了吧,原因是……”,文章写好后,徐常亮找到我。 我理解他的原因。但还是坚持了下:“希望能保留这份书单。因为你对《在线》的点评很到位,我想呈现出去。” 这份点评的确很到位,它能引导人们去了解云计算、大数据的本质。 “那就写XX吧。” “谢谢徐兄的保留。非常感谢。”我非常感激他能把这段文字保留下来。 4.阿里安全部安全技术平台研究员张玉东(花名:黄眉) 书单:《图灵的秘密》、《第五项修炼》、《楞严经》、《圣经》、《华严经》、《失控》、《网络安全法》和《三体》。 推荐:《三体》。 理由:“‘有料’、‘有情’、‘有大爱’。”这是黄梅对《三体》总结性的点评。他说,有料,是指作者刘慈欣是红二代,有条件在军队的超级计算机上,实践测试他的科幻想法,所以是一本超级硬科幻,而且基本上是其他科幻作品无法取代的;有情——跨越时空的爱情还是让他非常赞叹的,虽然女主角(程心)并不让人喜爱;有大爱则体现在:章北海式的人物,为了全人类未来的大义,可以抛弃自己作为“军人”、“人”的一切小我与坚守,只为了人类的延续。 “读三体这套小说,确实会让你感受到宇宙之浩淼,人类之渺小,强大和渺小,无情与有情不过是不同角度下的同一表达。” 背后故事: “还有一些,有空列。”和文字并排的还有一张笑脸的表情。 张玉东是第一个回复我内容的大牛,看到书单,我瞬间轻松了很多,我以为要等很久很久的…… “在这些书中,你最喜欢的是哪本?” “还有《三体》。”受我提示,张玉东把他最爱列了出来。 5.阿里平台架构部研究员林昊(花名:毕玄) 书单:《智能时代》和《未来简史》。 推荐:《智能时代》和《未来简史》 理由: 《智能时代》:智能时代已经来临,吴军的这本书清晰的讲述了造就智能时代来临的背景原因,智能时代带来的类似蒸汽机时代的巨大变革,以及智能时代所面临的挑战。 《未来简史》:必须看下未来是怎么样的。 背后故事: “我下午找时间,争取!” 深夜,接近10点,我一脸期待地敲出:“书单?” “不好意思,还在开会。” 我也惶恐,因为层级越高,事情越多,责任越大,处理时就越耗费精力。我害怕打扰到他们。 第二天早上,他早早地把内容发了给我,并说到:“不好意思,现在才给。” 6.阿里搜索事业部研究员蒋晓伟(花名:量仔) 书单:《Quantum Fields and Strings》、《The Fabric of Cosmos》和《Quantum Computation and Quantum Information》。 推荐:《Quantum Fields and Strings》、《The Fabric of Cosmos》和《Quantum Computation and Quantum Information》。 理由:之所以推荐三本,蒋晓伟说:“各不一样,第一本百看不厌,每次读都有新的领悟。第二本是我觉得写的非常好的科普读物。第三本对量子计算做了一个比较全面的介绍。” 背后故事: “我都几乎不看书的,看的也是专业性很强的书。” “专业书籍,也可以说一两本你推崇的。”笔者赶紧回到。 “都是和IT完全没关系的,没人会看的。”隔了段时间,他强调:“我是学物理的。” “和大家分享您的视野就好。” 于是蒋晓伟分享了上述他觉得不错的书单。 7.阿里iDST研究员华先胜(花名:方广) 书单:《高效能人士的七个习惯》、《老子》、《大学》、《论语》…… 推荐:《高效能人士的七个习惯》和《老子》 理由: 《高效能人士的七个习惯》:读这本书是很多年前了的事了,但现在仍然映像深刻。当时惊叹这本书,并不是其中提到的七个技巧(当然,这也很重要),而是因为它与其他的所谓“成功学”有本质不同,它试图从根本(一定程度的“根本”)上改变一个人的做事方式,也就是行为习惯。我还清楚地记得开篇Stephen Covey举的水兵想让灯塔避让的故事,还记得当时他的词,paradigm shift。其实,Stephen试图说服读者改变的是“参照系”,而不是利用某些技巧取得更高的效率。“参展系”决定了行为习惯,行为习惯决定了命运。更进一步,与其说是行为习惯决定了命运,不如说思维习惯决定了命运。也许有一天,会有这样一本书:《快乐成功人士的N个思维习惯》:) 《老子》:除了眼前的苟且,我们有时还是要点诗和远方。这是一本不但要经常读的书,而且是一本经常要思维的书。虽然只有五千言,里面的道理可以说是字字珠玑。不论对生活,还是对工作,是眼前还是未来,是小我抑或是大家,都可以从中找到启迪。试录几句:“知人者智,自知者明,胜人者力,自胜者强”;“柔弱胜刚强”;“为学日益,为道日损,损之又损,以至于无为,无为而无不为”;“上善若水,水善利万物而不争,处众人之所恶,故几于道”……皆是可以反复玩味领悟和实践的。 背后故事: “可用则用,无用则弃。”列完书单后,华先胜敲了这些字过来。 华先胜是IEEE Fellow、ACM杰出科学家、国家“千人计划”特聘专家,也是阿里云视觉计算领域非常资深的专家。 他除了谦虚之外,也很守信。“一天都是会。”他说,只能晚上了。 当天很晚的时候,我的钉钉前排里冒出了他的头像,头像右下方赫然显示着未读显示“2”。
从传统IT部署到云,人肉运维已经是过去式,云上运维该怎么开展?尤其是云2.0时代,运维已经向全局化、流程化和精细化模式转变。与此同时,人工智能的发展,“威胁论”也随之袭来——运维是不是快要无用武之地了?如何去做更智能的活,当下很多运维人在不断思考和探寻答案。 在这个背景下,阿里云云栖社区在4月20日举办了在线“运维/DevOps”技术峰会,7位阿里技术大咖与1位外部资深实践者进行了演讲,分享了对DevOps、架构的理解,以及在日常运维中的实战经验。我们将本次峰会的讲义PDF+活动视频整理出来,以供大家学习参考。 1.同城容灾架构剖析——夸父 演讲视频:http://yq.aliyun.com/webinar/play/202 PDF下载:https://yq.aliyun.com/attachment/download/?id=1523 演讲整理文章: https://yq.aliyun.com/articles/74424 2.阿里云专家理解的DevOPS!——连铭 演讲视频: http://yq.aliyun.com/webinar/play/205 PDF下载:https://yq.aliyun.com/attachment/download/?id=1527 演讲整理文章: https://yq.aliyun.com/articles/74415 3.如何稳定、安全的使用云数据库——喜乐 演讲视频:http://yq.aliyun.com/webinar/play/204 PDF下载:https://yq.aliyun.com/attachment/download/?id=1525 演讲整理文章:https://yq.aliyun.com/articles/86146 4.饿了么Redis Cluster集群化演进——程炎岭 演讲视频:http://yq.aliyun.com/webinar/play/206 PDF下载: https://yq.aliyun.com/attachment/download/?id=1524 演讲整理文章:https://yq.aliyun.com/articles/74423 5.如何利用开源DevOps工具完成云上的自动运维——黎山 演讲视频:http://yq.aliyun.com/webinar/play/208 PDF下载:https://yq.aliyun.com/attachment/download/?id=1520 演讲整理文章:https://yq.aliyun.com/articles/74435 6.企业上云安全加固最佳实践——天公 演讲视频:http://yq.aliyun.com/webinar/play/203 PDF下载:https://yq.aliyun.com/attachment/download/?id=1521 演讲整理文章:https://yq.aliyun.com/articles/74436 7.如何构建一个通用化的智能运维平台——Tesla大数据SRE实践 演讲视频:http://yq.aliyun.com/webinar/play/201 PDF下载:https://yq.aliyun.com/attachment/download/?id=1522 演讲整理文章:https://yq.aliyun.com/articles/74434 除了资料外,你还想和专家面对面交流,可以扫以下二维码进钉钉群: 运维/DeVops峰会技术交流专家群
“人算不如天算,天算就是云计算。”在2017深圳IT领袖峰会上,阿里巴巴董事局主席马云如此直接推介云计算。 回到阿里云产品本身。阿里云产品数,从去年的6月份93款产品,到9月份121款,再到今年1月份的150款…… 产品越来越多,它们之间的逻辑和用户场景是什么样的?这些产品在今天又可以怎么被概括,它们分别处于什么样的位置? 这一次,我们从一个新的角度出发,把产品分为四类:端、云、数据和智能。 需要指出的是,用来承载的图,前后修改多个版本,历时两个多月打磨。如此费心,我们希望你能暂时忘却数字,用心感受阿里云产品的逻辑以及用户场景。 在呈现这张图之前,请允许我用简洁的文字介绍下它——仅用两个公式来表达: 混合云=专有云+云 云=端+云+数据+智能 *其中,安全(云盾)是云的基础。 下面,是我们的主角: 2017阿里云产品场景图,点击图片可以直接下载打印高清版 如果看图不过瘾,咱们还有视频全方位展示: 而在场景图之外,你想全面了解阿里云的产品以及在开源上的贡献,我们还有以下图供你参考: 1.新春版!2017阿里云150款产品和解决方案全向图(1月制) 2.2016阿里巴巴73款开源产品全向图
4月20日20:00-21:30,一场别开生面的技术大会—— “运维/Devops在线技术峰会”将在线举办。从网络基础架构实践和演进,到同城容灾架构剖析;从如何稳定、安全的使用云数据库,到企业如何在云上安全加固最佳实践;从阿里云专家理解的DevOps,到如何构建一个通用化的智能运维平台……不仅一一告诉你云上的运维重点在哪、运维人应该如何思考,也手把手教你如何做。同时,对于处于转型中的企业,我们也邀请了有代表性的互联网公司来分享他们的亲身体验。 阿里云运维/Devops在线技术峰会官网:https://yq.aliyun.com/activity/188 峰会统一报名链接:https://yq.aliyun.com/webinar/join/167 以下为文章正文: 她,从行业软件、共享软件、OA系统到联想网盘,再到阿里云,并扎在云计算领域一干就是七年。 她,看着云产品管控慢慢长大,并先后经历过管控系统的服务化改造、开源DevOps工具与阿里云的集成等。 “开源生态对阿里云是一块全新的领域,教主制定了国际包围国内的方针,拟定了开源社区引导企业用户的战略,为阿里云开源社区、开发者服务奠定了稳定的基础。” 阿里云高级专家闫长海说到。 但她却认为只是迈出了第一步,运维自动化后面还有很长的路要走,并持续寻求改变。“我们在做一件伟大的事情,也许现在的效果还不明显,但一两年后我们会感谢曾经努力的自己。”她坚信成功迟早会来。 她认为未来运维将分为两个领域:应用运维和业务运维,而传统运维人要想转型,就要做到:从Ops走向DevOps,从项目走向产品,从资源走向应用。 她,就是本文的主人公、自动化运维领域牛人尹书威。 进入云计算领域看似跨度很大,但有着千丝万缕的关系 尹书威认为,未来云上的运维一定要做到四方面:自动化、方便迁移、将IaC进行到底和“永恒的职责” 尹书威,阿里云高级专家,就职于阿里云云应用服务部门,负责开源的自动化运维工具与阿里云的集成,致力于通过主流开源高效的自动化工具提高云上运维/开发的便利性。 她的花名——“黎山”,出处来自西游记中《四圣试禅心》中几个菩萨的妈妈——黎山老母。谈到这个花名,尹书威说:“其实没啥寓意。”相较之下,她更喜欢另一个因扮演年会小品角色,而得的别名“教主”。 IT行业中,女性程序员非常少,能成为大牛的女性更少,那尹书威是如何一步步进入这个行业,并成为大牛的? “这个受我父亲的影响比较大。”她说,父亲是属于那个年代少有的知识分子,从小就灌输给她长大要做技术,“所以这个思想一直深深感染着我。”上世纪90年代,计算机还比较奢侈,家里就给她买了一台386的电脑,因此她早早便开始接触计算机。 毕业后,尹书威一直从事软件开发的相关工作,先后做过行业软件、共享软件、OA系统,以及联想网盘。 共享软件是物业管理系统,属于行业类软件,但是以共享软件的形式存在的——用户在软件园下载,购买后会发放注册码。尹书威说,那时微软刚刚提出SaaS概念,这算是第一批SaaS系统了。有单机版和网络版,网络版即是“租户”形式的,用户只需要注册便可使用。“但那时大家还不能接受把‘数据’放到网上,所以单机版的下载量相对较多,并一度持续数周在共享行业软件排行第一。”尹书威说,她当时还注册了专利,只不过后来随源码卖了。 接着,她来到阿里云,并一直跟着云计算的成长而成长。对于这步,她不觉得跨界:“看似跨度很大,但有着千丝万缕的关系。” 看着云产品管控慢慢长大 尹书威是2010年加入阿里云的,那时阿里云刚刚起步,云产品不多,“只有几个云管控系统,我记得最开始只有ECS。” 由几个发展为现在的上百个,她算是看着云产品管控慢慢长大的。 这样的时间点来到阿里云,也让她亲身经历过很多重要开发,比如阿里云的管控系统服务化改造,这是一个将阿里云底层的功能提供可操作的UI方式供用户使用的系统。 为什么要进行服务化改造?她称,云计算是2010前后才开始大火特火,阿里云尽管在云计算上布局比较早,但也是摸着石头过河。随着用户量和ISV的增加,大家发现一个较严重的问题,用户只能调用OpenAPI,不能调用阿里云的内部接口,云产品提供的一些重要功能OpenAPI不齐全,有些也并不稳定,这使得用户无法使用云产品对外提供OpenAPI做管控或与他们的自有系统集成。 阿里云合作伙伴们的一致诉求都是帐号独立、结算独立,而管控系统的功能几乎一致。尹书威思量:“如果为‘虚商’单独开发管控系统,工作量非常大,同时功能的同步性、Bug修改的同步性都是严重的问题,所以一定要一套代码支撑阿里云自身以及虚商的管控系统。”所以,她将基于OpenAPI的管控系统服务化改造分为两部分:一部分是阿里云的管控系统基于云产品的OpenApi提供功能,另一部分是阿里云的管控系统能够轻量的输出给“虚拟云商”使用。 “用那时比较流行的一句话就叫‘Dog Food’,自己吃自己的狗粮,打磨OpenAPI的健壮性和丰富性。” 也正是这样的改造,使得一套代码完美的支撑了各个虚商,并且可以轻量化的输出。增加虚商时,管控系统的代码几乎不感知,只需要业务人员在管控系统的管控系统中做配置即可。 一步一艰难 3月底,圈内有一篇很火的文章《深度解析国内公有云大厂基础实力》,文中有对开源生态覆盖度的描述:“同时Azure和阿里云都在开发基于Terraform的模板部署项目...”这句话,肯定了阿里云去年在市场上的布局。阿里云资深专家汤子楠,就此也给予了阶段性的肯定:“单骑救主,让阿里云在新的‘战场’也能保持领先。” 一切看似风淡云轻,但对尹书威而言,却是职业生涯挑战最大的一次,“可谓一步一艰难。”在采访中,她一字一顿说到。 她这次参与的是研发与阿里云集成的开源DevOps工具。然而开始开源生态集成工作时,她发现DevOps工具玲琅满目,但是一个也不支持阿里云,也就是说不能用任何一个自动化工具管理阿里云的资源。 面对众多的工具,大家集成开发的优先级是什么,功能范围是什么,都无从所知。为了理清头绪,尹书威开始研究主流DevOps工具在运维流程中的角色。随着研究的深入,她头脑里也逐渐形成一张大图,串起一张从基础设施管理→持续集成→持续交付→持续监控的主线。基于此,她决定每个主线挑选一个工具由自己团队开发,其他由合作伙伴来。“我们负责架构设计和代码Review,这样当主线工具集成后,可以在其上长出一个产品,实现针对于阿里云DevOps的闭环。”尹书威解释。 然而理想很丰满,现实很骨感,开发开源DevOps工具一波三折,最典型的两个问题是:各个开源DevOps工具的开发语言不同;另外一个是国内自动化观念的问题。 开发语言上的不同,体现在:Terraform和Packer是Golang,Ansible是Python,Chef是Ruby。挑战,不仅仅是要在短时间内掌握这些语言,也要掌握各个社区的编程规范、文档规范、TestCase规范。尹书威说,后者不能随心所欲,“因为回馈给社区是一定要符合他们的章法和套路。” 用户教育的问题是什么?是当这些工具与阿里云逐步集成后,尹书威想提供更多真实的Sample给用户使用,但在调研中发现虽然大家都知道“基础设施即代码”的词,但真正这样做的并不多。“有很大一部分用户是用了一些DevOps工具,但也只是解决临时性的问题,大家还是习惯性的用UI操作。”尹书威指出,这样就违背了IaC的原则,使基础设施的变动不可追溯、不可做版本管理、不可测试。 “比如想要修改资源Tag和Name,如果用IaC的理念,只需要修改两行代码,执行变更就可以自动更新这些资源,但用户却用了传统的手工方式:导出到Excel→在Excel上修改→再导回到列表中……这个过程需要更多的时间,不仅无法追溯更改之前的值是什么、也无法回滚。再举一个例子:想要在已有实例上挂载数据盘,如果用IaC的理念,只需要把磁盘的那个资源加上,执行下变更,可以快速自动的执行挂载数据盘。而很多用户的做法是做个临时的小工具,把所有要挂载的实例取出来,然后再执行挂载。虽然达到了效果,比纯手工操作要快,但已经违背了‘基础设施即代码’的理念,使基础设施和代码不对等,已经破坏了他们的完整性和一致性。” 我们在做一件伟大的事情 目前这个工具已经研发好,并且Terraform的代码已经纳入官方社区。由于“Alicloud”的字母优势,还排在Terraform官方文档和代码仓库的第一个位置。 尹书威的同事闫长海说:“以阿里云四大件产品为先导,迅速的覆盖了Packer、Terraform、Ansible三款工具的实施落地。得到了开源社区、开发者的一致认可。”这位同样也是阿里云高级专家的还指出,尹书威积极推进的Terraform跟阿里云商业合作,也进一步提升了阿里云在国际市场的占有率和在社区的影响力。” 但尹书威认为这只是迈出第一步,后面还有很长的路要走。对比海外的自动化程度:网络的搭建(VPC+Nat网关)全套代码搭建,以及SLB的监听也是用代码实现。她感叹到:“国内自动化教育任重而道远。” 但她并不气馁,觉得这也是机遇,并持续寻求改变:“通过海外的需求完善工具,再不断的反哺国内用户。”就此,她也呼吁到:“希望有更多的开发者一起加入到工具集成的开发中,使中国的自动化运维步伐再快些,加快国内自动化的Sense,使企业有更多的时间去创新。” “我和团队都认为我们在做一件伟大的事情,也许现在的效果还不明显,但一两年后自动化的理念被接受,并加以实施时,我们会感谢曾经努力的自己,也感谢在路上踩过坑的用户们。”尹书威坚信成功的那一天很快就会到来。 据悉,尹书威团队会在4月份持续将主流工具对阿里云的集成回馈到社区,包括Packer、Ansible、Chef、Jenkins等,造褔更多的运维/开发者。 传统运维人转型的最佳姿势 云计算给企业带来了便利,有无限可用的资源、基础设施硬件不用维护、负载均衡/网络/备份等都有成熟的方案,随时可扩容等。因此,在云计算领域浸淫七年之久的尹书威认为,未来运维将分为两个领域:应用运维和业务运维。 这对运维人员,也提出了更高的要求。除了需要了解各个云服务平台采用的不同技术、提供的不同云服务、不同的专业术语,运维人员也要知道怎样构建各个云计算平台的基础设施、部署、运维、监控等,以及各个应用对于云计算平台的最佳选择。 那传统运维人,该如何转型呢?尹书威的答案是“三从”。传统运维人要从Ops走向DevOps,从项目走向产品,从资源走向应用。 具体则落到两方面,一方面应该快速掌握各个云平台的自动化工具及云平台的能力,利用Dev手段管理云上的基础设施和应用,将开发、测试、预发、生产各个环境的自动化打通;另一方面则是理解和应用业务运维的能力,比如业务架构是什么样子、业务压力情况、用户访问规律、读写情况、Cache命令中率等,并结合云平台的特点及业务数据,优化运维的成本、效率,以及优化业务架构、业务模块的部署架构及对云资源需求。 她还指出,云上的自动化运维在以下四个方面是一定要做到的: 自动化:自动化你所能的一切,自动化比手工快得多。工具一旦被配置好,验证也是正确后,之后每次执行任务都不会出错; 方便迁移:运维的根本是要保证稳定和安全,但有时也要考虑成本,方便迁移的方案可以灵活选择适合自身业务的最合适的云平台; 将IaC进行到底:基础设施的变更也要通过代码维护。很多企业运维面临的两大问题:人员变动频繁、文档更新不及时。将IaC进行到底,不止是创建时自动化,变更、销毁也都通过代码维护,这样就可以将脚本做为基础设施的文档,可以做版本管理,每次的变更也都会有历史记录。 永恒的职责:“自动化、基础设施即代码”、“持续集成/测试”、“持续交付/部署”、“持续监控/反馈”。 快的那个,会被慢的拖死 “教主拥有超强的业务前瞻能力和驱动能力。”阿里云高级专家闫长海在一段文字中说到。而在另一面,尹书威也有很多纠结。 她说,前几年部门节奏比较快,可预见一年之后部门人员将呈现头部、中部、尾部较大的差距趋势。“到底是托着尾部的前进、还是头部快速跑?”尹书威踌躇万分。“后来想起小时候玩‘魂斗罗’的游戏,如果是两个人一起玩,快的那个是会被慢的拖死,后来决定是头部的快速前进。”她坦然,这个选择其实比较残酷。 接下来,她又深陷另外一个抉择:业务?还是技术?并在这里徘徊很久。因为前几年的行业软件让她感觉无限的“危机感”,对行业很了解,但却视野很窄。后来钻研了一段时间的技术,同样有“危机感”,因为又离市场很远。对于一个做技术的人来说相信很多人有这样的迷茫,但她最终决定以业务为方向,技术围绕业务做拓展。 现在,她最关注云上自动运维的各种开源工具,包括它们适合的运维场景、功能、如何开发扩展,以及多个工具组合的的最佳实践。比如Jekins2.0和Salt的结合、InfrastractorAsCode与PipelineAsCode的最佳实践等。并通过输入、实践、输出形成的闭环,快速掌握多方面的技术。 结束语: “人生是一种修行。”尹书威说,她没有任何宗教信仰,但却非常喜欢这句话。 “修行的道路上,没有失败者也没有成功者,只有一段又一段各式各样的人生,无论哪一段,都足够绚丽多彩、苦乐参半。” 不以物喜,不以己悲——也许正是这样的人生态度,才造就了今天自动化运维的大牛。
主题为“飞天·智能”的2017年云栖大会·深圳峰会,于3月27日至29日在广东深圳举行。 云计算不断扩充疆域的新产品,以及人工智能的最新应用,不仅让小伙伴惊叹阿里云的领先——在通往智能之路上越走越远,也让他们满腹焦虑:目不暇接地新产品,什么时候才能理清。 或许知道这是大家的“痛点”,所以知心的阿里云MM画了两张图,绝对能让你一眼看清,阿里云在2017年云栖大会·深圳峰会上究竟推出了啥。 喏,知心MM的爱心图在这:
4月20日20:00-21:30,一场别开生面的技术大会—— “运维/Devops在线技术峰会”将在线举办。从网络基础架构实践和演进,到同城容灾架构剖析;从如何稳定、安全的使用云数据库,到企业如何在云上安全加固最佳实践;从阿里云专家理解的DevOps,到如何构建一个通用化的智能运维平台……不仅一一告诉你云上的运维重点在哪、运维人应该如何思考,也手把手教你如何做。同时,对于处于转型中的企业,我们也邀请了有代表性的互联网公司来分享他们的亲身体验。 阿里云运维/Devops在线技术峰会官网:https://yq.aliyun.com/activity/188 峰会统一报名链接:https://yq.aliyun.com/webinar/join/167 阿里大数据SRE技术专家池枫说,他希望Tesla是一个创新、高效的自动化、智能化平台 池枫,阿里大数据SRE技术专家。2011年加入阿里巴巴大数据SRE团队,见证阿里大数据产品最快速的发展过程。先后负责阿里Hadoop、Hbase、Apsara、ODPS等产品运维, 全程负责大数据运维自动化体系建设。历时2年时间带领团队完成Tesla智能运维体系设计,开发,落地,进化历程。专注智能运维在大规模异构集群下的场景应用,专注业务运维与智能运维结合后的转型道路探求。 在4月20日20:00举行的运维/Devops在线技术峰会上,池枫将会分享《如何构建一个通用化的智能运维平台(Tesla)——大数据SRE实践》议题。为此云栖社区采访了这位在大数据SRE浸淫多年的技术专家。 以下是本次采访内容: 云栖社区:历时三年,你带领团队建设了Tesla智能运维体系,能聊聊什么是Tesla?为什么要建设它? 池枫:先回答为什么要建设Tesla,这个还要从2014说起,那个时期大数据在业界初露峥嵘,阿里巴巴内部大数据的业务也快速发展,产品种类,服务规模双双增长,并且产品的迭代周期极大缩短,各种异构的集群级大数据产品造成了多种多样的运维模式,给我们团队带来了相当大的压力,大家明显感到传统的运维方式,已经远不能满足快速的业务发展。如何破解,我们选择建设一个能够长期发展的自动化平台,这就是Tesla的由来。 什么是Tesla,我们希望它首先是一个创新、高效的自动化平台,还希望它是一个通过数据驱动由自动化向智能化转变的平台,借助Tesla体系的不断完善提升我们运维的价值。 云栖社区:Tesla开发过程中,有没有遇到什么困难,又是怎么解决的? 池枫:Tesla的建设过程对我们整个大数据SRE团队来说是一个非常巨大的机会和也是挑战。碰到的许多困难,最重要的一块就是团队内部产品研发的组织模式,换句话说我们对传统工具团队开发模式进行了优化,Tesla 分两部分的研发人员完成,一部分提供框架级别的服务开发,另一部分提供了业务逻辑实现的服务,我们摒弃了传统B2C模式,采用了C2C共享协作的开发模式共建我们的Tesla平台。这种方式使Tesla从无到有,从小到大,发展的速度大大加速,迭代的目标更加明确,质量控制更容易达成,也保证我们以现有的人力做到今天的规模的。 云栖社区:Tesla能解决哪些典型问题?哪些地方可能还需要继续完善? 池枫:Tesla 面向的场景都是最典型的的运维运营场景 ,我们产品几乎打通了所有关键的运维环节:例如应用环境管理 ,变更操作执行,需求智能处理,事件关联处理,故障分析诊断,运维数据挖掘。我们希望沉淀运维经验的决心非常坚决,因为我们认为这种沉淀好比是对运维的格式化存储,只有格式化的数据将来才能被机器所学习和挖掘,积累这样的数据的能力是智能化的关键。 所有我们正在建设的产品都仍然有很大的进步空间,尤其是与智能化相关的如:问题的分析、故障的预测、行动的决策,对我们来说仍然处在探索关键期,能够给与我们借鉴和帮助实践特别少,所以这块今年我们集中了团队中最优秀人员去整合我们运维、运营数据,期待在这块有突破性的成果。 云栖社区:目前Tesla内部的应用情况是? 池枫:Tesla目前服务所有的阿里大数据产品研发团队和运维团队。产品线覆盖ODPS ,HBase ,ADS,Galaxy,tt,datahub等集团核心的大数据产品,覆盖上十万级业务服务器规模,运营站点PV 5000+p/日,平台自动化事件:近百次/日,自动化时间近万分钟/日(此处的近万分钟是指单人顺序执行需要的耗时),是整个部门的运维工作的根基。 云栖社区:Tesla未来的发展计划是什么? 池枫:关于Tesla未来发展方向 ,近1年的思考中已经非常明确:就是成为更+的智能化。 我们不仅希望在Tesla上运维事务丝滑平顺,而且希望自然人对整个业务产品线的决策影响越来越少,所有的服务运行,更依赖于对格式化数据的分析驱动。具体到落地详细的计划,我们会分两个方向齐头并进,分别为“内和外”,对内我们强调数据仓库的完善,运维模型训练,借助内部海量的数据资源完成我们智慧化演进。对外 我们会借助大数据专有云项目的推进Tesla在私有云场景 的企业化支持能力,并且我们会在2017年完成Tesla核心子产品集成版本的开源目标,希望能推动运维智能化做一份贡献。 云栖社区:你认为一个完善的大数据运维自动化体系应该具备哪些特征?其工作中的重点、难点是什么? 池枫:“完善”的定义各有所见 ,我理解一个体系必须发源于其服务的业务产品,能够灵活适应“变”和快速的实现“通”。抽象不同产品中各种运维环节,具备层次化服务产品结构,能够连接 资源、事件,人各个维度的产品体系。 如何设计一个能够兼顾多种异构的大数据产品的运维平台体系是首先要解决的重点,另一个是人的因素,传统Ops需要转型,Ops+Dev+Data 人才的聚集是完成智能化运维的充要条件。 想和阿里大数据SRE专家池枫面对面技术交流?快拿起微信扫码吧! 池枫演讲提纲: 大数据SRE 运维产品的发展变迁; 智能运维产品体系理念; 分享核心套件的设计思路,使用场景及案例展示; 对自动运维生态的生态的展望。 听众收益: 复杂运维事务自动化沉淀方案。 智能运维模式的实践案例。 欢迎报名,聆听干货:https://yq.aliyun.com/webinar/join/167
本文作者为:阿里云研究中心刘云璐 对话苏州协鑫IT总经理周小栋 协鑫光伏坐落在环境优美的苏州工业园区,是全球领先的光伏材料制造商,硅片产品占国内流通硅片的70%,处于国内同行业龙头地位。在技术研发、品质控制、自动化升级等方面也都处于较高水平。 然而,阿里云研究院刘云璐从与协鑫光伏负责人的交谈中,感受更多的是踏实,谦逊和危机感,丝毫感觉不到身为行业领导者的优越感。如何提高效率,提升产品品质始终是他们放在肩上的责任,虽然通过多年对生产流程的优化,协鑫的生产效率和产品品质始终保持着行业领先,但他们渐渐感到以传统的方法,优化的空间越来越小。 对于追求卓越的协鑫人来说,生产品质提升的最后一公里要怎么走,这无疑是一个巨大的难题。苏州协鑫光伏总经理曾表示:“未来苏州协鑫的继续突破还是要靠新技术和新产品。” 大数据带来新契机 智能制造的兴起,将大数据分析引入到制造革命中。通过对生产数据的采集并上传云端,对数据进行实时和长期分析,可以对生产过程进行监控,分析生产流程中可优化的部分;监控影响产品质量的环节,对产品质量进行量化分析和提升;对设备情况进行预测,优化备本备件。 大数据分析为生产品质提升的最后一公里提供了路径,这让协鑫人看到了新的契机,2016年协鑫光伏正式与阿里云合作,希望通过云计算、大数据等新一代信息技术推动内部管理升级、进一步提高市场竞争力。此次合作的主要目标是透明化生产、数据化管理以及良品率提升。 具体包括:低成本长期保存协鑫生产过程所有数据;通过大数据分析,建立良品率预测模型;通过大数据分析,建立关键参数监控模型,对生产过程监控和报警;通过阿里云BI系统,对协鑫生产数据做多维度统计分析;通过阿里云大屏技术,建立车间和事业部生产大屏看板等多方面内容。 举例来说,在光伏切片的生产过程中,有数千个生产参数会影响到切片良品率,例如砂浆温度、砂浆密度等,任何一个变量的细微变化都会直接影响到生产结果。而通过阿里云的大数据分析算法,就可以对苏州协鑫生产过程中采集到的全部变量进行分析,找出与良品率最为相关的重要关键变量。 “根据这些关键变量为苏州协鑫搭建生产的参数监控模型,在生产过程中对这些变量进行分析处理,一旦变量超出模型范围,苏州协鑫的监测系统就会及时预警。” 经过项目一期的实施,实现了每年数千万的成本节省,小目标并不遥远。 背后的技术框架 协鑫光伏整体技术框架可以分为三大部分,车间源数据,大数据存储分析区,以及业务区,具体包括以下几方面: 数据上云 保障单车间15天全量数据批量上云;全车间切片机、分选机、MES数据准实时上云。 关键参数监控模型 通过大数据对全量参数的分析以及生产经验,提出待分析的关键参数,并建立监控的模型。 生产过程监控报警 生产过程数据流式上传,通过流计算实时监控。并基于监控模型,实现异常情况报警。 良品率预测 对影响良品的重要参数做多元统计分析,实现良品率的预测。 (此图片经特殊处理) 备件损耗分析 通过关联规则,聚类分析,深度学习等方法,监控相关参数,实现备件损耗提前预警。 大屏看板 设计实施每车间及事业部级的大屏看板,如下图所示为大屏看板的示意。 (此图片经特殊处理) BI分析 30个主题多维度统计分析,并支持自定义时间、参数,分析参数间数学相关性,如下图所示为BI分析示意图。 (此图片经特殊处理) 价值 随着中国制造行业整体从粗放式向节约化、精细化转变,很多产业也在从劳动密集型向资本技术密集型转移,新技术,尤其是大数据分析技术,成为支撑制造业改革的中坚力量。 协鑫光伏作为追求卓越的制造业企业代表,为同类企业转型升级摸索出了一条道路。大数据作为企业的重要资产,借助于云计算等新技术,可以实现企业的智能改造和升级,完成提升生产效率和产品品质的最后一公里。 对于已有能力获取工厂数据的企业,可以继续聚焦制造本身,而将大数据分析等工作找合适的云计算、大数据分析企业承担。协鑫与阿里云合作的模式可以直接复制,利用制造企业的生产经验,和云计算、大数据分析提供企业的稳定高效的大数据存储、分析能力,打造企业级数据分析平台。 追求卓越,超越自我,中国制造业在互联网、新技术的驱动下,已经开启了崭新的一章。 写在最后: 在3月29日的云栖大会深圳峰会上,云栖联盟和第一财经联合发布2016云栖奖名单,评选出九大“新技术时代影响中国的决策者”。九位获奖者如何将云计算与各行各业深度融合,推动产业的深层变革?为此,我们分别采访了他们,希望展示出深耕DT时代的丰富图景。 【深度】2020年业务峰值提前3年出现,中国邮政上云实战经验谈https://yq.aliyun.com/articles/72820 【深度】中信集团张波:信息化已经过去,数字化刚刚到来https://yq.aliyun.com/articles/72821 【深度】一条已经坚持了10年原则,是否能适应波司登“新零售”征程?https://yq.aliyun.com/articles/72822 【深度】小硅片与大数据的结合——协鑫光伏的新制造之路https://yq.aliyun.com/articles/72811 【深度】特步CIO唐坤军:特步上云,最难的地方是组织流程的调整https://yq.aliyun.com/articles/72807 【深度】饿了么四次技术进化的曲折路,记访谈张雪峰https://yq.aliyun.com/articles/72804 【深度】金鑫:基因应用现状解析及华大基因的数据平台架构https://yq.aliyun.com/articles/72831 【深度】丁国祥:吉利的数字化转型从云上起步https://yq.aliyun.com/articles/72832
“非一般的感觉”,听到这句口号,相信80、90后不仅充满熟悉感,很多人也都能在第一时间想起来这是特步的Slogan。 特步成立于2001年,2008年6月3日正式在港交所挂牌上市,是中国领先的体育用品企业之一。 在电商、消费升级冲击下,这家成立长达30年的企业,发展仍然迅速和稳健。数据显示,2015年,特步收入增长10.8%至人民币52.951亿元,总体毛利率上涨1.4个百分点至42.2%;2016年,特步有了更长足的发展,全国8个工厂业绩全线飘红,人均效能大幅提升,利润明显增长。 亮眼成绩的背后,是特步以消费者体验为核心的“3+”(互联网+、体育+和产品+)战略的功劳,而继续深挖,则会发现这是拥抱云计算、大数据等新技术,实现业务引领和创新,支撑企业战略变革的典型案例。 这家传统企业为何要拥抱云计算、大数据,在拥抱过程中都遇到了哪些挑战?又是如何解决的?接下来他们还会怎么做?特步CIO唐坤军在接受云栖社区采访时,一一作出解答。 传统架构下:业务变得越快,IT就越被动 在探讨特步为什么上云之前,先来看看特步的信息化发展情况。 特步的信息化分为三个阶段:IT萌芽、IT初级建设和IT大规模建设。 第一个阶段是2001年-2005年,这是特步的萌芽阶段,这个阶段对信息化的诉求不是很高,主要是品牌在创建阶段。产品研发,市场拓展是最关键阶段,企业要的是快!快意味着组织、流程都不是稳定状态,随时在变化,这是大部分品牌在初创阶段的特点,特步也不例外。 第二个阶段是2005年到2007年,每年都100%-200%的速度增长,特步对信息化已有要求,需要对渠道和终端进行有效管控,靠人海战术、靠制度、规定都没法支持企业快速发展需求。所以特步优先建设DRP/POS系统,并且在2004年集团也用上了一套简易ERP系统,虽然简易,但是把研发、采购、生产与财务做了一个非常好的协同和集成。这对特步以后的信息化发展打下了非常好的基础。第二个阶段中,由于发展太快,也出现了一些问题,特步开始做IT战略规划。这也是特步自成立以来的第一个大咨询项目! 2008年到2012年是特步IT建设的第三个阶段,也是IT建设高速发展的阶段,这个阶段不仅把整个规划全部完成,也对运营模式和IT架构进行了重构。对过去企业“跑马圈地”抢占市场到“稳定调整、有序发展”起到了很好支撑作用。 虽然这三个阶段支撑了特步的快速发展,但从2013年之后,传统制造业开始面临一个窘境。互联网的高速发展打破了传统商业模式,尤其是移动互联网的蓬勃发展,彻底改变了中国的零售生态。之前的分销(批发)模式已经满足不了当下的发展——不能迅速地把最好的产品推出来,送到消费者手上。另外,信息不对称被打破,消费者主权时代已经到来。传统的模式让品牌商对消费者无感知,不知道线下用户的消费习惯,使得用户走单,供应链出现大量库存积压,而厂商却依旧在不断生产滞销产品。 特步传统业务运营的带来的协同难度 “我们的IT无论怎样努力,都赶不上业务的变化速度。”唐坤军说,紧耦合下组织流程调整根本跟不上市场变化的节奏。传统渠道扩张、野蛮生长已经成为过去式,特步必须要通过IT技术解决运营效率低、高库存、高缺货的问题。“唐总基于自己对行业的理解,有一套非常好,且能满足全渠道、新零售的业务模式,但一直在寻觅一个平台能够支持自己的想法。”阿里云Aliware架构师古谦在接受采访时指出问题的关键。 为此,特步曾找过国内外不少大型软件商,但他们的架构都是基于传统的,都不能很好地响应未来的需求。唐坤军指出:“业务变得越快,业务做得越彻底的话,IT越被动、越累,传统IT架构大都是紧耦合模式,IT应用大都是基于批发模式来规划设计的。” 新零售下高度的协同和敏捷,老旧系统无法支持。 全渠道整体框架,新的全渠道IT架构规划,要求架构更加敏捷化、轻量化 在这个背景下,特步开始选择上云,用上阿里云Aliware。唐坤军说,这种纯SOA的架构,正好满足特步混合业务架构的模式。阿里云能真正的灵活快速响应业务,让特步从烟囱式解脱出来,同时也能把阿里共享服务的建设理念融入全渠道系统平台的项目中。 上云,最困难的地方是组织流程的调整 特步在云上分为三步走,首先是渠道上云,其次是设计和研发(工厂内部的制造数据)上云,最后是供应链上云。 在这个过程中,特步遇到很多挑战,一个是上云到底靠谱不靠谱,其次是组织、流程的调整。尤其是组织、流程的调整,组织和业务模式是紧密结合在一起的,对组织调整,就是对所有业务的利益进行再分配,这块的阻力最大。 为了应对上云中的困难,唐坤军使用以下几个方法: 1.集成整合:上云靠谱不靠谱,暂且先不谈,企业没有能力输出你的服务标准时,那么高度协同、生产型就是一个假话。唐坤军的做法是,从内心接受它,接受之后尽可能地产品化。“不论是私有云,还是公有云,做云的目的是场景化。要说给业务部门听。”唐坤军说,这样做是有效的。比如说,供应链系统有100多家合作伙伴,特步需要快速做进度的进程和品质整合,但小企业没有能力做大规模IT应用,大企业又有独立的系统,怎么整合?在云上,只要将业务场景化,合作伙伴直接使用服务即可。“和业务说清楚,我们想干吗,业务部门还是很支持的。”唐坤军说。 2.承上启下:传统中,也有好的业务流程和方法,可以把它承接过来。“比如说公司系统,并没有特别改造,只做了整合。”由于并不是把所有东西都给颠覆掉,业务上的阻力,某种程度上也减少了很多。 3.“潜移默化”:唐坤军会去拜访创新、变革比较成功的企业,尤其在互联网行业做的比较好的,比如宁波太平鸟、杭州快鱼服饰、东莞都市丽人、武汉良品铺子等。然后把别人的经验、方法传递给业务部门参考,有时候也会把对方人员找过来与特步相关人员进行交流。让互联网思想渗透到业务中,让大家对业务模式转型有一个比较深刻的认识。因为现在的商业模式变革,就是由于互联网的高速发展导致传统模式发生裂变,我们要让大家明白裂变的因果关系是什么,只有这样大家才能真正拥抱互联网+。同时,通过成功企业的创新、变革,让特步IT知道,外部趋势在变,内外环境在变,我们IT不变就是等死,而变或许就能踏出一条血路来。“就算做不好,至少还是个烈士”唐坤军打趣到。 除此之外,特步也遇到技术层面的问题——人员培养。云架构,相比传统的架构变化还是很大的,特步的技术人员需要提升,而这也是特步在上云过程中,为什么选择分步走的原因。 混合云之后,未来特步将全面上云 混合云融合了公有云和专有云,是云计算领域近年来一个发展方向。那特步为什么使用混合云架构?未来他们将怎么做? 唐坤军说,使用混合云有两个原因。第一个是制造、采购等业务改造规模较大,所以只能暂时选择使用混合云架构;第二个是担心前台掌握不透,导致开发、应用的时候,出现沟通效率问题,所以部分业务布置在机房里,机制成熟后,就会全面上云。 特步云总体架构模型 “不论是前端跟后端,产品设计、研发,还是渠道跟门店,未来特步将全面使用互联网架构。”这样成本会最低,代价会更小,也不用担心私有云和公有云切换之间的问题。 这也会让特步建成一个“五统一”的共享中心。什么是“五统一”?特步的五统一是订单统一、库存统一、结算统一、物流统一和会员统一。另外,共享中心未来还会共享多品牌、多用户、输出标准,满足业务一体化的需求。 “以前我们跟合作伙伴整合时,发现标准不一致,很痛苦。” 唐坤军说。当阿里云互联网架构全面应用时,能够让传统的线下业务和线上(电商、移动端)全面整合——这也是特步实践的新零售,线上和线下相互配合和支持,给用户提供最好的体验。 接下来还会用好两个技术:大数据和移动应用 这位在行业摸爬滚打多年的CIO在2016年杭州云栖大会上说,特步将会大力推动数据体系的建设与数据开发利用,让企业变革要以数据为支撑,用数据指导业务优化调整。 在接下来,特步还会用好两个技术:大数据和移动应用。特步的大数据平台刚起步,但企业内部对数据应用这块非常重视。对线下数据做全面的整合,真正能在产品规划、制造、服务上造就面向消费者的服务,让单子、设计规划越来越精细化。同时,也希望大数据的洞察分析,也能推到店面导购员身上,做精准营销等。移动技术上,特步走的比较快,内部应用有六七年:从最早的订货会系统移动化,到目前的OA办公、零售辅助系统超级导购、生产MES系统移动化。在战略合作层面,特步会将移动平台全部切换成钉钉,把职能管理业务、企业决策(业务报表体系)体系全部搬到钉钉上来,提升高效协同。 以此来彻底推动特步从“以订单为中心”往“以消费者为中心”转型,从“门店营销”向“全渠道营销”转型,从“流程型系统”转变为“数据型平台”。 经验分享:CIO对业务要有很强的洞察力 唐坤军在企业信息化领域是非常有声望的人,1995年,他就在台湾宝成的东莞裕元工作,这是阿迪全球最大的代工厂。2000年,他来到特步,开始启动特步的信息化规划和建设工作,成为特步信息化的创始人。2008年,吴联银博士加盟特步,在他们共同推动下,特步也成为SAP在中国第纺织服饰行业实施最经典案例。也是首批在中国建设HANA大数据平台的企业。 在采访中,他也和大家分享了自己在CIO岗位上感受蛮深的一点——CIO必须要对业务有很强的洞察力,对业务转型的理解要有一定的高度。 他说,现在的CIO不能只考虑技术、研究技术,如果对业务变化趋势不敏感的话,这个CIO会很快死掉。“当业务理解不深,规划出来的IT战略也会很快落伍。”唐坤军指出,业务部门快速变化的时候,IT会拖慢业务的变化。 最后的分享,或许也道出了特步为什么会有亮眼成绩的根本原因。 写在最后: 在3月29日的云栖大会深圳峰会上,云栖联盟和第一财经联合发布2016云栖奖名单,评选出九大“新技术时代影响中国的决策者”。九位获奖者如何将云计算与各行各业深度融合,推动产业的深层变革?为此,我们分别采访了他们,希望展示出深耕DT时代的丰富图景。 【深度】2020年业务峰值提前3年出现,中国邮政上云实战经验谈https://yq.aliyun.com/articles/72820 【深度】中信集团张波:信息化已经过去,数字化刚刚到来https://yq.aliyun.com/articles/72821 【深度】一条已经坚持了10年原则,是否能适应波司登“新零售”征程?https://yq.aliyun.com/articles/72822 【深度】小硅片与大数据的结合——协鑫光伏的新制造之路https://yq.aliyun.com/articles/72811 【深度】特步CIO唐坤军:特步上云,最难的地方是组织流程的调整https://yq.aliyun.com/articles/72807 【深度】饿了么四次技术进化的曲折路,记访谈张雪峰https://yq.aliyun.com/articles/72804 【深度】金鑫:基因应用现状解析及华大基因的数据平台架构https://yq.aliyun.com/articles/72831 【深度】丁国祥:吉利的数字化转型从云上起步https://yq.aliyun.com/articles/72832
近几个月,饿了么CTO张雪峰气定神闲了一些。如果把时间拨回两年前,你会发现他焦头烂额。 这并非夸张,张雪峰加入后,饿了么日订单从几十万增长到一百万,又从一百万增长到三百万,接着到2016年圣诞节的九百万。至今天,其订单量仅次于淘宝和滴滴,与美团不相上下。亮眼数字背后,张雪峰和他团队背负的技术压力可想而知。 业务突飞猛进的两年里,这位敢于挑战的技术人,做过很多尝试和努力,但他最终明白一件事:“如果完全靠自己去招人,不管用多大的代价,压力还是太大了,不仅成本居高不下,人肉堆积也未必理想。”面对云栖社区记者采访时,他指出,对于创业公司而言,时间更为宝贵。 饿了么CTO张雪峰 在一个阳光明媚的初春午后,他坐在西溪湿地内某栋楼的一个阳台,迎着太阳和记者讲述了饿了么的技术发展历程,以及他的一些思考。 1. 2014年秋天,张雪峰跟饿了么邂逅,那个时候他是饿了么联合创始人汪渊的技术顾问。2015年春节后,他正式加入饿了么,成为这家外卖平台的CTO。缘分开始之时,挑战也接憧而至。 两个维度: 业务:业务发展实在太快了,2014年5月份,饿了么接受大众点评D轮融资时,订单还只是刚有10W,但仅仅几个月后,饿了么订单就冲到了接近百万。“全网系统压力非常大。”张雪峰说,以前只在几十个城市有业务,而当时准备在两百多个城市上业务。 人才:2014年秋天,饿了么的技术团队大概只有35人,随着业务发展,当张雪峰入职时,人员已经翻到70多人。如果要扩充技术路线的话,挑战非常大。挑战并不在技术或技术架构上,而是在人上。“业务翻倍,人不能跟着一直翻倍吧?”更何况人才难招,这让张雪峰很是头疼。彼时,Python在国内基础设施和运维比较多,但做核心系统比较少,所以招人很难。 2015年那个夏天,他开始决定真正上云。当然在上云前,也做了很多尝试。比如,Python招不到人?那就分多路,使用Java和Go。另外,饿了么也有充裕的现金储备,所以在IDC上也加大了很多投入。 但问题的解决之道,并不是仅靠堆砌就可以解决。“不同技术路线及新技术不断引入后,要考虑全局复杂度”,但这还不是关键,在张雪峰看来,最关键的是饿了么的特殊性:“饿了么峰值压力很明显:集中在中午、晚上的前后三个小时,而且在高峰时,问题会不断放大。”他举了去年的一个例子,2016年5.17饿货节,饿了么峰值高达每秒1.5万笔,导致前几秒就把入口打爆而不得不进行限流(用户体验不好)。“特点很明显,峰值效应后就是一个陡峭的曲线。”他说,压力大的时候,会很大,其他时候则是闲置,全局资源利用率较低,不太划算。 于是他换了个思路,部分上云——IDC+云。促销、恶劣气候、特殊事件或季节效应时(用户在盛夏或寒冬时,点外卖最多),切换到云,用云挡住大部分流量。 上云,帮助张雪峰解决了大问题。之前饿了么部署在传统机房,虽然投入了很多,但安全防护非常弱。每天后台攻击流量高达几十G,尽管做了很多努力,但每天提心吊胆。饿了么有一半的故障都是DDOS导致的,每天都被攻击,每周都有一两次大的攻击。“而上云后,基本不用为这些攻击的事情担心了。”他说。 与此同时,上云也把饿了么的运维团队从体力活中部分解放出来。“IDC是体力活,云计算解放了运维团队,让他们有时间干更高级的活。”张雪峰极为推崇云原生(Cloud Native Application),他认为这是云时代的潮流趋势。“很多人说,云时代运维要无用武之地了,但我不这么看。云时代,运维可以更加Focus脑力活而不是体力活或大量重复工作。”他希望饿了么的团队,能够往这个方向努力并逐步转型,具备云时代的技术运营思维。 这次上云的尝试,也让张雪峰想明白一个道理:如果完全靠自己去招人,不管用多大的代价,压力还是太大了。他认为:“作为创业公司,时间对饿了么来说更为宝贵,尤其是我们还处在一个业务快速上升期。”这是饿了么愿意尝试借助外部力量的原因所在,而不仅仅是因为“开放的技术氛围,极客的技术精神”。 2. 回顾饿了么发展历程,你会发现,它经历过几次P0最严重事故:红包金额发放异常、支付完成状态异常、机房核心主备全挂。而压力最大的一次是,新浪微博在当天午餐高峰期的头条报道——饿了么点不了饭,快饿死了。 一语双关的头条,除了让全社会的目光聚焦在点不了饭上,也让人心中暗忖这家创业公司的技术力量,究竟能否长期稳定地支撑起业务的极速扩张。“买不了东西,只会抱怨两下,而钱上如果出问题(指支付状态完成异常,实际会原路径退回客人账户),一定会恐慌的。”张雪峰指出。 技术故障对公司而言,是危机,但对技术团队来说,也是成长契机。在饿了么身上,你会发现后者占了绝大部分。 有两点为证:一是饿了么系统对订单的承载能力飞速成熟,如开头提到,短短两年的时间,它的订单从几十万跃升到2016年圣诞节的九百万;二是, 谈及三次P0,饿了么CTO张雪峰并没藏着掖着,反而是与记者促膝长谈,话里行间全是对事故的反思和根源性讨论。 他说,三次P0的原因很简单,比如:支付状态完成异常那次,只是字段溢出,修复问题只用了30秒……而红包金额发放异常,从深层次来看,是当时的饿了么全网系统还没有建立统一的风控体系(有反欺诈模块)。 大部分技术架构问题背后,都和组织架构有关。随后一段时间,他开始调整组织架构。原来的风控是三级团队,现在独立出来,被提升为二级部门(一级为整个技术)。原来风控隶属于大数据部门,现在则会构建自己独立的数据模型与算法。职能上,只要被风控拦住的需求,一律先更新PRD,不允许直接开发。希望通过这些措施,构建起统一、专业的风控体系,最重要是做到两点:尽量提前发现问题、“守门(兜底)”。 “这几乎接近于尚方宝剑。” 张雪峰说,统一的风控建立后,一开始有点波折,一个是人员有波动,“另外是风控刚开始可能有点过激,动不动就是P0最高优先级需求。”张雪峰说,团队磨合了一段时间后,效果立马出来,尤其是基本遏制住了O2O领域的顽疾——刷单(用户端/商户端/配送端/ETC)。 3. 虽然饿了么在2015年就上了云,但当时的上云只是测试环境,非生产环境。那后来为什么灾备也选择上云,并进而开始做多活? 张雪峰解释说,上云后发现比他们想象的要复杂的多,也发现很多问题——IDC和云机房之间要拉光纤,很多事情需要配套。仅仅就这样吗——不轻不痒?进一步深挖则发现,让他下定决心在云上做多活是因为一次事故。 那次核心主备全挂,张雪峰的技术团队,只能干瞪眼。因为这是供应商设备Bug,“主”挂了后,“备”上线后也会自动触犯一个Bug。那时的张雪峰压力极大,但只能苦等厂商拿更高级的设备过来紧急替换。饿了么CEO张旭豪(Mark)当时比较宽容,还安慰他说:“这事急不了。” 事故让人反思,“虽然大家都知道两地三中心,但没真正吃过一次亏,就不信邪。”张雪峰发现一个机房也不可靠。并且,饿了么灾备前后也做了一年时间,前后断过几次。由于一些历史原因,饿了么当时的灾备建设并不以自动化为主,所以上灾备的(人肉)工作量非常大,而且灾备也没有发挥应有作用。于是饿了么决定进一步上云——做多活。 决定启动多活,还有一个重要原因是:通过单机房支撑饿了么全网业务的极速发展,已逐步显现容量瓶颈。 当时饿了么内部团队也有担心,完全上云后,运维是不是要转岗了? “原因很简单,因为IDC+云是能解决峰值的效益问题,但也引入了新的问题——混合模式下的运维复杂度成倍增加,这对人员的能力和数量提出了全新要求 。”但大家没有抵触,希望通过多活慢慢往云原生方向转变,适应云时代的趋势,让自己成长起来,最终具有云思维。 实施多活中,张雪峰面临很多挑战,比如数据一致性。饿了么的外卖和配送业务对时效性要求非常高,如果几秒没响应、状态没变,用户会很着急。“互联网、分布式系统最大的挑战就是CAP,很难同时满足一致性,又满足分区容忍度——这是淘宝没有面临的局面。” 张雪峰说,随着不断尝试,他们的解决方案目前正待生产逐步验证。 目前饿了么使用阿里云ECS、RDS、云盾、CDN等服务。它在阿里云上有几千个节点,为保证多活顺利切换,会进行多轮生产演练 。张雪峰说:“多活顺利的话,会在今年四五月份,划分不同时段和区域进行生产切换。” 这家外卖巨头多活的目标是几秒钟数据延迟,一分钟内完成所有切换。对于下一步,张雪峰称,如果一切顺利的话,他将会做一个能承担所有业务的一键部署单元。 “为什么?” “这样当容量出问题时,我只要在阿里云上开ezone(全网业务最小部署单元)就行了。”面朝午后太阳的他,脸转向笔者,直接又简单地补充到。 4. 2016年9月份,饿了么创始人、CEO张旭豪表示,引领外卖行业下半场不是靠执行力,而是要靠人工智能、数据分析等技术创新。而大数据、人工智能,张雪峰一直在布局。 今年1月份,有媒体报道,饿了么已同阿里云合作研发出人工智能ET新的调度引擎,并全面推行到外卖送餐领域。就实际来看,人工智能调度引擎优势体现在两点:全局的洞察和实时决策,落到三处:1.预估餐厅出餐时间;2.预估骑手送餐地等待时间;3.订单分配和路线规划。 为什么要和阿里云合作,张雪峰表示,仅靠饿了么自己做这件事不现实,需要更专业的团队来一起推动。 原因有两点: 数据太大了:饿了么创业团队主要来自交大,一开始他们自己做智能调度,但发现小看事情的难度了。“交易涨10倍,大数据可能会涨50-80倍。”张雪峰说,数据的压力太大,而且不划算,并且数据暴增之后,计算也是个问题。 模型的正确性很有难度:比如说特征工作,怎样从这些数据当中,发掘出特征?“挑战非常大。”, 张雪峰说:“这并不是来一位人工智能专家,就能把事做好。其中,有很多业务维度,有很多细节需要大量分析。”这要求对数据极度敏感,同时也要非常熟悉即时配送这样的非传统物流业务及产品形态。 于是,双方合作下的虚拟团队就成立了。团队包含三组,一组是物流工程团队,主要把算法模型成果做成应用;一组是饿了么大数据团队,提供一线的数据反馈与修正;另外一组是阿里云山景博士带的智能调度团队,在方向和专业性上提供帮助。其中,阿里云的作用主要是让效率上得到更大提升。“比如说,十个特征,饿了么要一一组合验证后,才能明确知道是否适用,而阿里云团队可以指出,这几个不用试了(ROI不高或死胡同),试别的。” 合作中,遇到很多挑战,最典型的是鱼和熊掌不可兼得。比如,出现异常情况,两个单都面临超时,保哪个单?金额最多的,还是新用户的单子?这些都是需要不断拿捏和思考的。投入使用后,张雪峰对于灰度测试的结果比较满意,认为可以取代人工调度:“一是省成本;二是机器出错的概率低;三是高效,以前一个配送员5个订单,后来7个,现在是9个订单。” 智能调度只是饿了么在大数据、人工智能上的一个应用方向,而在另外一个维度,张雪峰还将数据应用于业务的运营。健康度,这是饿了么在业务运营中提出的一个概念,强调全局最优。 “并不是说,商户上了饿了么就行了,一定要让商户觉得在饿了么平台有价值。”张雪峰希望通过数据和销售的经验,抽象出规律,让商户感受到,上饿了么平台的确能帮助到自己。比如说,让一个区域的几家奶茶店,分别盈利,实现共赢。 “饿了么是LBS,消费很密集,更应该去做精细化经营。淘宝头部效应很明显,我们是曲线很明显,Top 1000的店都未必占饿了么很大的份额,所以我们希望每个店都能在对应的区域做起来。” 餐饮店最难的是选址,张雪峰还希望通过数据知道:这个区域内,开什么店合适?或者说,这种类型的店最好就不要开了。另外,所有的生意都是有瓶劲的,数据也可以表明:是否适合做外卖?如果不符合商户的预期,到底是对利润期望过高,还是他的经营不好,亦或是已经到极限了? 接下来,饿了么还会利用技术尝试什么?张雪峰说,会去探索送餐机器人,也许是和阿里云合作效果不错,他又说:“以及和阿里合作智能客服。” 5. 采访中,张雪峰多次提及运维以及运维团队需要转型。笔者问为什么,他回复称:“这是他下一步重点考虑的事。” “业务涨两倍,人涨两倍是不健康的,应该是业务涨到一定阶段,人就是一个水平线,甚至往下降了,这才是最终努力的方向。”他说,云上有很多基础设施和API,更强调自动化,传统的互联网运维思维已经不行了。团队需要改变思维,去适应写程序解决问题。“希望我们团队能够转变思维,自动化水平就自然而然提上去了。”张雪峰认为,人的意识提升能推动饿了么基础设施向更高效的自动化方向前进。 另外,经过大半年努力,在2016年底,张雪峰也从硅谷请到了几位技术大神,分别以副总裁、高级总监等身份加入,负责饿了么大数据与人工智能、核心基础设施、模型算法策略等关键技术团队。有了这一批世界级专家,饿了么会加速进入下一个10x发展周期,不仅仅是技术上10x成长,也为技术及数据驱动业务10x发展奠定坚实基础。 回顾个人发展经历,张雪峰说,有两段经历很特别。一段是微软出来后的那次创业,一次是饿了么。对于前者,张雪峰评价到,如果不是这次历练,他不太会考虑加入一家创业公司。 从微软出来后,张雪峰跟着老板做教育,线下做的还好,但转到线上时却没有成功。这对他有一些触动,体现在安逸的环境到不可知环境后的思考。 在今天来看,就是很多人都在疑问到底要不要去创业公司赌一把。但在张雪峰眼中,是否去创业公司,应该思考以下几个问题: 是否热爱这件事,真的想去改变什么:张雪峰说,很多人创业只是因为在原来公司待的不爽或感觉创业很酷,于是意气用事创业或进创业公司。但这种不是发自内心热爱的行为,往往做不久。 经济上有没有太大压力:经济上有压力的坏处,体现在两个方面:一是压力会让你没法去热爱和干好这件事;二是,当经济上有压力时,去初创公司就变成赌,心态会变坏。 家庭支持:如果已经成家的话,家庭要支持你做这件事。 追求的事有没有高度:当有热爱,也没后顾之忧之后,你的追求有没有高度?张雪峰举例子到:“有了滴滴打车后,你继续做打车去死磕,这不是改变。有追求的改变,是利用技术去做新的东西。”他还指出,去创业公司千万不要想着一夜暴富,或经济上有多少的收益,这概率很低,因为大部分都是失败的。 在最后,张雪峰说:“我喜欢去做一些现有秩序解决不了,或者至少目前看不到解决的事。”他不喜欢提VR、AR和人工智能这些概念,“我喜欢想一些具体的事。” 从这来看,也不难明白——张雪峰为什么能带领饿了么技术团队,扛住业务快速发展带来的巨大挑战,完成四次进化:因为只有具体并落到细节,才能深入。 写在最后: 在3月29日的云栖大会深圳峰会上,云栖联盟和第一财经联合发布2016云栖奖名单,评选出九大“新技术时代影响中国的决策者”。九位获奖者如何将云计算与各行各业深度融合,推动产业的深层变革?为此,我们分别采访了他们,希望展示出深耕DT时代的丰富图景。 【深度】2020年业务峰值提前3年出现,中国邮政上云实战经验谈https://yq.aliyun.com/articles/72820 【深度】中信集团张波:信息化已经过去,数字化刚刚到来https://yq.aliyun.com/articles/72821 【深度】一条已经坚持了10年原则,是否能适应波司登“新零售”征程?https://yq.aliyun.com/articles/72822 【深度】小硅片与大数据的结合——协鑫光伏的新制造之路https://yq.aliyun.com/articles/72811 【深度】特步CIO唐坤军:特步上云,最难的地方是组织流程的调整https://yq.aliyun.com/articles/72807 【深度】饿了么四次技术进化的曲折路,记访谈张雪峰https://yq.aliyun.com/articles/72804 【深度】金鑫:基因应用现状解析及华大基因的数据平台架构https://yq.aliyun.com/articles/72831 【深度】丁国祥:吉利的数字化转型从云上起步https://yq.aliyun.com/articles/72832
策划、准备和等待了两个月,2017运维/Devops在线技术峰会直播的“正日子”终于来了。 怀着激动,以及期待大家有所得的心情,我们将和你一起度过这个难忘的“升级”之晚。 今晚的日程 当然,如果你现在还没报名,现在还来得及——这是大会官网,戳此进入报名 报名用户,可以在会后第一时间得到所有学习资料,包括全部视频和PPT。 以下是本次在线技术峰会的背景: 近几个月,运维事件频发。从“炉石数据被删”到“MongoDB遭黑客勒索”,从“Gitlab数据库被误删”到某家公司漏洞被组合攻击。这些事件,无一不在呐喊——做好运维工作的重要性。 然而,从传统IT部署到云,人肉运维已经是过去式,云上运维该怎么开展?尤其是云2.0时代,运维已经向全局化、流程化和精细化模式转变。与此同时,人工智能的发展,“威胁论”也随之袭来——运维是不是快要无用武之地了?如何去做更智能的活,当下很多运维人在不断思考和探寻答案。 在这个背景下,云栖社区组织了一场2017运维/Devops在线技术峰会。希望通过阿里云“高阶”工程师的一线经历,以及互联网浪潮上成功企业的升级之路,给大家带来收获。 运维人的升级,戳此开始 这场在4月20日晚20:00-21:30举办的在线技术峰会(大会官网戳此进入),干货将一次性释放。从网络基础架构实践和演进,到同城容灾架构剖析;从如何稳定、安全的使用云数据库,到企业如何在云上安全加固最佳实践;从阿里云专家理解的DevOps,到如何构建一个通用化的智能运维平台……不仅一一告诉你云上的运维重点在哪、运维人应该如何思考,也手把手教你如何做。同时,对于处于转型中的企业,我们也邀请了有代表性的互联网公司来分享他们的亲身体验。 目前,峰会讲师和议题已陆续曝光,详情如下: 1. 阿里云专家云登 主题:《云计算网络基础架构的实践和演进》 讲师介绍:阿里云高级技术专家,从事阿里云专有云网络架构设计、公共云平台架构演进。 演讲内容:网络作为云计算的重要基石之一,网络架构设计和演进是云计算发展的重要一环,架构涉及可靠性、性能、可扩展性等多方面内容。理论设计和实践碰撞到一起,能否经得住考验,网络设备的高级特性真的是银弹么?经典网络和VPC,混合云构建,打通云上和云下,曾经面临的问题是如何解决的? 听众收益: 了解VPC和云下传统数据中心互联的实践经验。 从实践的角度考量云计算网络基础架构设计的原则、演进方向,供大家讨论、借鉴、参考。 2.阿里AIS专家池枫 主题:《如何构建一个通用化的智能运维平台(Tesla)——大数据SRE实践》 讲师介绍:2011年加入阿里巴巴大数据SRE团队,见证阿里大数据产品最快速的发展过程。先后负责阿里Hadoop、Hbase、Apsara、ODPS等产品运维, 全程负责大数据运维自动化体系建设。历时2年时间带领团队完成Tesla智能运维体系设计,开发,落地,进化历程。专注智能运维在大规模异构集群下的场景应用,专注业务运维与智能运维结合后的转型道路探求。 演讲内容: 大数据SRE 运维产品的发展变迁; 智能运维产品体系理念; 分享核心套件的设计思路,使用场景及案例展示; 对自动运维生态的生态的展望。 听众收益: 复杂运维事务自动化沉淀方案。 智能运维模式的实践案例。 3.阿里云应用运维专家夸父 主题:《同城容灾架构剖析》 讲师介绍:阿里云应用运维专家、阿里云业务系统运维负责人,09年加入阿里巴巴后一直负责维护阿里云业务系统(官网、售卖系统、管控系统及生产系统等);有着丰富的应用运维方面经验,尤其对于架构、容灾及自动化方面有非常深入的研究。 演讲内容:是否具备机房级的容灾对于业务系统来说是至关重要的,否则一旦发生整个机房断网,那么客户将无法登入、openapi无法操作,售卖、管控、计量计费均会失败;尤其是如果发生火灾、地震等灾害导致数据丢失,应用可能需要花几十个小时甚至更长时间才能恢复,这对于今天阿里云的业务规模,将会是灾难性的也是无法接受的。本次演讲将带领大家了解整个项目的技术架构、运维部署、工具支撑、容灾演练等各方面,以便大家在设计系统的时候作为借鉴及参考。 听众收益: 学习同城容灾的技术架构及实现方法 了解到阿里云业务系统的架构 4.阿里云安全专家天公 主题:《企业上云安全加固最佳实践》 讲师介绍:阿里云安全专家,目前主要负责阿里云云平台安全,先后参与过聚石塔安全、专有云安全、以及阿里集团内部应用上云的安全建设工作。 演讲内容:介绍阿里集团内部应用上云的安全加固、安全监控等防御体系,为一般客户的系统上云提供安全实践参考。 听众收益: 了解阿里集团内部应用上云的安全加固实践 云产品使用的安全加固方案 5.阿里云数据库技术组技术专家喜乐 主题:《如何稳定、安全的使用云数据库》 讲师介绍:阿里云数据库技术组技术专家,一直从事数据库管控系统架构设计,研发工作。 演讲内容:本次演讲向大家介绍云数据库的选型,架构选择的方法,在使用云数据库时最需要关注的有哪些基本面,比如:可运维时间段如何设置,在可运维时间里后台同学可能对实例做哪些操作,对用户的实例有什么影响等等。 听众收益:大家能够通过这次分享获得基本的云数据库使用知识,更加安全,可靠,稳定的使用数据库,为用户的数据库系统保驾护航。 6.阿里云平台研发高级专家连铭 主题:《阿里云专家理解的DevOPS!》 讲师介绍:08年加入阿里巴巴,辗转多个团队从事DevOPS相关工作,现在在阿里云平台服务团队中带领平台研发团队,从事基础平台建设,数据化运维等相关工作。 演讲内容:DevOps的概念近几年突然变的大红大紫,但是DevOps究竟是什么,每个人却有各自的说法。本次演讲从务虚的角度上剖析DevOps,以及DevOps和传统模式的差异,实践的重点和难点所在,希望大家听过以后有所收获。 听众收益: 对DevOps的理解更加深入 对DevOps的实践方式有所收获 7.饿了么运维负责人程炎岭 主题:《饿了么Redis Cluster集群化演进》 讲师介绍:饿了么Data Arch Leader,拥有10年Oracle、MySQL、Nosql数据库领域经验,以及金融、互联网背景。15年加入饿了么,负责数据库规划、治理、容量、架构和SQL优化方面工作。 演讲内容:介绍eleme Redis如何从单节点/twenproxy 演进到数百套Redis cluster集群、1w+节点、近4T数据的规模,以及我们做了什么,将来还要做什么。 听众收益: Redis cluster 有哪些弊端,为什么需要自研proxy 大规模Redis cluster下的治理工作 Redis cluster的运维需要具备哪些条件 8. 阿里云高级专家黎山 主题:《如何利用开源DevOps工具完成云上的自动运维》 讲师介绍:尹书威(花名:黎山),阿里云高级专家,负责过阿里云主要产品线的管控系统,带领团队完成管控系统的服务化改造。目前主要负责开源DevOps工具与阿里云的集成, 专注通过主流开源高效的自动化工具提高云上运维/开发的便利性。 演讲内容: 自动编排工具Terraform/自动生成自定义镜像Packer的介绍和基本命令。 如何通过Terraform一键创建多台ECS、挂载SLB、创建VPC网络、RDS,如何更新/销毁资源,充分理解InfrastratorAsCode的理念。 结合CLI简化Terraform模板编写方法。 利用Packer创建自定义镜像,弹性伸缩+Packer的最佳实践,Packer+Terraform从生成镜像到资源创建的自动化管理。 听众收益: 充分理解 DevOps的原则“基础设施及代码 高于 手工配置”和“自动化 高于 手工” 的最佳实践,充分了解IaC的理念、云上自动化运维的正确姿势,充分了解自动化运维工具带给我们的便利性和高效率,告别手工操作的无趣、缓慢、无法审计、无法做版本管理的DevOps方式。 2016年云栖社区精心出品的在线峰会: 阿里巴巴在线技术峰会:https://yq.aliyun.com/topic/52 蚂蚁金服&阿里云在线金融技术峰会:https://yq.aliyun.com/topic/59 大流量高并发互联网应用实践在线峰会:https://yq.aliyun.com/topic/64 2016双11技术创新在线论坛:https://yq.aliyun.com/topic/74 2017在线技术峰会之红包背后的技术:https://yq.aliyun.com/activity/151 2017在线技术峰会——“阿里开源项目最佳实践”:https://yq.aliyun.com/activity/155 票选最美云上大数据暨大数据技术峰会:https://yq.aliyun.com/activity/156
最近的杨成立,幸福感有点满,他自谦地说:“终于可以不用装大神了。” 杨成立是阿里云CDN的高级技术专家。对于他,Tengine开源项目发起人、阿里巴巴集团开源委员会成员叔度评论称,成立是撸代码大神。似乎嫌这样的形容力度还不够,叔度又在结尾重点补充:“他是一个纯粹的技术人。” 2007年毕业,到今年正好是杨成立工作的第10个年头,但他却写了12年代码。在这12年里,他做过2年C#和ASP.NET、1年C++程序员,而后外包到微软做了1年测试。“软件最终是要解决问题,而对于业务的熟悉,再加上编程的能力,才能创造大价值。”这份思考和认识,让他接下来在流媒体行业沉淀7年。 这7年,贴给他的标签——除了前观止云CTO外,还有SRS大神。SRS(Simple Rtmp Server)是基于MIT协议的开源流媒体服务器项目,由杨成立发起并维护。谈到这段经历,已经来到阿里云的杨成立轻描淡写地说,他只是写了一个非常简单的RTMP功能,并利用业务时间维护下而已。“和阿里的牛人相比,却是名不副实的空帽子大神。”他说,“哪个更实在这很明显。” 杨成立说,十年前他就立志于工业级大规模软件系统的研发 莎士比亚在《特洛伊罗斯与克瑞西达》中说:“一个人看不见自己的美貌,他的美貌只能反映在别人的眼里。”杨成立究竟是怎样的一个人?云栖社区就此采访了这位阿里云的技术人,将他的经历呈现于各位眼中。 “我想象有个键盘,然后学会了盲打” “我想做点有用的事情,所以从小就想怎么能独立养活自己。”谈及与计算机结缘的经历,杨成立用这句话做了开头,他说:“我是个穷小子,来自一个很穷的农村。” 高中时,他接触到了计算机——尽管2002年,学校教学用的还是DOS机,但仍然让他眼前一亮。敲一敲就能打出字,程序能按照自己的想法算出点什么,更为关键的是编程只依赖于自己的脑力……自此,杨成立在心中认定计算机会非常有用。并且在没有键盘的情况下,他想象有个键盘,并学会了盲打。 填志愿时,他毫不犹豫地选了自动化——这位高三学生认为用计算机控制机器,用处会更大。然而想法和实际总是有差距,到了大学才发现,自动化专业只是在大二会教计算机课程。 杨成立非常迷恋编程,后面他选择自学。自学的成效,在毕业设计时体现。“用C语言写一个简单的学生管理系统,老师给了2周上机,我用了3天左右写完,剩下的时间就是部分同学抄我代码。”他还分享了一个细节,“记得因为实现一个链表存学生信息,把Next指针直接用Fwrite写磁盘去了,读取时直接读出来,所以那个指针有时候好有时候坏,程序有时候会崩。”后来搞清楚了,他对C语言的指针有了深刻的理解。 大二那年,他有了自己的电脑——第一个属于他的“它”。这份记忆很清晰——3000元、CRT显示器、赛扬1GHZ、512MB。杨成立说,有钱的同学都开始上液晶了,但他不能那么奢侈,因为农民老爸挣点钱不容易。这份珍惜不止如此,“每次看着电脑,要是没有努力用好它,我就很有负罪感。”除了C语言,杨成立还自学了C++、Photoshop、Dreamweaver以及一个古老写网页的IDE,也开始着迷OO(ObjectOriented)思想——那个时候,他什么都是往00上想一想。 在大二下学期,他获得实践的机会。他鼓足勇气去应聘时,还很担心。旁边面试的同学被问到“C++和C的区别是什么”,当听到“C++还没有C好”时,他心中一阵窃喜:“对手是这个水平,有戏!” 在勤工助学中心,他主要负责学校网站,有时也承接外面的网站项目。时隔12年,杨成立还记得负责中勤在线的那位老师名字——欧旭理。在采访中,这位纯粹的技术人用了“伟大”一词形容这位老师,似乎想传递自己的感激之情。之所以如此感激,在笔者看来,除了很多宝贵收获外,还有在进入中勤在线后,杨成立终于实现了养活自己的目标。 中南大学南校区有个荷花池,旁边有桂花树和石桌。杨成立说,大学最美好的回忆就是:“花着中勤在线发的零花钱,九月桂花飘香,在荷花池旁的石桌旁,一点点的翻着经典的软件书籍,享受着作者所享受过的软件过程。”这一切,妙不可言。 “一开始应把基础打牢,而不是找最熟悉的领域多赚几块钱” C++和C之外,大学期间杨成立还实践了C#,以及看了很多书。 看书,他都是跟着每个例子,一行一行代码反反复复的敲,如果没有弄懂就再看一遍。“比如《MFC深入浅出》,这本书比较难懂,也很厚,结果被我翻得更厚了。”杨成立说,这本书对于理解虚函数非常的有用,因为MFC里面大量的虚函数;同时对于框架的概念,也开拓了他的视野——一般比应用软件大的就是框架,比框架大的就是系统。 编程之外,他也看软件工程的书,譬如《设计模式》、《软件工程》和《人月神话》。这三本书,他的收获是:《设计模式》分享了解决某些通用问题的最佳路径经验;《软件工程》让他知道软件行业大规模软件用瀑布是怎么死的…等;《人月神话》让他学到不仅仅是“人月不可互换”这句话,也还有对于软件规模的本质分析——问题在哪,出路在哪。 毕业时,杨成立已经有10万行代码经验,而且非常擅长ASP.NET和C#。但他不想找一个C#的工作。“我很熟悉C#了,为何要找个C#的工作?”他觉得应该把基础打牢固,而不是找自己最熟悉的工作多赚几块钱。他想找C++的工作,因为高性能服务器和计算领域,都是C和C++。 在做了一年C++后,他又做了一年测试。去做测试,主要是他在毕业时看了TDD相关的书,认识到了测试对高质量代码的重要性,“编程能力和测试都是非常重要的。” 很享受客户惊讶的表情 “软件最终是要解决问题,而对于业务的熟悉,再加上编程的能力,才能创造比较大价值。” 到了毕业的第三个年头,杨成立决定选一个行业沉下来。 2010年互联网流媒体开始兴起,他来到了做网络电视台的浪弯。一开始从Flash播放器做起,Flash是Actionscript,他没接触过,但他很淡定:“没有用过,学就好了,难道能比C++还难么?!”当时浪弯有七八个播放器,一个客户就用一个(定制个功能就拷贝一份代码)。花了6个月时间杨成立调研了OSMF和FlowPlayer,选了Adobe的OSMF框架做播放器,所有客户都用一个播放器,用不同的皮肤和控制器。这些对他而言不难,因为MFC框架比这个要解决的问题多太多了,通过分层就能解决定制化的问题。活干完后的结果是,老板很满意,而杨成立也算入行了。 浪弯的视频文件转码系统质量很差,画面没有竞争对手的清楚,负责项目的同事离职了,老板问杨成立能不能接。彼时的杨成立,连IPB帧都搞不清楚,FFMPEG是什么也不知道,但他不觉得有什么好怕的——不懂可以学嘛。 杨成立除了解决编码质量的问题外,还尝试用Python调用FFMPEG命令,先将视频转码成YUV不压缩,这样对比两个不同的转码参数对于转码质量的影响。参数有很多,每一组参数的效果要隔一定的时间才能知道。经过一个多月的煎熬,用脚本对比解码后的文件大小,读取FFMPEG的输出参数,最后还是没有结果。杨成立决心在这个行业了,所以他没有放弃。这时,他记起PPS的师弟说X264那些默认的Preset非常好用。死马当活马医,调试X264的参数,问题解决。 迈过这个大门槛,杨成立信心大增。解决了质量问题,还需要解决速度问题。当时转码系统设计成切片转码,把大文件切成小片,然后分发到集群各个机器转码,然后再合并,这对于某个文件能达到非常高的倍速转码。对杨成立的挑战是,需要学习FFMPEG的API,了解编解码的基础知识,并和团队的编解码高手一起实现多倍速转码系统。过程很复杂,不同的策略会导致不同的结果,架构也调整了很多次。譬如把音频分离出来,单独转,只是对视频切片。 经过1年左右的调整,终于可以在客户那边开卖了。“当时客户看着我们一个2小时的文件,2分钟就转完时,他们真的好惊讶。”杨成立说,他很享受这个惊讶的表情。 客服高呼研发万岁 2012年,杨成立来到蓝汛,这时RTMP直播,也开始流行起来。 当时蓝汛用的是Adobe的FMS/AMS服务器,每年得付不少的License费用,而且随着客户量的增长,要付的费用越来越高。更重要的是,FMS/AMS没有源代码,也没有提供集成和定制服务。譬如计费就只能解析FMS的日志,这个日志本身不是用来计费的,所以有时候会出现5Gbps的流量。那时候CDN的机房都是千兆网跑满也不过1Gbps,肯定是个Bug。 于是,计费系统就和流媒体组商量好,如果超过1Gbps就算是异常日志,丢弃。然而蓝汛自己RTMP服务器上线时,单台服务器超过了1.5Gbps(一台双网卡服务器),结果就没有计费,免费给客户服务了。除了计费,出了问题也无法排查,只是知道连不上,推流失败,播放失败,不知道为什么,FMS的日志也没有任何信息。蓝汛只好自己研发RTMP流媒体服务器。 流媒体服务器一方面是服务器,一方面是流媒体。杨成立从epoll和select开始看起,学习nginx如何处理连接;看rtmpdump如何处理RTMP连接。那时候RTMP协议已经公开,对照着协议看。三个月的实习期后,他给出了可行性报告,又过了三个月RTMP源站服务器做好了。当实现RTMP边缘时,杨成立发现nginx这种epoll异步处理机制处理RTMP这种复杂协议非常麻烦,每个包都是一个状态变更,特别是需要回源时,这个状态会呈指数增长,多到无法处理。后来研发负责人引荐了当时北美的架构师Michael,一个经验丰富的老程序员,五十多岁还在写代码。杨成立说:“那时我的英语听力很差,只知道他提到要么分割状态把小状态组合成大状态,要么就用setjmp和longjmp实现类似线程的机制——我也写了7年代码了,竟然不知道还有setjmp和longjmp。”于是,他赶紧补课,看ST(StateThreads)这个库的代码,学习怎么用,看setjmp和longjmp,以及coroutine、Golang,事后他感叹到,原来程序的世界还有这么个世外桃源。 杨成立思考,Golang最关键的是goroutine,和ST就非常像。不过ST是解决网络IO问题,在服务器领域用的。而GOLANG是在语言级别,解决所有的通用问题。协程可以简单看成“不用加锁的线程”,因为没有锁所以不用等待,没有竞争条件所以不用小心锁这个锁那个;之前代码上很容易有很多状态需要一起处理,现在就是几个if-else直接搞定。“如果可以用多线程,你的程序会如何写?”,对于服务器来说,会简单太多(如果还不用考虑锁的话)。而对于云计算,大部分程序都是服务性质的,需要在各个连接之间切换,这就是为何Golang在云计算中大行其道的一个原因。于是,他果断把蓝汛的服务器改变架构,从epoll异步状态机,换成ST的,两周之后边缘服务器就发布了,非常非常惊人的速度,他说连自己都吓到了。 上线后,各种问题来了,短则半小时,长则一周,还好Bug都能找到原因,那时候杨成立每天嘴巴里都长着溃疡,压力太大了。在所有Bug中,有一个令他记忆犹新。一个月都找不到原因,每隔三五天就崩溃一次,从coredump也看不出来什么原因,堆栈信息都没有。在一个月之后某天,突然灵光一闪可能是metadata释放后被重用了,野指针的问题,果然顺利重现挖出了这个大bug。 在加入蓝汛仅8个月时间,就上线了服务器1.0版本。2012年底,杨成立成为蓝汛的优秀员工。后续就是各种优化和解决问题,以前排查不了的问题,现在都是清清楚楚知道哪里有问题,大部分服务器直接兼容客户的编码器或播放器,客户只需要再推流就可以接入。但也有特别的,“记得有一次有个客户的编码器很奇特,所有CDN都接入不了,客户嚷嚷着要切其他CDN,我们客服自信的说蓝汛解决不了的问题,别的CDN也解决不了,结果蓝汛最先兼容他的编码器。”杨成立清晰地记得,他们的客服因此高呼研发万岁。 一年之后上线2.0,所有RTMP边缘都换成了蓝汛自己的服务器。这是杨成立做过规模最大的一个系统,部署在CDN全国各地的机房,跑在很多台服务器上,7X24提供服务。 蓝汛的这段经历,让杨成立获得很多启发,他发现技术是山外有山,人外有人,必须要不断地学习、进步,并多交流。“有时候大神一句话,得自己摸索好几年。”也正是CDN的这段经历,让他看到了云计算广泛的市场,那是一个可以用得上工业级大规模系统的地方。 补上技术拼图的最后一块 从C、C++、C#、SQL、JS、Golang到Python,从软件工程的知识和应用到TDD和测试,再到视频行业的播放器、FFMPEG、服务器等,杨成立似乎在完成一个技术拼图,而这块拼图还差一块——团队管理。所以杨成立接下来选择去了观止云,一个需要带领团队完成目标的工作机会。 在蓝汛每天考虑的都是服务器问题和技术,虽然在团队管理上得到了蓝汛VP付亮的大量指导,但是管理的实践机会太少了;而在观止每天考虑的是团队该怎么带,开始定考核晋升制度、选拔干部、培训程序员,CR代码。 当然杨成立也在不断学习,比如AngularJS、BOOTSTRAP、Golang等。“每一门技术都有特殊的背景,想要解决的问题,还有思考问题的方式,表面看是一门语言或技术,但是只要是因为新的业务或者应用场景而诞生,背后的思维方式就会改变。”他进一步解释到,譬如C对比汇编,C++等对比C,GOLANG对比C++,JS和H5,都是完全不同的思考方式和应用场景。 他说,在观止云的管理经历,主要是转换了思路,以前考虑问题总是从技术牛逼不牛逼,门槛有多高,自己怎么解决问题来想。当成为管理者,考虑的有时候是值得不值得,市场是否能接受,是否有替代方案,现有的方案开源的方案如何实现,什么才是最佳的路径达到目标,如何统一团队的目标和每个成员的目标等。 在观止云,他还领导团队和又拍云搭建直播CDN。回顾这段经历的艰难险阻,他说,主要的阻力不是技术上的,而是又拍的业务团队和观止云的研发团队两个团队的合作问题。譬如又拍没有流媒体的经验,而又拍的直播CDN需要和现有业务系统对接;譬如又拍有空间和服务的概念,而流媒体是没有的,流媒体就是域名。因此,业务上的变更也导致对接结构有变更,甚至分发的架构也调整过几次。但后面经过一次培训后,以及差不多一年的磨合,这些问题都解决了,顺利接入客户。最后的结果是:又拍直播的指标,特别是HLS+的指标,在业内是最好的。 写SRS是意外,只是好玩而已 杨成立在SRS领域很有名,被称为SRS大神。对于SRS,杨成立首先指出,SRS是Simple RTMP Server,不是蓝汛的那个服务器。 之所以写SRS,主要是他在和蓝汛的同事交接工作时,因为之前的服务器功能非常多,有些没有用到,比较复杂且难懂。再加上在观止也不做服务器,于是就写了个Simple RTMP Server给蓝汛的同事看。这是一个非常简单的RTMP的功能,后面他也只是利用业余时间维护SRS。 正面SRS,杨成立说其实是个意外,没有大的梦想,没有宏伟的计划,只不过是好玩而已。但直播这股风在2014,特别是2015年达到顶峰,关注SRS的越来越多,所以SRS在直播领域的影响力越来越大。 与此同时,SRS也成了杨成立展示自己想法的平台。譬如软件的概念完整性和一致性,杨成立称,这是非常虚的事情,但是在OOAD中是一个重要强调的理念,也就是提高软件的概念完整性。“我有个ISSUE专门收集破坏概念完整性的情况,譬如HLS应该只在源站出,在边缘出没有意义,边缘需要RTMP访问才能有HLS,这个就是概念完整性性。HLS的功能应该只在源站有,加在边缘就破坏了概念的完整性,这个HLS在边缘是个残废的功能,是不完整的,不可用的。”他举例到,譬如TDD,SRS会有UTEST,不过在这个方面做的还不够,可以有机会展示TDD该怎么做,有什么好处。譬如产品的规划,对于功能的审慎,简化业务,这些都是产品研发中比较重要的理念,如果有一个开源项目,就可以一直探索和实践这些理念,不断的积累。 杨成立说,这些理念最终会呈现在大家面前,无处不在,最终体现在WIKI和ISSUE中。“譬如我发现很多朋友虽然不用SRS,用的是NGINX(譬如阿里云CDN),但是也非常关注SRS,把SRS的WIKI过一遍。因为SRS那些问题都是归档的,概念的变更,遇到的问题都在ISSUE中列出来,这些问题就算不用SRS,用NGINX也一样会碰到。 喜欢身边的人比自己牛 杨成立说,十年前他就立志于工业级大规模软件系统的研发。正是这样的想法,让他从浪弯到了蓝汛,又从蓝汛到了观止云,接着又来到阿里云。 他说,从浪弯的规模上来说,Flash播放器和转码集群都比较小,十几台转码机器的集群算很大的了,离工业级大规模集群的目标相差太远了。到了蓝汛,蓝汛流媒体集群和SRS服务器,是他做过应用最大规模的两个系统。但看到云计算广泛的市场后,他才发现那才会是用得上工业级大规模系统的地方。 今年2月份,杨成立于是来到了阿里云。来阿里云有两个主要原因。一是上面说的,阿里云机会有很多——因为它的规模、客户足够大,难题也足够多。第二个是叔度的一句话打动了他,杨成立还记得这段对话:“我不想去阿里还做SRS,想做点其他不会的,但是这又不会马上给阿里创造效益,怎么办?”叔度回应称,阿里云主要看人,原意给机会尝试,给时间打磨产品,用人的潜力而不仅仅是能力。“用人的潜力而不仅仅是能力。——也是这瞬间,阿里在我心中的份量变得非常高。”基于这些考虑,杨成立毫不犹豫的选择了阿里云,尽管阿里给出的offer待遇不是最高的。 阿里云HR衣航对杨成立的印象非常深刻,他说杨成立是个挺单纯的技术人,对收益各方面不是很在意:“当初跟他聊时说,最打动他加入阿里的是现在的CDN团队牛人很多,他喜欢身边的人比自己牛,有团队的感觉。” 衣航也透露,另一个打动杨成立的地方是阿里云所倡导的白胡子工程师的概念。 回顾面试过程,杨成立说,3轮技术面试,对阿里技术水平有了一个感觉,入职后越了解越觉得阿里工程师文化很好,水平很高。这让他对于大规模系统有了新的认识:大规模业务才能产生大规模系统,以此循环,而反过来却不成立。另外,这位SRS大神也感受到阿里云对于招人的严格,他认为这是非常正确的做法——不拉低团队的水平。物以类聚,聚集一万个参差不齐的程序员,不如聚集十个水平都很厉害的高手,因为高手过招水平会更高,反之只会越来越低。 来到阿里后,杨成立发现阿里的牛人比传说中的要多,幸福感满满的。他说:“终于可以不用装大神了,在阿里我是个小兵——是每天快速学习和成长的小兵。”他谦虚地指出,在SRS圈子我可能是大神,但是却是名不副实空有个大帽子的大神,哪个更实在是很明显的。 当笔者问到他在阿里云接下来的工作,杨成立说,暂时还不清楚,只是知道那一定是他暂时做不到的工作。为什么是这样?这位阿里云技术专家称,借着直播的东风,在流媒体圈子里的他的确是有了点名气,但对于他而言,并不觉得自己现在已经是技术巅峰,相反,还觉得离自己的目标非常的远。“我希望看到更多的可能,能做自己不会的事情。”而不是再次重复一遍搭建一个直播的CDN,他觉得这是在浪费“绳”命。 花名“忘篱”,他说是为了鞭策自己不傲娇 杨成立说,他非常热爱写代码,所以记性和鱼差不多。 鱼的记忆很差,有一句广为流传的话说,鱼的记忆只有7秒。但令我们疑惑的是,热爱代码和记忆差之间,似乎并没有什么因果关系。杨成立并没有直接给出答案,但解答却在他回忆的叙述中。 最直接的,或许就是他在大三一次“忘记”考试的经历。杨成立说:“还记得考试那天,我正好在学校的中勤在线写代码,把考试完全给忘记了。过了一半的时间,突然想起来今天好像是数据结构的考试!赶紧飞奔过去,还好老师让我继续考试了,三下五除二考试完了继续回去写代码。”他说,记性大约就从那个时候开始,越来越差了。 而这也是杨成立在阿里云花名的渊源,他的花名是“忘篱”——出门忘记关篱笆。 “如果在遥远的古代,我想大约每次出门,都会忘记关篱笆吧?”当然,这只是字面上的解读,他进一步解读:“严肃的说,实际上‘忘篱’是英文Winlin的中文发音,也就是Windows+Linux两个非常普及系统的名称缩写。”杨成立认为,这两系统在软件行业有着非常了不起的成就,所以他造了一个单词Winlin做英文名。 “希望我时时刻刻不要忘记,要不断努力,不能傲娇。因为自己的成绩离Windows和Linux还差很远。” 结束语: 在采访最后,笔者也想起他说的两件事: 一件是他谈及国内和国外在流媒体领域的差距。他说,技术上的差距本质是人的问题。国外重视标准,提出各种协议、做各种开源,而不仅仅是做出来一个东西,而更希望是成为标准、互利互惠,减少重复劳动——这是人素质的差距。 第二件是他的爱好。他非常喜欢维护SRS的微信公众号。他觉得这能解决人的问题,一个消息发布出去,几百人收到后能有提升,最终是整个行业人员水平的提升。 而解决人的问题,也是《人月神话》最核心的思想。 想定时阅读更多好文章,请关注微博@阿里云云栖社区
导语:上周,国际奥林匹克委员会与阿里巴巴集团在瑞士达沃斯联合宣布,阿里巴巴成为“云服务”及“电子商务平台服务”的官方合作伙伴,以及奥林匹克频道的创始合作伙伴,双方达成期限直至2028年的长期合作。 阿里云能为奥运会提供哪些一流的云计算和人工智能技术?下面这张图或能给你答案。 2017阿里云150款产品和解决方案全向图新春版,点击图片可以直接下载打印高清版 聊完奥运,我们这里再聊聊做这张全向图新春版的初衷。 在过去的一年,阿里云保持快速发展,继续巩固领先地位。 这种领先,可以从以下几个角度端倪得出: 先是在1月,阿里云发布数加平台,成为2016人工智能爆发的助推器; 四月,阿里云人工智能ET成功预测《我是歌手》冠军,人工智能技术向前迈进了一大步——证明机器可以“理解”人类情感世界; 接下来,阿里云先后在韩国、日本布局,提供本地化的市场服务; 在国外,阿里云通过美国注册会计师协会(AICPA)与云安全联盟(CSA)制定的SOC2审计标准,这是中国的云计算服务提供商首次通过这一严苛审计; 到了10月,杭州发布城市数据大脑,阿里云人工智能ET被首次运用到城市治理领域; 11月,在9个地域数据中心的基础上,再次新增中东、欧洲、澳洲、日本4个,并以中、英、日三语为全球客户服务;同时,飞天操作系统也入选第三届乌镇世界互联网大会2016世界互联网最有代表性15项科技创新成果; 12月,获工信部发放的内容分发网络(CDN)业务、国内互联网虚拟专用网业务、存储转发类业务经营许可,成国内具备最全增值电信业务许可的云计算公司。 而在今年1月,又传来两个消息:联通和阿里云合作,试点打通全国IT系统;阿里云拿下奥委会顶级赞助商!中国力量打造“云上的奥运” ,双方达成期限长达11年——至2028年。 …… 在飞速向前的同时,阿里云的产品和服务也越来越多。 仅以半年的时间长度来观察,6个月前,阿里云的产品和服务还只是93款;3个月前,阿里云的产品和服务达到121款。现在(时间截止到1月9日)?阿里云的产品和服务则达到150款! 随着产品和服务的增多,是不是还是希望有一张图,能一目了然地知道阿里云现在提供的所有产品和服务?基于此,在辞旧迎新之际,云栖社区云计算频道特地制作一张阿里云产品和解决方案全向图新春版(见开头的那张大图),以飨用户。希望能够帮助大家理清产品和服务之间的内在联系的同时,也能给大家在新的一年带来更多福气,充分利用像“水电”一样的云技术实现业务梦想。 需要指出的是,为了让大家能够清晰看到同一产品在不同领域的位置,看清其定位;二也是希望大家能够多灵活运用这些产品,我们并没对全向图里重复的产品去重。 当然,看清阿里云的产品和服务只是第一步,全向图之外,我们也为技术爱好者准备了“年货”:2016云栖社区一年的技术干货——专题、直播,以及云栖大会、在线峰会回顾合集 。 对于身处金融、直播等领域还在那些发愁如何安稳、安心过好春节的程序员,我们也有一些锦囊妙计,帮你过好这个春节:专门推给诸位CTO,程序员大神,从最近最火的视频直播,到高QPS的场景,以及金融,红包,社交,大促等各个维度讨论如何通过云计算度过一个安稳妥当的新春佳节。 为了能和之前鲜明对比,再附录全向图此前的两版: 2016阿里云93款产品全向图(6月制) 2016阿里云121款产品和解决方案全向图(9月制) 最后,云栖社区云计算频道给大家拜个早年,祝大家鸡年大吉。 相关阅读: 开源爱好者,你们也有一张阿里巴巴73款开源产品全向图:点击进入
1月5日晚,已完美直播。回顾视频:点此进入 “人类正从IT时代走向DT时代。”这是阿里巴巴集团创始人马云在2014年一场会议中发表的观点,他指出,未来用数据挣钱将会是趋势,拼的是你用数据能够给社会创造多少价值。 随着时间的推移,趋势似乎正一点一点朝着马云预言的方向发展——数据越来越重要,基于大数据的人工智能受到众多资本、IT巨头追捧。 在2016年10月云栖大会上,马云提出新五通一平,又将数据的重要性提到一个新的高度。过去的发展是基于石油和煤,而未来是基于新能源——数据。围绕数据,还会催生新零售、新制造、新金融。 不过,这一切的基础是——上云。因为要想实现对庞大数据的有效利用,必须要用云计算。 然而金融企业上云的用户并不多,这并不是他们不Care,相反他们非常想上云。对他们而言,上云成了金融企业跟上DT时代步伐最迫切、也最至关重要的一步,也只有这样,才能把交易,服务,连接,决策,分析,智能,核身,信任,体验等环节打通。 但由于金融企业自身的特殊性——对于稳定、安全和隐私性要求非常严格,如何选择一家可靠的云平台,成了他们当下一个难题,以及反复犹豫的原因。 为此,云栖说邀请金融领域上云的典型成功用户——天安人寿信息技术部总经理姚仁毅和架构师山虎,现身说法他们是怎么想、如何做的?同时阿里云保险行业总监戴飞飞、阿里云安全专家张伟伟也会一起聊聊金融企业上云的那些事。 如果你也有这样的困惑,不妨听听这场金融企业切身体会的直播经验分享,或许他们的经历能让你有所感悟外,还能少踩坑:2017年1月5日20:00直播,点此报名>>>金融云化之路——老司机带你少踩坑
本文由Postgres中国区主席、阿里云数据库专家萧少聪所写。 发布会回顾:点此进入 话题讨论:联姻Greenplum的HybridDB,是否能挑战AWS Redshift的霸主地位? 以下为文章正文: 2016年我们可以看到,越来越多的互联网企业及新型的创业公司都已经开始基于云计算实现IT架构。阿里云在当前已经实现了平台化作为商业模式。简单来说,阿里云主要提供网络、计算、存储等服务,并以此来吸引 PaaS 和 SaaS 类的合作伙伴,同时自身又扮演者“应用超市”的角色,将自家及合作伙伴的 PaaS 或 SaaS 服务在其所建立的云计算平台上按需售卖给需要的客户。 然而从整个IT市场来看,公共云计算业务只依然只占很小的一个比例,大量的传统企业业务依然使用自行部署的模式进行。这里有一个很重要的因数就是数据库上云难,企业的CTO及IT负责人往往要考虑以下几点: 架构延续:上云后如何实现与线下类似的架构:OLTP库处理业务数据,OLAP库处理分析数据 研发便捷:上云后如何避免开发人员维护两套代码,云平台上的软件是否可以离线进行研发 业务提升:上云后除了获得云计算带来管理的便捷性外,是否可以为企业解决更多业务问题 以上问题,我们希望通过HybridDB为用户逐一解决。首先我们来看看什么是HybridDB,云数据库HybridDB(ApsaraDB HybridDB)是一种在线MPP大规模并行处理数据仓库服务。云数据库HybridDB基于Greenplum Database开源数据库项目,并由阿里云深度扩展,支持OSS存储、JSON数据类型、HyperLogLog预估分析等功能特性。通过符合SQL2008标准查询语法及OLAP分析聚合函数,提供灵活的混合分析能力。支持行存储和列存储混合模式,提高分析性能,同时支持数据压缩技术,降低存储成本。并提供在线扩容、备份、性能监测等服务,用户无需进行复杂的大规模MPP集群运维管理,让DBA、开发人员及数据分析师专注于如何通过SQL提高企业的生产力,创造核心价值。 架构延续 通过阿里云ApsaraDB for RDS,用户可以实现高性能的OLTP应用,RDS支持MySQL、SQL Server、PostgreSQL,同时PPAS还提供了Oracle语法及PL/SQL的高度兼容特性。结合云数据库HybridDB,用户即可实现云平台下OLTP到OLAP数据库整合解决方案,为用户构建从高并发生产事务到决策分析的云数据库架构平台。HybridDB支持24个Oracle常用的分析函数,让用户进行OLAP分析系统迁移过程中更为便捷,参考市场上Greenplum Database已有的Oracle迁移经验,企业身边众多的ISV软件开发商或SI系统集成商都可以轻松完成这项工作。同时市场上各种用户熟知的BI及ETL工具,都可以通过PostgreSQL及Greenplum连接协议直接操作HybridDB,如:Pentaho、Kettle、JasperSoft等。如果用户线下已经在使用基于Greenplum Database的数据仓库产品,那么云数据库HybridDB更加就是直接的选择。通过使用HybridDB云数据仓库,所有数据双节点同步冗余,并由阿里云内核团队进行基础设施的统一部署管理,用户无需进行复杂的大规模MPP集群运维管理。同时阿里云为用户提供完整的扩容及可用性保障,让DBA、开发人员及数据分析师专注于如何通过SQL提高企业的生产力,创造核心价值。 研发便捷 而这一点来自于一个重要的需求,中国依然在一个云计算发展的阶段,没有任何一个软件研发企业可以完全放弃线下市场。如果你是一个ISV开发商,就会发现如果所开发的基于云计算的软件,不能在线下进行使用,那意味着你需要为了云计算用户及统统企业用户维护两套代码,这将是一个巨大的成本。同时在进行云计算软件的开发时,因为无法自行搭建线下开发环境,这将导致开发调试变得十分麻烦,项目研发进度无法得到保障。当前RDS已经支持业界多种关系型数据库引擎包括:MySQL、SQLServer、PostgreSQL等,因此用户可以在线下搭建相同的环境进行开发。同样的,HybridDB的引入让用户针对OLAP的分析系统也可以构建线下的开发环境。用户可以进行在线下自行搭建Greenplum数据仓库,进行本地的开发及调试,避免由于网络及其他问题导致开发效率降低。同时针对那些当前还没有上云计划的企业,阿里云的软件开发合作伙伴可以使用同一套代码(JSON、HyperLogLog及OSS除外),为用户提供线下开源或商业的Greenplum数据仓库实现云下的业务部署。HybridDB还支持分布式ACID数据一致性,实现跨节点事务一致性的同时,支持基于分布式的存储过程开发,为提高数据分析处理性能提供基于数据仓库本地的计算方法。 业务提升 随着传统企业的发展,在新的经济模式下用户必将出现以下几个发展需求:互联网业务分析、物联网信息接入、海量数据数据挖掘等。针对于此HybridDB为这些需求都提供了重点的功能支持: 在互联网业务分析方面,由于企业的销售渠道需要与互联网接轨,就会开始建立网站平台。为发监控网站的访问,就会需要统计PV(页面访问量)和UV(独立访客量)等信息,基于数据库原原生的COUNT统计方法性能会十分低下。由于这类信息往往不需要100%精确,因此HybridDB参考业界计算模型的处理方法提供HyperLogLog数据类型,以进行数据预估分析,性能将达到20-100倍提升。 在物联网方面,传统企业将逐步接入很多不同的传感器设备及针对物流进行货物的信息跟中,优化信息化配套。因此将大量使用于JSON非结构化数据类型,及GIS地理信息数据类型。阿里云数据库内核团队在设计HybridDB时就已经提供了以上两种数据类型的支持,当中JSON非结构化数据类型我们不单支持数据的存储,还支持基于JSON属性值的直接分析及函数索引,以提高开发及查询效率。HybridDB集成开源业界最先进的PostGIS地理数据分析引擎,当前美国宇航局(NASA)、俄罗斯莫世科大学天文观测站及国内不少如与地理及空间分析相关的系统都大量使用PostGIS,在阿里,如高德地图、口碑网等也都在使用基于PostGIS引擎的数据库。通过HybridDB用户可以基于PostGIS实现自己的业务,如货运车辆的轨迹分析、货物在全国的流向分析、智能手环附件同行人的社交搜索等。 海量数据处理方面,HybridDB可按需进行计算单元,CPU、内存、存储空间的等比扩展,OLAP性能平滑上升致数百TB。支持透明的OSS数据操作,非在线分析的冷数据可灵活转存到OSS对象存储,数据存储容量无限扩展,同时大量节省存储成本。HybridDB还支持行列混合存储,列存性能在OLAP分析时相比行存储可达100倍性能提升,为数据挖掘提供强大的性能基础。同时基于OSS的数据并行导入模式,可以实现每分钟100,000,000(1亿)行以上的数据导入性能。 HybridDB基于开源版本的 Greenplum Database,同时阿里云也会进行功能的添加及性能稳定性上的优化工作,并计划逐步进行对开源社区的更多的贡献,如当前我们就已经开源了支持 Greenplum、PostgreSQL 及 HybridDB 的数据同步工具dbsync,有兴趣的读者可以下载测试及使用。 HybridDB是针对企业OLAP设计的云数据加,让用户可以实现传统OLTP+OLAP模式,在云平台的架构延续。同时由于基于Greenplum Database开源数据库,使得ISV开发商及合作伙伴的研发更为便捷使得云上云下的软件代码保持一致,降低研发及未来的代码维护成本。HybridDB还支持JSON非结构化数据类型、GIS地理信息数据类型及HyperLogLog数据类型,解决用户业务上的众多问题。并可以混合行存、列存及OSS云存储,使得用户在功能、性能、存储空间实现百GB到百TB的平滑线性扩展。 运维交给阿里云数据库,开源Greenplum Database功能的不足阿里云来补齐。让用户释放DBA及开发人员的技术天性,用SQL为企业提高生产力。用户的需求就是我们发展的动力,拥抱开源生态是阿里云数据库团队发展的一贯理念。一切为了不可计算的价值。
日前,Redis中国用户会(CRUG)首次常委会正式召开,本次会议选举出新浪微博高级DBA张冬洪为主席、阿里云数据库高级专家蔡松露为中国用户会技术大学校长。 Redis中国用户组成立于今年5月20日,是由阿里云、新浪微博、唯品会、去哪儿等Redis一线工程师联合发起的非营利性技术组织。该组织希望通过吸引Redis爱好者加入,从而推动Redis技术在中国的更多交流和应用。 包括阿里云、新浪微博、去哪儿、唯品会、明趣科技等公司参加了12月4日在北京召开的Redis中国用户会(CRUG)首次常委会。除了上述选举外,还选出常委委员长王义成(阿里云数据库产品专家)、副主席强昌金(去哪儿高级DBA)、许瑞(唯品会高级架构师 ),以及技术大学副校长李强(北京明趣科技有限公司技术合伙人)。 对于Redis在国内的使用情况,Redis中国用户会技术大学校长蔡松露在接受云栖社区采访时介绍到,Redis在国内的使用非常普遍,不仅包括BAT、微博、搜狐、小米、唯品会等,创业的互联网公司几乎也都选择Redis。 “Redis比较简单、高效、稳定、可靠,好用且易用,而且Redis在国内的生态也不错。根据网上公开的文档和方案就能够快速地bootstrap搭建起一套环境,所以Redis在国内获得了极大的繁荣。” 繁荣背后也有些问题。蔡松露称,Redis之前没有推出集群版,导致很多公司都在做同样的事情。代表性的有大名鼎鼎的开源产品Codis,也有BAT、微博、唯品会等自主研发——然而原理却类似的集群方案。有的为了解决大容量冷数据的问题,还引入了RocksDB、LevelDB等存储引擎用于底层存储,直到社区推出3.2版本,才有了官方的集群模式。 很多公司对Redis的掌控力也不同。大公司投入多,掌控力相对强一些,甚至能够修改源码,给出自己的解决方案;中型的公司使用比较熟练,能够自主搭建和维护;一些小公司也在自主搭建和维护,但是相对吃力一些,在遇到一些问题时,往往一筹莫展,网上也不一定能找到对应的文档和解决方案。 因此在Redis布道上,蔡松露打算联合国内社区的力量,把之前松散的东西整理归拢,比如常见问题和解法、行业解决方案&代码示例、原理和代码分析、优化方向&方案等,然后以系列文章、视频或直播的方式呈现给大家。“这些笨笨的脏活累活做好了,播种、锄草、施肥、浇水后,花自开。”他说,想法比较简单,但也许最奏效。 谈到未来,蔡松露认为Redis在国内会一直繁荣昌盛。尤其是随着云计算的发展——很多云计算公司也将Redis的相关产品对外输出,帮用户降低很大维护成本的同时,也会进一步促进Redis生态发展。 最后,蔡松露也解释了“主席”和“校长”、“常委会委员长”的职责: 1.主席:任职期间负责社区整体发展规划。包括不仅限于组织技术分享、社区年会、兄弟组织交流等。 2.校长:任职期间需要负责Redis技术普及和发展方向引导。包括但不限于技术分享选题审核、精尖技术交流分享等。 3.常委会委员长:组织常委会正常召开和建立社区基金会,负责社区收支等。 【附录】独家专访:中国用户会(CRUG)技术大学校长蔡松露 云栖社区:作为Redis中国用户会技术大学校长,打算从哪几个方面做好Redis在国内的布道? 蔡松露:校长职位既是一种鼓励也是一种鞭策,我本身比较擅长做技术,那我也希望能够将这个职位和我擅长的东西相结合——以技术为切入点。 当然不会去做什么天马行空高大上的东西,之前也提到了大家在使用Redis的时候遇到了一些问题,却苦于没有现成的文档和解决方案;而且有时候方案选型也比较困惑,不知该如何抉择;甚至有的用户可能就是入门小白,就想知道Redis能解决什么和如何解决他的业务问题。 所以我的想法比较简单:联合整个国内社区的力量把之前比较松散的东西整理归拢一下,比如常见问题和解法、行业解决方案&代码示例、原理和代码分析、优化方向&方案等等,然后把这些东西以文章、视频或者直播的方式呈现给大家,渠道包含但不局限于博客、微博、微信、直播平台等。 做这些的目的是希望既能解决大家的问题,也能让大家像打怪一样成长,从小白开始看进阶文章视频,有了些积累后看看原理和代码,积累比较多之后再回馈社区,形成一个比较良性的循环。 所以我觉得最开始就把这些笨笨的脏活累活做好就好了,播种锄草施肥浇水花自开,当然做这些事情是需要所有人一起参与建设,你我都是参与者之一,所以也希望大家以后多多支持。 云栖社区:就你接触到的来看,国内对Redis有哪些认知误区?并请分析下误区的产生原因? 蔡松露:最大的一个误区我觉得就是认为“Redis比较简单,不会出问题”,Redis确实设计理念&使用都比较简单,代码量也就几万行,但其实坑也比较多。 比如fork在极端条件下需要double内存、断网导致的全量同步、keys或者flushall命令导致server hang死等问题。尤其是当数据量大、访问量大、部署环境比较复杂、使用不当的时候更容易出现这些问题,而且新出的Redis Cluster方案,又新加了很多组件,也使得没有之前看上去那么简单,平时还是需要不断地投入人力来保证稳定性。 我甚至接触过一些比较大型的公司也是因为对源码没有掌控力而出过大故障,所以我觉得这里最大的一个误区就是把设计理念&使用方式简单和稳定性&可维护性混淆了。误区产生的原因也很简单,就是没有把所有的坑摸完。 云栖社区:上半年,Redis Labs宣布了一个新的Redis扩展方式:Redis Module Systemw,有人称这将有助于Redis发展为一个生态体系,你是怎么看的? 蔡松露:我觉得创始人的话已经说得够明白了,这里引用一下: "It is not possible to cover every vertical use case with just the Redis core. Now, thanks to Redis Modules, an ecosystem of diverse solutions can flourish. The guaranteed API and binary compatibility with future versions of Redis, allow developers to invest in and benefit from, the creation of new Redis functionality. While Lua scripts provide a level of flexibility, Redis Modules offer increased sophistication with access to low level Redis capabilities, allowing new commands to be developed easily." 简单翻译一下就是Redis Module能够提供比lua更为low-level的数据访问和操作方式,而且Module这种抽象能够发挥大众的力量,让每个人都能按照这个标准来提供不同的计算能力,如文本搜索、图像处理、权限认证等。 我个人觉得这是一种能力的释放,能够让更多人参与进来,整个生态也会更加完善,就像Python一样,有人负责维护虚拟机,有人负责写扩展,各司其职 云栖社区:你对当下的最新版本3.2.5怎么看?对Redis未来的功能演进有什么建议或期待? 蔡松露:Redis 3.2最大的特点就是支持Redis Cluster,这是Redis一个重大的里程碑,是一件值得肯定的事情,终于结束了Redis没有集群方案的时代。 带来的问题就是Redis Cluster实现还是比较复杂的,而且对运维人员的要求也比之前要高,之前运维人员面对的是个单点问题,现在完全是分布式问题,这点可能略让大家吃不消。 Redis Cluster的另外一个问题就是生态还不算完善,Smart Client的支持也还太少,而且以前的很多坑也依然存在,如内存double、aof load过久、flushall hang机等问题。当然很多坑都在Redis 4.0中都填了,所以Redis 4.0也是一个非常值得期待的版本。 其实Redis 4.0版本的很多功能在Redis 2.X时代就有很多公司已经解了,但是很遗憾的是没有参与到社区建设之中,当然原因也有很多。如果这些功能能够提早贡献给社区,大家也就不用等待那么久了,Redis版本迭代应该也会快很多,所以希望未来还是能紧跟社区,在开源上多做贡献,也期待Redis在国内越来越好。
本文由Postgres中国区主席、阿里云数据库专家萧少聪所写。 刚刚过去的周末,PGConf.Asia 2016在日本东京举行,我有兴参与了本次大会并进行了一个Keynote的演讲。就此为大家带来大会最新的报道!本次大会由日本两大PG组织 PostgreSQL日本用户会 及 PostgreSQL企业联盟 联合举办,大会为期2天在“死宅圣地” - 秋中原举行。 第1天为企业信息主题,主要讲述企业如何使用PostgreSQL;第2天为技术主题,主要分享PostgreSQL最新技术实例。大会的所有PPT可以下载:点击下载 第1天主会场的主持人是Burce Momjian,是的,你在每个PostgreSQL发布的release中都会看到他的名字,永远打首红色领结的老顽童,他是PostgreSQL界的领袖级人物。 大会开场演讲由Peter van Hardenberg进行,这位大神创建了知名的PostgreSQL数据库云服务Heroku。而本次带着PostgreSQL 20的话题他为我们亲身讲述了过去20年PostgreSQL发展的点点滴滴,从人物到事件,从美国到亚洲,当前已经有操过20个不同的基于Postgres的发行板。 在大神之后,我作为亚洲区域的企业企业代表,介绍了当前PostgreSQL在阿里云的使用情况,同时也介绍了中国社区及市场的发展趋势。确实在过去的几年里中国PG的发展在国际上也是有目共睹的,从默默无闻到这几年从多中国公司参与到PG的使用,并在全球发声就可以看出。今年除了我,还有腾讯的许中清分享了PG-ZX在微信支付的应用;探探科技的Victor Blomqvist分享了他们针对PostGIS的使用经验。日本同行对于中国案例中的规模及数据量都表示赞叹,同时作为中国社区的一份子我也深深地感到自豪。以下放出中国图团队在大会有风采,再多大会图片要等日本方面的专业摄影师“PS”后再发出,请继续留意我们的官方微信及微博。 从日本同行的分享话题可以看到,他们有很多企业已经将PostgreSQL用到了核心系统,如《Hitachi’s efforts to apply PostgreSQL to mission critical》中提到在日立公司已经将PostgreSQL应用于核心业务系统,并介绍了使用的架构,当中有包括使用到HA及PGPool联合的方案。而在《Case Study: Application of PostgreSQL to the large social infrastructure》的两个话题中分另提到PostgreSQL在电表数据采集系统管理方案。当中提到了很多的优化手法,中间也透露了当前他们数据库的逻辑数据量已经达到了108TB,并通过“去重”、“压缩”等技术手段将数据缩小到11TB。 NEC公司的GPU神人KaiGai Kohei是PG-Strom项目的发起人及核心维护者,这次他再次带来黑科技。用GPU时行业务的分析计算固然是很高效的,但是要进行内核级别的PG-Strom扩展恐怕就不是人人都能做到了,因此这次他带来的是PL/CUDA编程语言。直接将CUDA用存储过程的方式进行编写,并通过数据库直接运行即可。在他们给出的一个针对“化合物”的数据分析场景中,性能有高达150倍的提升,而你要花的可能只是5000美元买个基于PCI-E的GPU版本器即可。 精彩的内容还有很多,点击此处回顾大会的PPT。 最后放出12月2日晚PGConf.Asia的精彩瞬间及视频。
本文作者为:云栖社区特约记者林易 以下为正文: “在从计算机诞生到90年代,计算资源都是作为“可计划性”的资源来使用的。” 在阿里云资深专家何云飞看来,传统IT行业的整个链条,都围绕着这样的资源调度来实现的。 无论是探索月球,还是计算天体运动,计算资源本身是可规划的。 一个典型的例子,就是阿波罗计划。 这是人类第一个大规模使用计算机的场景,虽然计算量复杂,但什么时候上天。 什么时候计算轨道,轨交雷达什么时候返回数据,都是可预测的。 然而,随着互联网时代的到来,越来越多的应用场景,让计算资源变成了“脉冲式”的使用。 一个爆发的事件,就有可能考验你的整个计算资源。 “所谓的脉冲计算,就是指在一个确定的时间内发生的海量信息事件,且必须在这个确定的极短时间内处理完的计算事件。”何云飞认为,这样的事件在互联网时代会变得越来越普遍。 而双11就是这样的一个典型场景。 何云飞有一个观点,“其实我们在比较早的时候,就发现了传统IT与脉冲计算并不那么match。” 在我们的传统IT架构中,扩展是向上拓展的,我们最常见到的就是小型计算机, 但是,小型计算机所有的硬件资源都是特定的,备货周期长,维护成本高,波峰使用以后闲置的情况比较多。 最简单的总结,就是传统IT的弹性不够。 工程师们把眼光瞄准了当时市场上通用的x86服务器,希望通过x86服务器,来挑战传统的小机。 通过遍布全球的数据中心,以及大规模的分布式调度系统,分布式文件系统,分布式计算系统,来整合计算能力,实现资源的弹性利用。 通用的x86服务器,可以通过很多渠道快速部署,而在脉冲结束以后,又可以迅速的被碎片化的切刀其他应用场景中去。 “这就是阿里云最早做云计算的理念,飞天就是从这里开始的。”何云飞说。 2012年,飞天在2011年商业化以后,第一次面对双11,彼时双11还不像今天这样令人瞩目。 随着订单的海量化,在双11中,一个突出的问题出现了:商家自己的订单系统与阿里系统同步的问题。 过去的处理方法很简单,阿里把API开放给商家,商家通过一定的安全验证以后,使用自己开发的软件来读取这个接口的数据。 “这样海量的数据访问,受到架构限制是很明显的。”在何云飞眼中,这是个典型的脉冲事件中的脉冲事件。 “当时就想,那么能不能把“飞天”的弹性计算能力,开放给商家,让商家在一个稳定的数据环境中工作。”这就是聚石塔的缘起。 2012年7月10日,天猫与阿里云、万网宣布联合推出聚石塔平台,率先以云计算为“塔基”,为天猫、淘宝平台上的电商及电商服务商提供IT基础设施和数据云服务。 通过阿里云的ECS云服务器,RDS云数据库,SLB负载均衡网络,双11的商家订单,直接源源不断的推送到了商家平台上,保障了数据的稳定和延续。 “那年双11,我们无一漏单,错单。”何云飞很高兴的讲述了飞天与双11的第一次相遇。 而2013年发生的挑战,则与一个火热的产品有关:余额宝。 2013年7月,余额宝决定上云,上云并非一句话那么简单,使用云计算支撑当时国内最大的基金直销和清算系统,前无古人,但开弓没有回头箭。 而短短4个月以后,双11就来了。 对于阿里云来说,双11期间余额宝巨额资金流入流出,已经是极大的考验了。 “但是,你别忘了,余额宝,最大的特点是,资金是有利息的。”何云飞说。 而余额宝的利息,必须在第二天早上6点完成计算,这是雷打不动的。 ODPS(现在称为Maxcompute)在这个过程中发挥出了性能优势,在短短6小时中,ODPS完成了这个复杂的计算。 12日凌晨6点悄然而至,早起的用户发现,余额宝用户账户里的资金都更新了。 也就是从这一年,阿里云金融云聚宝盆对外服务,双11的云服务能力,开始助力金融行业。 2014年的双11,在何云飞看来,经过多年的演进,阿里云对于脉冲计算的应对能力,开始变得完善起来:金融云的系统支撑能力达到了2013年的3倍以上,可支撑十亿笔以上的超大日支付处理能力。 而更重要的是,这一年双11前夕,阿里云联合阿里集团电商平台一起攻克了另外两项世界级的创新难题--“服务器资源弹性部署”和“数据中心异地双活”。服务器资源弹性部署,可以应对不可预知的业务爆发。 “一旦有超出预期的业务热点出现,系统可自动调用其他资源使用不足的服务器,实现"分钟级无缝切换",在不增加硬件部署的情况下应对更复杂的流量变化。”这是阿里云已经能够完善的应对脉冲计算的标志性事件。 而脉冲计算的另外一个特征是,无法从头再来,必须保持最高标准的可靠性,“数据中心异地双活”,则可以帮助阿里巴巴应对极端的自然灾害,即使杭州的数据中心“挂掉”,双11仍然能够顺利运转。 这项技术可实现跨省的两地数据中心像一个数据中心一样工作,同时支持双11 的所有应用。 “两地数据中心的切换,能在不中断业务的情况下完成,这就像为正在飞行的飞机更换引擎,不仅不影响飞行,飞机上的乘客也不会有感觉。”何云飞谈到。 “2015年,基于公共云的“飞天”平台成了双11最重要的核心设施,这意味着阿里云已经能够为脉冲计算提供最可靠的解决方案了。”这是何云飞对2015年双11的解读。 2015年,双11淘宝天猫核心交易链条和支付宝核心支付链条的部分流量,直接切换到阿里云的公共云计算平台上。通过将公共云和专有云无缝连接的模式,全面支撑双11。 因此,如果从技术层面来看,2015年双11成为了一场全球最大规模的混合云弹性架构实践。而阿里巴巴也成为全球大型互联网公司中,首个将核心交易系统放在云上的企业。 与此印证的是,阿里云成为全球第一家有能力支撑核心交易系统的云服务商。 “这一混合云架构完全基于阿里云官网在售的标准化产品搭建的。也就是说,你通过这些标准化的产品,也可以搭建这样一个像淘宝、天猫这样万亿级的企业应用,满足任何极端的业务挑战。”阿里云总裁胡晓明曾经在一篇报道中这样评价。 2016年阿里视频云支撑起了千万级的直播,同时观看到达4000万人以上,通过阿里云的600多个CDN节点,欢乐到达了全球。 而八分钟新建一万台计算资源的能力,相当于能交付一个中型互联网公司的弹性资源,这才是阿里云应对海量峰值的底气。 而基于阿里云和菜鸟物流联合开发的物流云,提高了物流系统的流转效率:双11第一单在13分钟内送到了用户手中。 而飞天的对象存储系统OSS,承担了所有的图片及小文件存储的重任,让消费者得以在一秒钟内,就可以打开自己心仪商品的图片。 聚石塔一如既往的无漏单错单。 而“飞天”支撑起了人工智能ET,让买买买更智能,更懂未来。 2016年的双11对今天的阿里云来说,具有着节点意味:在此前的中国,没有一家云计算厂商能够与合伙伙伴携手建成一个如此完整的PAAS解决方案,并且能对外输出,而“飞天”已经不仅仅是保障天猫双11的链条,而是整个“双11”的真正基础设施。 11月12日的零点钟声响起,数字定格在千亿之上。 然而,重要的不仅仅是这个数字。 “这意味着,阿里云已经能够随时为社会输出双11的计算能力。”何云飞认为,阿里云能够应对社会在任何时候,任何领域对于脉冲计算的需求。 这样的需求,不仅仅在双11中,也在春运火车票回家的脚步中,高并发的购票需求得以平稳应对。 在春节的红包狂欢中,金融云支撑起了红包的快乐,还在今日头条,微博突发的新闻事件中:信息得以飞速的流动,并让每一个人都平等获得。更在台风来临之际的预测中,保障着城市的安全。 “脉冲计算,已经是人类社会计算的‘新常态’,更是人类探索未知的‘核武器’。”何云飞认真的说。
发布会回顾:点此进入 话题讨论:联姻Greenplum的HybridDB,是否能挑战AWS Redshift的霸主地位? 12月13日,云栖社区将会有一场非常特别的直播——线上产品发布会。 三位技术大拿——Pivotal中国研发中心总经理冯雷(Ray Feng)、阿里云数据库研究员余锋以及阿里云事业群数据库产品专家萧少聪,将会在直播中发布一款新的产品——ApsaraDB HybridDB。 云数据库HybridDB是一种在线MPP大规模并行处理数据仓库服务。它基于Greenplum Database开源数据库项目,经阿里云深度扩展后——支持OSS存储、JSON数据类型、GIS地理信息数据类型、HyperLogLog预估分析等功能特性。无需自行维护复杂的大规模MPP集群运维管理,就能让DBA、开发人员及数据分析师专注于如何通过SQL提高企业的生产力,创造核心价值。 在这场时髦的线上发布会上,三位技术大拿将会就以下问题进行探讨和分享: 1.HybridDB有哪些功能的改进和创新? 2.针对开源社区、生态伙伴以及市场活跃上,HybridDB有哪些支持? 3.Pivotal将怎么激活生态的发展?会和阿里云有哪些联动?下一个开源版本,会有哪些更先进的功能和目标? …… 为了让这场线上发布会更有意思,据说主持人也准备了一些有看点的话题,先小小的透露下: 1.Pivotal为什么将自己的产品开源?对于阿里云跳出来——做自己的版本,Pivotal怎么看? 2.Pivotal和阿里云是怎么看待当下一些人的疑惑——MPP(大规模并行计算)是否正在走下坡路? …… 如此与众不同的线上发布会,技术人应该围观下。除了了解产品、把握技术趋势外,这三个大男人凑在一起,也许真能碰撞点什么出来,你说是不是?点此报名>>>12月13日线上发布会提前报名
本文为云栖社区约稿,作者为:阿里云数据库技术专家黄大鹏 正文 非常有幸能见到Erlang之父Joe Armstrong,老爷子这次分享了Erlang的设计哲学,用现实中的例子讲述并发的原理,高可用的本质;他还分享了他个人30年的从业经历,题目是《How i got my grey hairs》,非常有趣,当然中间最重要的就是Erlang的发展历程,展示了Erlang是如何从一个简单的脚本语言演进到当前非常强大的高性能平台的。 茶歇环节和Joe聊了性能和新Feature方面的话题, Joe表示相对于性能软件开发人员更应该关注上层逻辑,从更高的层面去考虑优化这件事件,尽量考虑投入产出,另外性能优化从长远看应该交给硬件。 新Feature方面,老爷子表示不要盲目的追求开发新的功能,为了保持系统的简洁,高效, 优美,“常常当要加入一个东西时,你需要拿出另一个”。 第一个分享是由我来分享的,主要从在云上构建高可用,高性能的数据通道说起,阐述相关技术难点,Erlang为解决这些问题提供的帮助,以及我们在Erlang应用实践的经验,其中重点分享了我们如何解决当前Erlang vm的单poll set的问题,相关源码也已经开源,解决该问题对Erlang的网络性能有极大提升,会后很多同学对这块表示非常高的关注。 第二个分享是由环信的首席架构师一乐, 在环信最大的Erlang集群有800+,他们大规模的使用了Erlang自带的分布式数据库mnesia,证明了在这个规模上mnesia还是可靠的。另外他从业务讲述了多租户场景下的开发难点,为解决这个问题其核心是要调度问题。另外他还分享了pg2相关坑,建议不要使用pg2,也不要使用使用了pg2的库。 第三个分享的是来自Yunba的CEO张虎, 他提出软实时的本质是公平调度,在消息业务场景下要做到及时响应必须要软时间,而且要做抢占式的调度,不能应该一个逻辑单元速度慢,拖慢了别的单元,这在软实时调度方面Erlang有天生的优势。这次他还分享了在他们的业务场景下如何做负载均衡,如何优化短连接。最后他讲了Erlang的学习经验,上手是很容易的,目前最大的障碍在工具链上,希望社区能加快完善rebar这类的编译打包工具。
谷歌AlphaGo和李世石进行了围棋人机大战之后,人工智能开始变得炙手可热。据CBinsights统计,2015年共有397起投资事件,23.88亿美元被投入到人工智能领域,与2011年相比投资额增长了近9倍。 为了扶持人工智能的发展,国家也发布了《互联网+人工智能三年的行动实施方案》,期望能在2018年打造人工智能基础资源与创新平台,人工智能产业体系、创新服务体系、标准化体系基本建立。 在医疗领域,IBM推出Watson Health(沃森健康)。它能应用在癌症的诊疗上,通过对医学影像的分析和学习,帮助MD安德森医院的医生做出对癌症患者的精准诊断。 至此,我们不禁想进一步释疑:人工智能在医疗领域究竟能做哪些?前景如何?在实际应用场景中,哪个场景能率先获得突破?大医疗大健康延展来看,在智能陪护和养老等领域,人工智能会有哪些价值? 为此,云栖说邀请了浙江大学附属第一医院王伟林院长、阿里云飞天解决方案事业部业务架构师李虹等人共同探讨。 畅想未来之外,几位也会深入现状和问题中寻求解决办法,比如面对医疗数据总量不足、质量不高的情况下,如何开展医疗的人工智能?医疗数据涉及患者隐私,应该如何去解决这个敏感问题? 分享之外,我们也可以看一些规划:从互联网+医疗到人工智能,浙一医院有什么自己的想法和规划?云计算和大数据起到了什么样的作用? 当然,对于目前涌现的很多医疗大数据公司,王伟林院长也会给出自己的一些看法和建议,帮助这些公司更好成长。 医疗人工智能领域,如此高屋建瓴地直播,还不快提前锁定:12月5日20:00,免费报名:赢了围棋后,人工智能离看病还有多远?
11月21日,阿里云在迪拜宣布其位于欧洲、中东、日本和澳大利亚的数据中心将于月内相继开服。这标志着中国首家云计算服务商在全球主要互联网市场形成云计算基础设施覆盖,将为中国出海企业以及当地客户提供云计算与人工智能服务,云计算全球通时代正式到来。 此前,阿里云已经在美国西部、美国东部、新加坡和香港设立有数据中心,并在新加坡设立有海外业务总部。欧洲、中东、日本和澳大利亚数据中心开服之后,阿里云可以提供计算服务的节点将包括华北3个、华东2个、华南、香港、新加坡、美国东部、美国西部、日本、欧洲、中东和澳大利亚等14个,全球云计算用户将可获得更为流畅的计算服务体验。 “云计算作为新经济的基础设施,正在被正在被越来越广泛的区域和领域采用。” 阿里云总裁胡晓明在发布会现场表示。“阿里云自主研发的大规模通用计算操作系统飞天,将伴随基础设施的布局走向世界,让任何组织机构或者个人都能通过在线的方式获得计算能力,同时也为世界带去中国的云计算、大数据和人工智能技术。” 对于新开的数据中心,阿里云国际业务部云架构总监王宇德在接受云栖社区采访时表示,阿里云在海外的数据中心——包括欧洲、中东、日本和澳洲,都是依据Tier3+标准建设,因此整体可用性在99.99%以上。整体规划上,每个区域的数据中心未来会有多可用区,满足用户对于高可用性和灾备的需求。 他还谈到,目前海外的机房都是基于ISO27001/ISO20000/ISO22301/CSA等标准作为最佳实践部署;德国、迪拜、澳大利亚都已经完成ISO27001的现场审计。这些机房都会包含在17年相关的证书中。 除了高标准之外,王宇德还指出:“阿里云海外的数据中心也提供了云服务器、云数据库、弹性伸缩服务、负载均衡、在线缓存服务、对象存储、表格存储、容器服务、云盾DDoS基础防护、云监控等丰富的产品,以满足用户在不同应用场景下的需求,如网站、游戏、视频、电商、数字营销等行业应用。” 针对数据中心常见问题——存在访问体验差、性能下降的现象,这位云架构总监分享了阿里云的应对之道: 网络上:目前阿里云海外的数据中心都是运营商多线接入,保证海外各区域不同运营商用户的网络接入体验,确保网络覆盖质量。对于后期用户提到网络体验问题,阿里云会和当地运营商一起进行网络优化。另外,阿里云也会提供遍布全球的CDN(内容分发网络)边缘节点,为用户提供基于内容的动态和静态加速,提升用户的访问体验与性能; 云产品上:阿里云提供不同数据访问频度(热度)下的云产品服务,如在线缓存、数据库、表格存储、对象存储等存储服务,以及负载均衡、弹性伸缩等高扩展性服务,可以满足在不同场景下用户访问的高性能需求,提升用户对数据中心访问的体验; 应用架构上:阿里云有经验丰富的云架构师帮助用户从架构层面构建高性能、高弹性、高可用、低成本的应用系统,以实现整体系统访问的高性能,提升用户体验。 在刚刚过去的双11全球狂欢节,开场30分钟,阿里即创造了每秒交易峰值17.5万笔,每秒支付峰值12万笔的世界新纪录。“我们希望将阿里云先进的云计算产品与技术输出到海外,让中国出海以及海外的用户也能享受到阿里云的技术红利。”王宇德期待到。
移动互联网、云计算、大数据以及智能设备的发展,让万物互联已经成为时代发展的大趋势。 大趋势下,物联网安全遭受的挑战,远远超过PC、移动端。不仅仅是因为遭受的威胁是全方位,还因为万物互联体系内的个人行为,很容易导致蝴蝶效应,影响和后果迅速被放大。 前有: 物联网攻击造成人身伤害的可能案例之一:2007年,时任美国副总统迪克·切尼心脏病发作,被怀疑缘于他的心脏除颤器无线连接功能遭暗杀者利用。 事故:2008年,波兰一名14岁少年用一个改装过的电视遥控器控制了波兰第三大城市罗兹的有轨电车系统,导致数列电车脱轨、人员受伤。 故障:2010年,一名前雇员远程入侵了美国得克萨斯州奥斯汀市汽车经销商的电脑系统,招致大量客户投诉车辆故障,包括喇叭无故半夜鸣响、车辆无法发动等。 后有: 美国遭遇史上最大分布式拒绝攻击,导致各大网站服务中断。这次“互联网9·11袭击”罪魁祸首或许就是针对IoT设备的僵尸网络。 阿里云首席安全研究员吴翰清认为,随着万物互联,物联网必将引发大量网络安全问题,美国“黑色星期五”只是未来安全问题的一个缩影。 而《华盛顿邮报》报道,2010年全球联网设备数量为20亿台,这一数字预计在2020年剧增到250亿。有专家表示,随着联网设备越来越多,技术越来越普及,物联网遭“黑”是“必然出现”的问题。甚至已经有专家把物联网戏称为“攻击目标之网”。 安全已经成为物联网发展过程中不容回避的问题,也成为物联网产业和企业发展的达摩克利斯之剑。 为此,云栖说邀请了阿里云安全专家易鑫、阿里安全部资深安全专家谢君,以及阿里云高级安全专家邬怡共同讨论物联网安全。 聚焦的话题有: 物联网安全与互联网安全有什么关系,影响有什么不同; 近期的物联网安全事件的本质原因是什么? 预测物联网领域未来还可能有什么重磅炸弹; 国际上对物联网安全都有哪些研究和实践方向; 阿里云在物联网安全领域正在开展哪些工作? 对物联网产业和企业在安全上有什么建议? 从本质到趋势,从应对手段区别到合理建议,相信你会满意这场干货和诚意满满的视频直播。12月16日,和阿里专家线上面对面,免费报名:从互联网安全到IoT安全,如何关上潘多拉魔盒? 其他相关视频 安全问道:点此进入
给记者体验的VR设备 在今天下午的媒体中心,除了让记者体验到VR购物外,淘宝移动平台资深总监庄卓然还分享了GMLab实验室背后的技术灵魂---造物神计划,分别通过DIVA、3D扫描、光场扫描三种产品实现不同程度的3D建模解决方案。 DIVA能够将固定的产品制作出一个类似于3D的还原效果,它拍摄过程,就像拍摄一段视频一样简单,转一圈就可以得到3D模型。拍好后,转动手机就可以模拟出不同角度,看到对应商品的侧面。当然也可以简单做一些编辑,打水印、标签等。DIVA出发点是希望通过最简单、最普及的设备——手机操作,因此它最大的优点就是低成本。另外,由于整个算法、拼接都在云端,所以具有跨终端特性。目前,DIVA技术已被大量使用。 3D扫描仪能够360°建模,因此它能够将物品的色泽,表面的材质,几乎一致的还原出来。庄卓然指出,由于整个算法云端化,因此配套的电脑并不需要多高性能——普通电脑即可。拥有上百万的鲜艳节点、还原度,其整个制作过程只要20分钟到1小时就可以完成。另外,通过AR技术,还可以将制作的模型投射到真实的世界中,再现真实商品的大小。 光场的拍摄设备,能够通过几十台相机阵列把光的信息收集起来,再结合算法,能完整还原商品色泽、纹理等细节。 “这是个天然的跨平台解决方案。”庄卓然表示,在明年春季他们会正式将造物神计划通过开放平台释放给商家和合作伙伴。
在昨天2016天猫双十一狂欢夜晚会上,大家是不是被阿里云人工智能机器人ET表演魔术的那一幕给惊呆了。不仅实时互动、全程实时速记,还猜出了每个人手里的牌是什么。 太厉害了,有没有!!! 不过: 这个魔术的创意是怎么来的? 从想法到拍板、再到落地,历时多久?有没有遇到什么坎,都是怎么解决的? 技术上都有哪些细节? 魔术的背后,都有哪些幕后? 云栖社区记者就以上问题,采访了魔术环节的项目PM李博(花名:傲海)。 创意来自于一个经典魔术 昨晚惊艳全场的阿里云人工智能ET表演的是一个经典魔术。 32张扑克牌以De Bruijn 序列排列,五人洗牌之后,实际上排列可能减少到32种,ET将转身观众(黑牌)记作1红牌观众记为0。进一步从32种可能性中算出最终的唯一排列。 它就是DeBruijn 序列,这个序列的原理很复杂,但效果很简单,就是从这样的序列中任意取出相邻n个数,它们的二进制排列一定不相同,这就意味着只要黑牌和红牌的排序出来,就只有一个唯一的解。 魔术虽然经典,但从创意到落地还是经历了非常多的困难 采访中,李博表示,从创意的排版到最终呈现,整个项目大致用了一个多月的时间,期间遇到了非常多的困难。 包括以下几个方面: 跨团队的资源调度和协调; 跟导演组的沟通以及如何快速迭代项目来应对变化; 如何对接演播当天音频、视频、导播车这些专业的直播设备,这一块困难非常大,任何一个设备的型号或者是线路出错都会造成直播事故; 直播中跟导播如何配合; 如何保持状态:整个团队在最后的彩排阶段非常疲劳,连续好多天工作到凌晨3点; 如何保证直播质量,因为是上亿人观看的直播,要有应急手段,要把所有可能发生的困难都提前做好预案。 大伙对于直播这种很专业的领域缺乏经验,现场的布线、设备的摆放、整个流程怎么走都要学习。 技术上实现难点在于场地、灯光、音效交混下的直播环境 通常这个魔术非常考验魔术师的记忆和推算能力。对ET来说,这些都不是难题。难的是整个过程中需要ET要具备高精确度、高实时性的视频识别能力,并用人类的语言和主持人沟通交流,因为直播现场环境非常复杂。 现场环境的复杂,体现在三个方面: 环境噪声的复杂性:如晚会活动现场, 有多个高功率的音响设备, 会场混响非平常办公室or家居场景可比拟的; 设备连接的复杂性:由于此次晚会涉及信号传输有7--8路, 除了音频信号还有视频信号, 各种设备之间互相干扰, 除了环境噪音之外, 还带来了大量的电流噪声干扰. 直播的特殊性:现场是对全球的实时直播,一切都是不可控的,任何情况都会出现。 “对于以上的问题, 我们做了以下应对。”阿里云iDST技术专家汪淼淼在接受采访时说,“一个是阿里云ET自身的能力,之前它已经在千差万别的场景中得到锤炼;第二个是在后台的模型算法方面, 通过带噪数据的不断学习, 使得最终模型获得了带噪数据的适应性和鲁棒性,从而提高了对于带噪信号的适应性, 当然各种场景下真实数据的反馈,也让模型不断学习&自适应, 获得了对各种复杂环境的适应性和识别效果的鲁棒性;第三个是加强对华少的适应性——通过对华少的一些历史数据的学习, 如华少主持过的节目《华少爱读书》《王牌碟中谍》等视频的学习, 使得ET更加适应华少说的话。” 阿里云人工智能ET的实力 阿里云微信公众号的一篇文章中指出,这场魔术秀背后是阿里云iDST技术团队研发的智能语音交互(Intelligent Speech Interaction)系统, 包含语音识别、语音合成、自然语言理解等技术。 通过学习录音资料,ET还能模仿指定个人的音色。 而在ET识别黑牌的过程中,应用到的就是人工智能的图像识别技术,其功能准确度达95%以上。 在观众抽取扑克牌时,ET已经完成了对5位观众的面部识别,并利用算法建立了器官轮廓定位,以便之后识别出是否有人转身。 之前ET检测出华少手上有新的物品,便触发了图像识别机制,“看出”华少手上多了一幅扑克牌。 目前,阿里云ET的人脸算法已经覆盖了人脸检测、器官轮廓定位、人像美化、性别年龄识别、1对1人脸认证和1对多人脸识别等多个方向,用机器学习的方法,包括卷积神经网络、Supervised Descent Method等,实现了高精度和高效的技术,人脸识别在LFW上识别率99.5%。 无论是语音识别还是图像识别,阿里云ET的底层都依赖于深度学习算法以及大规模计算能力。 一套复杂算法模型的训练往往需要千亿级别的样本数据,这就对背后的计算能力提出了很高的要求。 难忘的事:每个人都贡献出了自己的全部能力 作为整个项目的PM,傲海分享了项目过程中一些令人难忘的事。 他说,难忘的事情非常多。“直播前,品牌的同学为了跟导演组沟通台本,在现场几乎可以坐一个晚上;开发的同学凌晨三点多刚躺下,第二天早上就自发起来改各种需求;负责采购硬件的同学每天往返于各种设备市场;因为人手有限,UED同学甚至开始充当布线工程师,还到导播车帮忙监控项目的直播。”这些细节,李博都历历在目。 这位负责机器学习PAI的产品经理表示,整个团队真的是非常有勇气和战斗力,电视直播是他们从没涉及过的领域,大家可以在这么短的时间内开发整套项目,并且成功的呈现到电视机前,克服了非常非常多的问题。 “每个人都贡献出了自己的全部能力。”他最后说到。
导语:本文由Postgres中国区主席、阿里云数据库专家萧少聪所写。他多角度分享了在10月27日、28日在上海举行的PG大象会见闻:技术角度,分享了使用PG的业内代表;情怀角度,记录了大会期间的点点滴滴;当然也有一些福利,帅哥美女,且全是高清大图。 这是一届不一样的技术大会,在PostgreSQL业界也是史无前例的。在很多的技术大会中,技术产品的用户方都是以参会的角色到场进行学习,但赞助方通常都是产品的商业化服务公司。而2016年的“PG大象会”由平安科技及平安壹钱包进行冠名赞助,在中国,这是首次由一家用户单位作为总冠名举行的技术大会,可见Postgres中文社区在近几年的发展中确实得到了用户的高度认可。作为社区主席,同时也代表阿里云现场的代表之一,我很荣幸参与到今年大会当前,以下从一个参会者的角度给大家输送一些“干货”。 总结来说,这是一届:有技术、有情怀、有帅哥、有妹子的PostgreSQL盛会! 一、技术篇 今年的大会除第一天上午的主会场外,设立了不同话题的8个分场,内容分别为: PostgreSQL在金融行业的应用 GIS+JSON加速移动互联网及物联网发展 PostgreSQL迁移的最佳实践 PostgreSQL分布式及大数据实践 PostgreSQL应用实践、运维技巧 Not Only PostgreSQL PostgreSQL特性分析 PostgreSQL内核及技术研发 我们可以看到PostgreSQL今年在金融行业、物联网、互联网行业均出现了很多重点案例。而应用的范围也已经支撑到企业的核心系统之中,如: 平安科技 平安科技总经理 陈立明 表示,在过去的2年中已经在企业内部署了1000+个PostgreSQL实例,当中运行并包括核心系统的众多应用。同时平安科技数据库技术部总监 汪洋 表示,平安科技已经从数据管理的的角度针对PostgreSQL特性,自主实现了众多如同性能监控、DBA流程管理、自动分析等一整套企业级的数据库治理体系。这为金融业界使用开源PostgreSQL数据库提供了重要的案例,同时也将是行业宝贵的经验。近2年平安科技也通过众多不同的技术交流社区推广他们的PostgreSQL经验,大会上还表示,将取之于开源,用之于开源,可能会在今年将一些自研的PostgreSQL工具开源到社区。 探探科技 这是一个上线不到2年的APP,当前拥有有着4000万用户(相信年轻有 PAO友 们应该对这个APP不会陌生),已经为4亿人次“速配”成功。系统使用到大量GIS定位信息,让陌生人通过区域、路线、旅行计划等位置信息实现用户的交友平台。每天数据库事务操作年龄(相当于操作次数)近3亿,当中已经出现单表99亿+数据的Table,用户实时定位及查询信息均实现毫秒级返回。所有的这些都通过PostgreSQL进行支持,当前数据库服务器数量已经有百台之多。 阿里云 作为“PG大象会”最重要的技术合作伙伴,在今年大会的30多个议题中阿里云输出了8个话题,覆盖到了包括:PostgreSQL历史、应用开发规范、数据库迁移、分布式数据库实现、内核优化研发及MongoDB整合方面的内容。各主题分别有: PostgreSQL 数据库前世今生 - 周正中(德歌) PostgreSQL应用开发最佳实践 - 周正中(德歌) Oracle DBA的PostgreSQL转型之路 - 曾文旌(义从) sharding单元化(based on postgres_fdw)最佳实践 - 周正中(德歌) 阿里云ApsaraDB for Greenplum介绍 - 张广舟(明虚) PostgreSQL优化器浅析 - 范孝剑(康贤) PostgreSQL流复制优化 - 张文杰(卓刀) MongoDB分布式架构演进 - 张友东(林青) 可以看到,阿里云团队在中国PostgreSQL生态中已经成为了十分重要的支柱,当中 周正中(德歌) 在应用开发最佳实践中向PostgreSQL用户提出了“Postgres开发规约”。对于企业DBA及开发人员提供了管理及研发的标准规范,包括:命名规约、设计规约、管理规约、稳定性与性能建议、云数据库使用建议。通过开发规约,现场的互动环节中,现场观众均对于规约的提出表示十分赞赏,在后续的工作中也会与社区用户一同进行持续的优化管理。 曾文旌(义从)通过DBA的角度,为在坐很多Oracle的DBA提供了学习并转型到PostgreSQL开源数据库的最佳路径。当中在“常见误区”中为现场听众解析了如:MVCC机制、性能优化、存储管理管理等Oracle迁移中会遇到的众多误区,同时在现场为听众解答了多个问题。PostgreSQL在功能上已经与Oracle十分相近,除功能以外,在迁移过程中很多时候用户会反馈性能方面的问题。在这个议题中 义从 通过实际的案例,让用户清晰地了解到,只要进行一些内部机制的了解,并进行简单的语句或数据类型调整,性能就会与Oracle相当,甚至在一些场景中高于原有数据库。 二、情怀篇 400人对于一个在中国的技术会议来说,真的是太小了,动辄成千上万人的大会在神州大地比比皆是。但大家在Postgres中国用户大会中看到的一切,都来自于我们的志愿者,没有会务公司,没有全职工作人员,会场的点点滴滴都来自于志愿者的工余时间。 2016年是PostgreSQL诞生20周年,而在中国这是Postgres中国用户大会举办的第6个年头。Postgres的兄弟姐妹是最可爱的人,2016年中国运行的最好开源社区或许就是PostgreSQL中国社区。成为PostgreSQL中国社区的志愿者是一件让人自豪事,在这里我们看到的是自己理想中的技术,同时找到了路上志同道贺的人。在这里没有商业上的竞争对手,只有共同为Postgres数据库及开源技术发展而付出的伙伴。 今年我们还特意邀请了包括:MySQL、MongoDB、Hadoop、Redis社区的多位专家到场给我们分享各开源数据库技术如何与PostgreSQL进行互动,为用户提供综合性的解决方案。当中MySQL社区主席 叶金荣 的出席体现了开源社区的开放性,我们期待未来与各社区可以有更多的互动机会。 在此向Postgres志愿者们致敬,向参与到推动中国开源软件发展的可爱的人致敬! 三、帅哥、妹纸篇 最后,给大家送上福利。~~注意,前方高能! 2017年 Postgres中国用户会(PG大象会)2017 再见! 相关阅读: 【专题】干货满满:PG深入之道
上段时间,和数据库领域的一些朋友交流,他告诉云栖社区,XX厂商自建Redis出问题了,并表示最近不少自建Redis的中小公司也都陆续出问题。 对于为什么会出现这样现象,云栖社区记者就此采访了阿里云数据库高级技术专家子嘉,他谈了问题的根源——自建Redis的缺点: 可靠性低:如果数据走云盘做高可靠存储容易受网络波动干扰,如果不走云盘宕机数据易丢失,自建多副本运维很复杂,而且Redis本身的断网导致的全量同步机制对网络和运维的要求极高; 可用性低:自建单副本无法保证可用性,多副本对心跳检查和链路切换要求极高,传统的sentinel有很多缺陷,在执行复杂的keys flushdb等命令时很容易造成误切和雪崩; 诸多限制:自建集群方案如redis cluster,codis也有诸多限制,redis cluster需要smart client和非常专业的运维能力,codis的zk部署也相对比较重,而且为了容灾也要去做副本的HA,而目前的HA和上述sentinel有同样的问题; 安全性:自建Redis容易受到安全攻击,比如config set漏洞问题,lua安全漏洞等问题,当出现故障时也无法得到有效地救援和解决; 产品本身:从产品上,自建Redis无法实现弹性扩缩容,或者过程非常复杂,并且在扩缩容的过程中也非常容易出问题。 子嘉指出,而最根本的问题是如果要达到上述的可靠性、可用性与安全性,客户需要在看得见的成本之外付出更多的运维成本,而且还需要组建一直完备的技术团队。 他认为,对可靠性、可用性、安全性、资源弹性有诉求的产品,选用云Redis则是不二选择,尤其是阿里云Redis,因为它有以下优点: 云Redis采用两副本+备份的方式保证数据可靠性,本地SSD磁盘保证稳定性和性能,还有一整套的运维体系,针对原生Redis的缺点在内核上做了很多改进; 云Redis通过优化内核+自主研发HA来解决复杂命令超时问题,保证不会误切换,而且当主节点有故障发生时,会有秒级链路切换,最大保证可用性; 云Redis自主研发的集群模式兼容所有版本开源客户端,对client没有要求,接入方式和主从版一样,支持的命令也要比上述两个版本多,对于大家比较关心的成本问题,阿里云Redis也在推出小内存大QPS来解决 云Redis自主研发版本经过阿里内部安全渗透测试,而且在出问题时也会有一直专业的内核团队7*24及时救援和服务 在问题之外,子嘉也提到,因稳定、收缩强,阿里云云数据库Redis(Kvstore)版还曾获得央视技术保障商点赞,并特意发了一封感谢信过来,称赞阿里云Redis很强的伸缩能力和服务(相关报道见:因稳定、收缩强 阿里云云数据库Redis(Kvstore)版获央视技术保障商点赞)。 作为阿里云云数据库Redis技术负责人,他除了希望大家都能试试阿里云Redis的服务之外(阿里云Redis官网),也欢迎厂商或个人一起探讨Redis领域的技术难题。
上周三,MariaDB在其官网宣布,正式把阿里云数据库工程师彭立勋列为Mariadb基金会个人成员(Staff)。 作为Mariadb高级开发人员,彭立勋将主要从事Replication模块的优化;同时,他也致力于MariaDB在中国的普及以及技术社区工作。 彭立勋在接受云栖社区采访时表示,他是今年四月份收到MariaDB邀请的——询问他是否能以合适的方式在MariaDB中参与开源项目的开发。 “跟公司沟通之后,非常爽快的答应让我参与MariaDB基金会,以便更直接地为社区贡献我们的能力。” 为什么会被MariaDB基金会邀请担任个人成员,这位阿里云数据库高级专家解读称,从他个人角度来看有两个原因:一是时间和贡献积累的结果,从四年前Monty(指MySQL之父Michael Wideneus)第一次合并他的补丁,到目前已经至少给MariaDB贡献了小几万行代码,“虽然跟Monty占60%不能比,但也算是实现了一个小目标。”二是华人的贡献者越来越多起来,所以引入一个中文母语的成员已非常有必要。 对于担任MariaDB基金会个人成员的职责,彭立勋表示,如官网所说——主要负责Replication模块,具体则是:对全球社区贡献的Replication相关补丁进行Review,并合并到主干;与此同时,大中华区所有提交的补丁都会先看一遍,“毕竟我是MariaDB Committor中唯一一个讲中文的,跟贡献者沟通会比较方便。” 彭立勋指出,相比普通的Committor,需要对MariaDB的代码质量负起更多的责任。之前只需要提交,现在要负责Replication代码的Review和合并。“任何Replication的Bug都是我的过失。”他说,一旦把不稳定的代码放入主干,大家顺着Commit Log就能找到罪魁祸首。 在采访中,彭立勋也对他所负责的Replication模块进行了介绍。他认为,MySQL之所以当年能非常快的在互联网火起来,其中一个非常重要的原因就是MySQL可以非常方便的利用Replication模块复制出一个备库。 “Replication是最具备‘改装’潜力的模块,包括MySQL官方要做Group Replication。我之前也给MySQL/MariaDB贡献了Multi-Source Replication,可以实现多Master一Slave,还有我们阿里自己研发的Double-Sync Replcation协议等。”总之,Replication模块可以做很多事情,他欢迎大家贡献代码。 对于未来规划,除了对社区提交的代码认真Review外,彭立勋幽默地表示,也会“利用职务之便”,把AliSQL开源的通用功能合并到MariaDB,给更多主干代码的用户使用。 最后谈及担任MariaDB基金会成员意义时,这位在外人看来外冷内热的技术专家指出,这是阿里云更开放的标志,不仅维护自己的分支,也把其成果和能力直接的贡献给开源社区。 相关阅读 MySQL之父Michael Wideneus:有自己的电脑,我可以做任何事情 现场直击:中国人的数据库分支AliSQL开放源代码下载 功能新增秒杀场景优化、TokuDB
MySQL之父Michael Wideneus,在2016云栖大会上受到诸多追捧。 先是微博上,转发超过200,评论超过50条。有人评论:“可怕的不是人家很牛逼,而是人家这么牛逼还比你努力。”也有人热衷八卦,想了解他用的是什么系统、哪个发行版本?甚至他的电脑型号…… 为了满足大家好奇心,笔者走访了和Michael Wideneus接触的几位阿里云专家,以拼凑出一个云栖大会期间比较完整的Michael Wideneus。 再叙述之前,先来一组照片,展示下大神风采: 图1开场前10分钟,还在认真写代码的Michael Wideneus 图2 粉丝爆棚 图3 认真听分享的Michael Wideneus 图4 配音: 哈利路亚(画外音:你猜猜这是干吗?) 图5 信徒们……(解说图4和图5:Michael Wideneus感觉观众听了三个演讲已经累了,所以让大家跟他一起做这个动作,精神一下) 图6 Michael Wideneus在做分享 欣赏完,开始正题: “Michael Wideneus可以讲出很多故事。”暂时沦为接待的阿里云专家唐容说,在接这位MySQL之父到会场的路上,唐容问他有没有去展台转一转,他说I have no time to do this , I am just a programmer. “开场前还有20分钟,他就一个人打开电脑开始写代码,我问他需要什么,他说I am a programmer , I have my computer so i can do everything , I am good.” 如此简单,令人动容。因此,他也受到了在场多人的尊敬。 Michael Wideneus演讲结束后,在嘉宾提问环节,坐在第一排的一个大学生快速举手,起来以后他说:“我是一个学生,我没有问题,只想衷心的感谢您这么多年以来做的事情,感谢你对开源,对技术发展的帮助,我希望将来也能成为像你这样让人尊敬的人。” 同样表达尊敬的还有在场的工作人员。“同声翻译的工作人员说,‘光翻译,就能感觉到Michael Wideneus是一个非常高尚的人, 不亏是你们心中神一样的人物’。”阿里云数据库资深专家丁奇在微博中写到。 对于老爷子为什么受大家如此尊敬,唐容这么认为:“我感觉是他用三十多年的时间证实了自己所说的一切,他的高尚和被在场所有人发自内心的尊敬,都是来自他所做的一切。” 除了简单、专注、专业严谨外,丁奇还透露了一些Michael Wideneus的八卦:1.好记性;2.老爷子的酒量,和代码量一样惊人。 图7 MySQL之父和AliSQL之父褚霸的碰撞 值得一提的是,在14日开源专场论坛上,Michael Wideneus也和阿里云数据库研究员褚霸共同启动AliSQL开放下载仪式(Github下载地址:点此进入 ; 如果不想烦心,想直接使用,也可以使用RDS:点此进入)。 其间,他对陪伴左右的阿里云数据库高级专家彭立勋表示,这次来阿里,跟四年前来的感觉完全不一样,现在的阿里开放的多,对开源的态度也好的多。
PostgreSQL是世界上最先进的开源数据库,它诞生于1996年,是款支持SQL引擎的关系型数据库。 最近几年,包括以平安科技为代表的金融企业、用友畅捷通为代表的互联网财务及管理领域企业等都开始大量使用;与此同时,阿里云等各大云厂商、互联网企业也纷纷加入到PostgreSQL的阵营。 最新发布的9.6版本,也让人惊喜连连:允许用户纵向扩展(scale-up)和横向扩展(scale-out)来提高数据库的查询性能,新功能包括并行查询、同步复制改进、短语搜索、性能和易用性方面的改进,并提供了其他许多方面的功能。 随着PostgreSQL发展,以及国内应用范围的不断扩大,大家对线下技术交流的渴求也不断加深,尤其是2016年,PostgreSQL在中国发展获得突破最大的一年。 值得期待的是:下周——也就是2016年10月27日-28日PG大象会,将在上海浦东假日酒店举办。该会议不仅汇聚了各界PostgreSQL大拿,也是交流最新业界技术动态和真实应用案例的盛宴。 当然,对于PG粉而言,好消息不仅仅是这些,云栖社区特意和本次PostgreSQL用户大会举办方合作,特意为云栖社区用户提供280元门票的2折优惠注册码:OAMup6(小提醒:数量有限,先到先得),报名地址:点此进入 1.叙述你和PG的结缘经历或喜爱2.说出你想免费参会的理由3.只要给出以上任一评论+你的电子邮箱(电子票发到你邮箱中),且字数不低于200字,即有机会获得赠票。 如果你非常期待本次PG大象会,并且能够叙述出让我们心动的理由, 在本文(云栖社区)下方评论,或者在阿里云云栖社区官方微博上转发评论,符合上方所列条件者,我们会送出赠票,共10张(结果会在阿里云云栖社区官微公布)。 最后,我们来看看,你参加本次大会,会有哪些收获吧! 5大主题分会场,分享并探讨PostgreSQL在新互联网时代的技术架构。 1.PostgreSQL PostGIS+JSON加速移动互联网及物联网发展2.用户经验分享,PostgreSQL迁移的最佳实践3.各社区互动:No Only PostgreSQL (PG + MySQL/Redis/MongoDB/Hadoop/ES/云计算等)4.PostgreSQL的分布式架构设计(PG-XC/XL/X2/XZ、Greenplum等)5.PostgreSQL黑科技的实际使用(流式计算、LLVM等) 附录大会介绍: 自2011年以来,PG大象会(Postgres Conference China)已经举办至第6届。2016年大会由平安科技和平安壹钱包作为总冠名赞助商,中国Postgres用户会(China Postgres User Group,简称:CPUG)主办,是一场汇聚各界PostgreSQL大拿、交流最新业界技术动态和真实应用案例的盛宴。PG大象会的成功举办推动了PostgreSQL数据库在中国的发展,也起到了联系PG中国社区和国外社区的作用。 会议报名规模预计将超过500人,嘉宾阵容强大,特邀欧洲,俄罗斯,日本数据库方面专家助阵,国内顶级PostgreSQL数据库专家也悉数到场: Postgres-XL的项目发起人:Mason Sharp Pivotal公司Greenplum专家:陆公瑜 平安科技数据库技术部总监:汪洋 阿里云数据库专家:周正中(德哥),PostgreSQL中国用户会创始人之一 …… 嘉宾们所属的单位也都在业内享负盛名,包括: 国外企业:Pivotal(美国EMC旗下)、Coderbunker、Cloudera、Vitesse Data等 国内企业:平安科技、平安壹钱包、阿里云、山东瀚高、去哪儿网、探探科技、云徙科技、成都文武信息、飞象数据等 知名学府:武汉大学、上海师范大学、上海交通大学 PS:更为具体日程请见这里:点此进入 相关阅读: 专题干货:世界最高级的开源数据库——PostgreSQL深入之道
10月13日-16日,2016·杭州云栖大会在云栖小镇盛大召开,为期4天的科技大会有超过4万人报名参与,600多场主题峰会及分论坛,并有数千家创新创业企业代表参会,共同探讨云计算、人工智能、大数据、芯片、数据库、VR、科技金融、操作系统等主题。 在这场全球前沿技术共振的盛会上,各个领域的大佬都聊了什么?发表了哪些观点?本文汇集了这段时间有价值的内容。 看点 马云:“电子商务”将消失 新五通一平将引领未来 马云:真正的冲击来源于对未来的无知无畏 阿里巴巴集团技术委员会主席王坚:每个城市都需要数据大脑 王坚首部著作《在线》发布 马云作序“相见恨晚” “飞天”是科技创新变量 王坚云栖大会谈计算解放 阿里巴巴集团CTO张建锋:用计算和数据去改变整个世界 胡晓明:计算,探索未知的价值 阿里云首席科学家周靖人:数据智能引领产业变革 蚂蚁金服首席技术官程立:计算创新升级金融生活 菜鸟网络CTO王文彬:智慧互联 重构物流 阿里云资深总监李津:云进化,激活广阔未来 高德技术副总裁田密:智能定位带来的时代新机会 阿里云首席架构师唐洪:飞天,互联网规模的操作系统 不止降价丨云栖大会阿里云产品重磅发布盘点 阿里研究院:阿里巴巴人工智能应用的五部曲 看看云栖大会的这些“黑科技” 未来生活真让人期待 除了马老师云唱歌,2016杭州·云栖大会还有什么狠招? 一张图看懂阿里云中国区云产品降价细则 一份报告读懂人工智能的应用空间、发展阶段和未来竞争格局 Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑 基因行业陷入“怪圈”,数据存储成本竟然超过检测成本 阿里云宣布CDN服务支持HTTP/2 访问速度最高可提升68% 不谈电商但无所不在,云栖小镇上另一张面孔的阿里巴巴 阿里云抛出“重磅炸弹”:核心产品最高降50% 阿里云成为全国首家云等保试点示范平台 飞天进化三部曲 科技阿里实现蝶变 程序猿、攻城狮的大聚会 他们眼中的云栖大会是啥样 基因行业陷入“怪圈”,数据存储成本竟然超过检测成本 懂大数据的人工智能在云栖大会上唱主角 科技创新让很多距离在变得更近 云上安全,又稳又顺滑 阿里巴巴集团资深总监庄卓然:技术变革让新零售的未来充满想象 菜鸟携手阿里云 向全球物流企业提供物流云 全球首个VR 支付亮相,这一步中国领先 阿里云研究中心发布最新报告:人工智能未来制胜之道(附下载) 国家天文台结盟阿里云:计算100亿光年的数字宇宙 真实的科幻大片:杭州开始用人工智能ET治理城市 对话阿里云:人工智能时代已来 后APP时代破局之路:阿里技术“三大容器五大方案” 创无止境 YunOS云栖大会诠释万物互联 飞天进化三部曲 科技阿里实现蝶变 阿里云开放AliSQL数据库源码下载 原先药企研发要成千上万次实验 现在只要几天甚至几小时就搞定 法律机器人来了!“法小淘”现场秒算律师震惊全场 技术 中国人的数据库分支:ApsaraDB AliSQL 开源思路 飞天进化:从操作系统到人工智能 不止是动态化:Weex项目和阿里无线技术开源方向 Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑 蚂蚁金服与阿里云宣布启动“蚂云计划”:服务全球5万家金融机构 云栖大会盛大召开 已成全球一流科技盛会 详解阿里云技术核心——飞天 美柚:女性移动APP安全攻防战 开源大数据技术专场(上午):Spark、Hbase、JStorm应用于实践 现场直击:中国人的数据库分支AliSQL开放源代码下载 功能新增秒杀场景优化、TokuDB 发布 AMD与阿里云达成战略合作 联合发布弹性GPU云计算产品 连接万物,无处不在 阿里巴巴创新业务YunOS携重磅发布亮相云栖大会 阿里云宣布CDN服务支持HTTP/2 访问速度最高可提升68% 阿里云推出云通信方案 具备短信、语音、流量、推送等7大服务 菜鸟携手阿里云 向全球物流企业提供物流云 Docker与阿里云达成战略合作 为企业级客户提供容器服务 视角以及其他 阿里大咖谈工程师成长:主动承担责任,才有大进步(视频) 2016杭州·云栖大会 DAY 1|科幻成真 程序猿、攻城狮的大聚会 他们眼中的云栖大会 【新书来了!一本书集讲述《云栖之路》(附下载) 一册通关!《阿里云产品V5.0》完整版下载
本PPT来自阿里巴巴淘宝移动平台资深无线技术专家天施在2016云栖大会上的演讲。 这是开发者正在书写的峥嵘岁月。受益开源,回馈社区。阿里巴巴集团已经开源115个项目,并正式加入FSF基金会,Apache基金会,linux 基金会和Xen的顾问团队,并在云栖大会北京峰会宣布AliSQL开源、杭州云栖大会上正式开放源码下载。与此同时,天施在杭州云栖大会期间分享了Weex项目介绍、起源与现状、Weex开源与社区,以及阿里移动技术开源。
Mysql之父和Alisql 之父的碰撞 北京时间10月14日消息,阿里云研究员褚霸在云栖大会《云栖社区开发者技术峰会——开源技术专场》分论坛上,和MySQL之父、Maria DB CTO Michael Wideneus共同启动AliSQL开放下载仪式,并现场放出AliSQL二维码下载地址(GitHub地址:点此进入 )。 正式下载的版本号和9月份内测时一致,都是5.6.32,但功能上稍有不同,正式下载版新增了两个功能:秒杀场景优化、TokuDB。 根据9月份的测试结果显示,AliSQL5.6.32对比Oracle官方MySQL版本,有非常高的吞吐量提升,最高达到1倍。在实用性方面,知数信息联合创始人、MySQL中文网创始人叶金荣在《AliSQL 5.6.32 vs MySQL 5.7.15抢鲜测试》一文中指出,AliSQL的功能非常实用,其优化是从日常的业务痛点中得到的体验做出来的改变,对类似电商或提供RDS服务的平台帮助非常大。 谈到为何开源,褚霸在《中国人的数据库分支——ApsaraDB AliSQL开源思路》演讲中表示,最根本的目的是想回馈社区,帮助更多使用 MySQL 的个人和企业;同时也希望通过开源促进交流,在讨论中发现AliSQL潜在的需求和改进点,促进产品的发展以及对RDS产品的理解。 这位阿里云数据库领域的大佬也分享了AliSQL前世今生。在性能优化之外,RDS业务还对AliSQL分支提出了更多运维、安全性、以及行业解决方案等需求。比如,性能:引入线程池、并行复制等功能,保证系统持续稳定和高吞吐;运维:线程内存、SQL资源消耗等监控,帮助用户快速进行问题诊断;安全:透明数据加密,严防脱库源码级防火墙,阻断SQL注入;方案电商秒杀:高并发下稳定减库存,物联网大数据——最高5倍压缩比。在生产环境服务了5年的云用户,Patch数达300个之后,阿里云决定决定对AliSQL开源。 对于开源后怕不怕影响RDS竞争力,褚霸回应两点:一点是,优化是没有止境的; 另外一点则是RDS不是卖AliSQL的,它的核心竞争力是一整套高可靠、高可用、安全的数据库解决方案。 此前,阿里云数据库资深专家丁奇曾表示,只要RDS业务在,AliSQL就一定会有人持续维护。在现场,褚霸也放出了对AliSQL的部分规划,主要为以下三点: 1.邀请用户自建测试并发表体验; 2.开放源码以后,会增加需求通道,对于有代表性的,能够服务垂直行业的需求开发和维护,让AliSQL和RDS用户能够同步受益; 3.增加AilSQL contributor 认证, github上review和合并contributor的merge request。同时,也定期组织contributor聚会和技术交流。 相关阅读: 1.[ AliSQL 开源 ] 问题的一些说明 2. AliSQL 5.6.32 vs MySQL 5.7.15抢鲜测试 3. 如果你不想自己开发,还可以使用阿里云云数据库RDS:点此进入 4.想了解更多阿里巴巴开源的产品,还可查看阿里巴巴73款产品开源全向图:点此进入
杭州·云栖大会将于2016年10月13-16日在云栖小镇举办,在这场标签为互联网、创新、创业的云计算盛宴上,众多行业精英都将在这几天里分享超过450个演讲主题。 为了帮助大家进一步了解这场全球前言技术共振盛会的内容,云栖社区采访了各个论坛的大咖,以飨读者。 以下为正文: MySQL之父、MariaDB CTO Michael Widenius 阿里云高级技术专家彭立勋在内部分享的一篇文章中写到——Michael Widenius是值得敬仰的数据库大神,“让人敬佩的白发程序员”。 Michael Widenius作为MySQL第一行代码的作者,其与两位好友一起成立了MySQL AB。而在MySQL AB被Sun收购之后,其创立了Monty Program AB,并接过MySQL的代码继续开发新的分支——MariaDB。 2014年,Monty Program AB与SkySQL AB合并,Michael Widenius又成立了MariaDB Corporation,开始商业化运作MariaDB,他继续担任新公司的CTO,同时还兼任MariaDB基金会的CTO。 需要指出的是,Michael Widenius还在今年7月21日来阿里巴巴做了一场分享,主要内容如下: 分享了MySQL的整个发展历史,从他在34年前开始写第一行代码,到后来如何决定将MySQL开源,以及MySQL如何变得越来越普及,再到MySQL AB被Sun收购,最后又被卖给Oracle,分享了许多大家所不知道的内部的故事和他们当时的思考。 还分享了MySQL,MaxDB,MariaDB这些项目的名称的由来,My是他的大女儿的名字,Max是他儿子的名字,Maria是他小女儿的名字,以及MySQL的正确发音,Monty给出了标准答案/maɪ es kjuː ɛl/,或者是/mjuː es kjuː ɛl /,因为My是一个芬兰语名字,所以也可以用后者芬兰语发音。 给大家展示了他早年怎么开始学习计算机以及开始编程的。从最古老的计算器——德州机器Ti-58,再到当民工搬砖在赫尔辛基修路赚钱买了最早的个人计算机ABC-80,再升级到Sun SPRAC开始正式进行了MySQL早期的开发,后来跟好友成立MySQL AB。 老爷子一辈子就在做MySQL相关的代码,今年他54岁了,还要亲自参与写代码,并且负责大部分Code Review工作。谁说程序员只能做到30的。阿里云彭立勋称,他与Monty在MariaDB基金会合作Review的时候,Monty最常说的话就是:”That’s easy, one day” “That’s easy, 15 mins”,诸如此类,无时无刻不在跪拜老爷子对这些代码真的是熟到全在脑子里的地步。 至于为什么创立MariaDB,Michael Widenius称,他需要一个能永远保持开源的MySQL替代品,因此他吸取了MySQL AB的教训,把MariaDB的版权授予了MariaDB基金会,这是一个NPO(非营利性组织),依靠捐赠运营,以保证MariaDB永远开源,而不会因为MariaDB Corporation的兴衰或者被收购而导致MariaDB的版权被收购或流失。同时MariaDB Corporation通过售卖MariaDB/MySQL的服务来赚钱,为MariaDB基金会提供MariaDB的持续开发资源。 然后作为一个技术人,Michael Widenius聊了一下MariaDB对MySQL原版的改进,以及他吸收了所有的MySQL AB原厂工程师而具备的更强的开发能力和对MySQL源码更好的理解,例如在高并发场景下,MariaDB通过简单的代码优化,就远远超过了MySQL 5.7及其复杂的修改所获得的收益。以及MariaDB实现了真正的完全并行的备库多线程复制,可以让备库的性能超越主库,避免延迟。 最后,Michael Widenius还分享了MariaDB未来计划的新功能,以及正在进行的开发工作,如何从MySQL迁移到MariaDB,以及他们之间的兼容性问题。 在本次云栖大会上,这位MySQL之父将分享《《How to create a successful open source project》的议题,向大家讲述许多外界所不知道的开源故事以及开源项目的深入思考。
导语:DT时代,一切都将走向数据化,可视化。在阿里云所阐述的“技术拓展商业的边界,商业驱动技术的变革”理念中,密集发布的新技术与产品让业内更加震撼,让用户更为惊喜。阿里云逐步实现了“将计算能力变成像水电一样的基础设施”的目标,走向“为了无法计算的价值”。 阿里云产品全向图第一版在今年6月份发布后,收到很大的反响。仅仅一天多的时间:全向图阅读数就破万、收到上百封打印版高清图索求邮件,以及“攻破”不少人的朋友圈。 三个月过去了,阿里云产品又得到了进一步丰富和扩展。尤其是针对各行业业务特性,推出了包括电商、音视频、移动APP、物联网、金融、医疗、O2O等行业领域的个性化解决方案,力求为用户提供一站式的产品与服务。 正如此前的期待一样——为了帮助更多朋友一目了然地知道阿里云现在提供的所有产品和服务,并可以依照IT系统发展脉络理清产品和服务之间的内在联系,进而充分利用新技术实现业务梦想,云栖社区在9月底又更新了“2016阿里云产品全向图和解决方案全向图”。 2016阿里云121款产品和解决方案全向图(9月制)点击图片可下载大图。 全向图之外,我们也为各个开发者准备了一场技术盛宴:杭州云栖大会报名 2016阿里云121款产品和解决方案全向图(9月制)详细介绍如下: 一、云计算基础服务 弹性计算 1.云服务器ECS:是一种简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本,使 您更专注于核心业务创新。 2.弹性伸缩:根据用户的业务需求和策略,经济地自动调整其弹性计算资源的管理服务,能够在业务增长时自动增加ECS实例,并在业务下降时自动减少ECS实例。 3.E-MapReduce:构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 4.容器服务:是一种高性能可伸缩的容器管理服务,支持在一组阿里云云服务器上通过Docker容器来运行或编排应用。 5.高性能计算HPC:提供一种性能卓越、稳定、安全、便捷的计算服务,帮助您快速构建处理能力出色的应用,解放计算给服务带来的压力,使您的产品在计算效率上具有非凡竞争力。 6.批量计算:是一种适用于大规模并行批处理作业的分布式云服务。 数据库 1.云数据库RDS:是一种稳定可靠、可弹性伸缩的在线数据库服务。 2.云数据库MongoDB版:基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。并提供专业的数据库 在线扩容、备份回滚、性能优化等解决方案。 3.云数据库Redis版:是兼容开源Redis协议的 Key-Value 类型在线存储服务。 4.云数据库Memcache:是在线缓存服务,为热点数据的访问提供高速响应 5.PB级云数据库PetaData(邀测中):是支持PB级数据存储的分布式关系型数据库。 云数据库Greenplum版(邀测中):是基于Greenplum开源数据库项目的MPP大规模并行处理数据仓库产品,提供全面的SQL支持(包括符合SQL2008标准的OLAP分析函数),业界流行的BI软件都可以直接使用Greenplum进行在线业务分析。 6.云数据库OceanBase(邀测中):是一款阿里巴巴自主研发的高性能、分布式的关系型数据库,支持完整的ACID 特性。 7.数据传输:该服务支持以数据库为核心的结构化存储产品之间的数据传输,它是一种集数据迁移、数据订阅及实时同步于一体的数据传输服务。 8.数据管理(公测中):支持MySQL、SQL Server、PostgreSQL、Redis 等关系型数据库和 NoSQL 的数据管理。 存储与CDN 1.对象存储OSS:是阿里云提供的海量、安全和高可靠的云存储服务。 2.块存储:阿里云为云服务器ECS提供的低时延、持久性、高可靠的数据块级随机存储。 3.文件存储(公测中):是面向阿里云ECS云服务器的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等 特性的分布式文件系统。 4.表格存储:为构建分布式NoSQL数据存储服务,提供海量结构化数据的存储和实时访问。 5.归档存储:作为阿里云数据存储产品体系的重要组成部分,致力于提供低成本、高可靠的数据归档服务,适合于海量数据的长期归档、备份。 网络: 1.负载均衡:是对多台云服务器进行流量分发的服务。 2.专有网络VPC:帮助您在阿里云平台上快速搭建完全隔离的、安全的虚拟专有网络。 3.高速通道:是一款便捷高效的网络服务,用于在云上的不同网络环境间实现高速、稳定、安全的私网通信,包括跨地域/跨用户的VPC内网互通、专线接入等场景,有效的帮助您提高网络拓扑的灵活性和跨网络通信的质量和安全性。 4.CDN:将源站内容分发至全国所有的节点,缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性,解决网络带宽小、用户访问量大、网点分布不均等问题 5.NAT网关:是一款企业级的高性能VPC公网网关,提供SNAT、DNAT等NAT代理转发方式,支持多IP共享公网带宽,提供跨可用区的高可用能力、超过5Gbps的带宽吞吐能力、1000万以上的并发连接能力。 管理与监控: 1.云监控:是一项针对阿里云资源和互联网应用进行监控的服务。 2.访问控制:是一个稳定可靠的集中式用户身份与权限管理服务。 3.资源编排:是一款帮助阿里云用户简化云计算资源配置和维护的开放服务。 4.操作审计(公测中):会记录您的云账户资源操作,提供操作记录查询,并可以将记录文 件保存到您指定的 OSS 存储空间。 5.密钥管理服务(公测中):是一款安全易用的管理类服务。 应用服务: 1.日志服务:是针对日志类数据一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。 2.开放搜索:是解决用户结构化数据搜索需求的托管服务,支持数据结构、搜索排序、数据处理自由定制。 3.消息服务:是阿里云商用的消息中间件服务。与传统的消息中间件不同,消息服务一开始就是基于阿里云自主研发的飞天分布式系统来设计和实现,具有大规模,高可靠、高并发访问和超强消息堆积能力的特点。 4.性能测试:是全球领先的SaaS性能测试平台,具有强大的分布式压测能力,可模拟海量用户真实的业务场景,让应用性能问题无所遁形。 5.邮件推送:是一款简单高效的电子邮件发送服务,它构建在可靠稳定的阿里云基础之上,帮助您快速、精准地实现事务邮件、通知邮件和批量邮件的发送。 6.API网关:提供高性能、高可用的API托管服务,帮助用户对外开放其部署在ECS、容器服务等阿里云产品上的应用,提供完整的 API 发布、管理、维护生命周期管理。 7.物联网套件(公测中):是阿里云专门为物联网领域的开发人员推出的,其目的是帮助开发者搭建安全性能强大的数据通道,方便终端(如传感器、执行器、嵌入式设备或智能家电等等)和云端的消息通信。 互联网中间件: 1.企业级分布式应用服务EDAS:是企业级互联网架构的核心服务。 2.消息队列:是企业级互联网架构的核心服务,基于高可用分布式集群技术,搭建了包括发布订阅、接入、管理、监控报警等一套完整的高性能消息云服务。 3.分布式关系型数据库服务DRDS:是具备大规模数据实时存储、更新、检索、面向OLTP同时具备轻量OLAP能力的分布式关系型数据库产品。 4.云服务总线CSB(公测中):是一个基于高可用分布式集群技术构建的服务API开放平台,帮助企业打通内外新旧系统,实现跨技术平台、跨应用系统、跨企业组织的服务能力互通。 5.业务实时监控服务ARMS(公测中):是一款端到端一体化实时监控解决方案的PaaS级阿里云产品。 移动服务: 1.移动数据分析(公测中):是阿里云推出的一款移动App数据统计分析产品,为开发者提供一站式数据化运营服务。 2.移动推送:是基于大数据的移动云服务,帮助App快速集成移动推送的功能,在实现高效、精确、实时的移动推送的同时,极大地降低开发成本。 3.HTTPDNS:是面向移动开发者推出的一款域名解析产品,具有域名防劫持、精准调度的特性。 视频服务: 1.视频点播:是集音视频上传、自动化转码处理、媒体资源管理、分发加速于一体的一站式音视频点播解决方案。 2.视频直播:是基于领先的内容接入与分发网络和大规模分布式实时转码技术打造的音视频直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频直播服务。 3.媒体转码:是为多媒体数据提供的转码计算服务。 二、大数据(数加) 数据应用: 1.推荐引擎(公测中):是一款用于实时预测用户对物品偏好的数据工具。 2.公众趋势分析:基于全网公开发布数据、传播路径和受众群体画像,利用语义分析、情感算法和机器学习,分析公众对品牌形象、热点事件和公共政策的认知趋势。 3.数据集成(公测中):是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云各个云产品(包括MaxCompute、Analytic DB、OSS、OTS、RDS等)提供离线(批量)数据进出通道。 4.数据市场相关API及应用 数据分析展现 1.DataV(公测中):让企业创造自己的双 11 指挥大屏。 2.Quick BI:大数据商业智能套件提供海量数据实时在线分析,拖拽式操作、丰富的可视化 效果,帮助您轻松自如地完成数据分析、业务数据探查。 3.画像分析:画像分析将您分布在多个存储资源的数据整合起来,在标签模型上构建大数据 画像类的交互式分析应用,让您的业务人员可以自由灵活的分析这些对象各种属性与行 为之间的关联性。 4.郡县图治:让政府创造自己的指挥大屏。 人工智能 1.机器学习:构建于阿里云MaxCompute、GPU等计算集群之上,汇集了阿里集团大量优质分布式算法,包括数据处理、特征工程、机器学习算法、文本算法等,可高效的完成海量、亿级维度数据的复杂计算,给业务带来更为精准的洞察力。 2.智能语音交互(公测中):基于语音和自然语言技术构建的在线服务,为智能手机,智能电视以及物联网等产品提供“能听、会说、懂你”式的智能人机交互体验。 3.印刷文字识别(公测中):提供光学字符识别(OCR)的在线服务,包括自然场景图片的中英文文字检测和识别。 4.人脸识别(公测中):人脸服务是一款用于提供图像和视频帧中人脸分析的在线服务。 5.通用图像分析(公测中):是一款面对通用类型图像的综合分析在线服务,便于开发者和企业在自己的应用中快速嵌入图像分析技术。 6.电商图像分析(公测中):提供一些与电商相关的图像分析技术的在线API给开发者和企业使用。 7.机器翻译(公测中):基于阿里巴巴海量电商数据结合机器学习、自然语言处理技术,实现多语言语种识别与自动翻译功能,为跨境电商信息本地化与跨语言沟通上提供精准、快捷、可靠的在线翻译服务。 大数据基础服务 1.大数据开发套件:提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为您提供一个高效、安全的离线数据开发环境 2.大数据计算服务(MaxCompute):是一种快速、完全托管的TB/PB级数据仓库解决方案。 3.分析型数据库:是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。 三、安全(云盾): 防御: 1.服务器安全(安骑士):企业级安全运维管理平台,通过云+端数据联动,提供服务器入侵防护和安全管理服务。 2.Web应用防火墙(网络安全):大数据安全能力配合阿里十余年Web攻防经验,保障网站安全、可用。 3.加密服务(数据安全):是云上的数据安全加密解决方案。 4.数据风控(业务安全):数据风控由阿里聚安全提供,是基于阿里大数据计算能力,通过业内领先的风险决策引擎,解决企业账号、活动、交易等关键业务环节存在的欺诈威胁,降低企业经济损失。 5.移动安全:基于阿里聚安全的核心技术,为移动应用(APP)提供全生命周期的安全服务,其能够准确发现应用的安全漏洞,恶意代码,仿冒应用等安全风险;通过应用加固和安全组件等功能,大幅提高应用反逆向、反破解能力。 6.数据安全险(安全服务):是众安保险针对阿里云用户推出的信息安全综合保险。 7.DDoS高防IP(网络安全):DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量的 DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量 引流到高防 IP,确保原站的稳定可靠。 8.安全管家(安全服务):是阿里云安全专家基于阿里云多年安全最佳实践经验为云上用户提供的全方位安全技术和咨询服务,为云上用户建立和持续优化云安全防御体系,保障用户业务安全。 9.绿网(内容安全):基于阿里巴巴多年的技术沉淀和海量的数据支撑,提供文本、图片、视频等多媒体 内容安全检测的接口服务。 10.CA证书服务(数据安全):是阿里云和生态合作伙伴进行合作,为阿里云客户提供的证书管理功能,对于需要使用数字证书的应用提供一站式解决方案。 11.合作伙伴产品中心:是阿里云安全合作伙伴产品的统一管理平台。 检测 1.态势感知:态势感知是一个大数据安全分析平台。 2.先知(安全情报):提供私密的安全众测服务,可帮助企业全面发现业务漏洞及风险,按效果付费。 四、域名与网站(万网): 域名注册 1.com:com为company简称,表示公司企业。 2.xin:音同“信”,意为诚信、信任、信赖! 3.cn:.cn域名是由我国管理的国际顶级域名,是中国自己的互联网标识,cn一般代表中国,它体现了一 种文化的认同、自身的价值和定位。 4.net:.net是国际最广泛流行的通用域名格式。 云虚拟主机 1.独享云虚拟机主机:独立IP、不限流量、独享服务器资源,易推广,更快速 2.共享云虚拟机主机:高性价比,品牌保证 3.弹性Web托管 域名交易与转入 1.域名交易:基于支付宝担保交易打造的域名交易平台,为买卖双方提供安全、便捷的域名交易服务。买卖域名,像淘宝一样简单! 2.域名转入 网站建设 1.模板建站 2.企业官网 3.商城网站 域名解析 1.云解析DNS:是一种高可用性、高可扩展的权威DNS服务和DNS管理服务。 2.移动解析HTTPDNS:是面向移动开发者推出的一款域名解析产品,具有域名防劫持、精准调度的特性。 阿里邮箱 1.企业邮箱 五、解决方案 通用解决方案 1.网站解决方案:阿里云依据网站不同的发展阶段,提供更合适的架构方案,有效降低网站的开发运维难度和整体IT成本,并保障网站的安全性和稳定性,节约大量的人力和资金投入。 2.移动APP解决方案:阿里云移动APP解决方案,助力开发者轻松应对移动app中随时可能出现的用户数量的爆发式增长、复杂的移动安全挑战等问题。 3.专有云解决方案:通过在客户自己的数据中心内交付完整的阿里云软件堆栈,阿里云专有云帮助政企客户向混合云架构平滑演进,实现从IT时代快速向DT时代转型。 4.混合云解决方案:通过混合云,带给企业先进的大数据、云服务、安全可靠的互联网新技术,以及“海量”的计算、存储、网络、CDN、BGP资源,帮助企业快速、弹性、安全、高可靠、低成本的发展自身的业务。 行业解决方案 1.电商解决方案:结合大数据能力帮助电商企业快速搭建平台、应对业务高并发,剖析秒杀、视频直播等场景。 2.金融解决方案:为金融行业提供量身定制的云计算服务,具备低成本、高弹性、高可用、安全合规的特性。帮助金融客户实现从传统IT向云计算的转型,为客户提供完整的“云.端.数”的能力。 3.医疗解决方案:融合云计算、大数据优势,连接用户、医疗设备、医疗机构以及医疗ISV,致力于构建医疗行业云生态。 云计算弹性可扩展,帮助医疗健康行业创新应用更“轻”更高效。 4.渲染解决方案:基于阿里云超强的计算和海量存储能力,整合视觉行业生态的力量,面对影视、广告、建筑、家装、数字舞美、工业设计、游戏、虚拟现实和增强现实等行业及渲染农场的渲染需求,提供IAAS、PAAS、SAAS多层次渲染解决方案。 5.O2O解决方案:结合酒店、POS支付、WIFI接入等各类型O2O场景,为行业客户提供高质量低成本的网络、计算、存储、大数据等基础资源, 助力O2O客户走进互联网的“场景时代”。 6.能源云解决方案:为能源行业提丰富的专业化云端业务与技术解决方案,帮助能源运营商、服务商快速搭建标准化或定制化商业平台,实现业务应用的灵活开发与落地,构建能源互联新生态。 7.音视频解决方案:一站式提供“海量存储、高效分发、极速网络”等强大服务, 轻松坐享CCTV-5、新浪微博、知乎等量级的传播能力。广泛应用于 游戏直播、娱乐直播、泛生活直播、 教育类、 远程医疗、 企业远程视频会议等典型场景。 8.游戏解决方案:以阿里云成熟的商业化云服务为基础,为游戏开发者、运营企业提供专属集群、尊享VIP服务、专项扶持基金、及多场景多类型的游戏部署解决方案,帮助中小型游戏企业快速成长。 9.政务解决方案:立足于对政务信息化的深刻理解,在云计算和大数据技术上持续创新,构筑开放共享、敏捷高效、安全可信的政务云基础架构,并通过与政府行业的集成商和ISV密切合作,开启政务上云新时代。 10.物联网解决方案:基于高性能、低成本、灵活扩展的阿里云计算定制的物联网解决方案, 助力传统硬件厂商和中小平台服务商快速搭建稳定可靠、安全可控的物联网平台,实现顺利转型、升级。 11.生物基因解决方案:基于阿里云快速搭建海量基因数据上传、存储到分析挖掘的一体化解决方案。极大提升基因数据的解读效率,为精准医疗助力! 专项解决方案 1.安全解决方案:多层防护+云端大数据。 2.云存储解决方案:提供安全可靠、低成本、弹性扩展的存储服务 3.容灾解决方案:帮助应用系统在设计和部署时,达到高可用,确保数据不会丢失,保证应用和业务的恢复时间远远小于数据中心或物理设备的恢复时间,降低容灾系统建设成本增加和管理维护难度。 4.企业互联网架构方案:在阿里巴巴电商业务环境沉淀下来的互联网中间件,其优秀的架构设计理念,以及大型分布式系统数据化运营能力,帮助企业用户快速构建大型分布式应用,支持业务需求快速创新,助力传统企业快速互联网+转型。 5.应用交付网络解决方案:是传统硬件负载均衡相关产品和技术的集合,主要包含本地负载均衡、全局负载均衡、安全、地址转换和网络加速等功能。 大数据解决方案 1.个性化推荐:根据用户的兴趣特点和购买行为,推荐用户感兴趣的信息和商品。建立在海量数据挖掘基础之上,为用户提供完全个性化的决策支持和信息服务 2.大数据仓库:阿里云为您提供包括从数据采集、数据存储、数据加工、数据管理、数据运维调度等完整的数仓解决方案。 3.云上数据集成方案:提供可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展的数据传输交互服务,有效帮助您解决云环境、个人站点环境下异构数据存储系统的数据互通难题,让您数据不再成为孤岛!助您实现大数据分析和实时商务智能。 4.路况预测:实时预判的路况预测系统,提供从5分钟到未来1小时精准度高达92%的路况拥堵的预测,为交通部门提供实时排堵疏导方案支持,为用户提供智慧出行计划指导 5.企业级数据服务解决方案:深度挖掘企业与企业、企业与人物的关系,通过多位交叉分析及智能算法,构建基于企业全息画像和企业关系网络的风险洞察、市场监测、品牌监测、潜客挖掘等企业级服务。 6.台风路径分析(公测中):在台风来临前提供实时的各气象台预报数据对比展示分析,判断台风未来的走向及汛情。
杭州·云栖大会将于2016年10月13-16日在云栖小镇举办,在这场标签为互联网、创新、创业的云计算盛宴上,众多行业精英都将在这几天里分享超过450个演讲主题。 为了帮助大家进一步了解这场全球前沿技术共振盛会的内容,云栖社区汇集了各个分论坛的技术大咖采访文章,以飨读者。(资料陆续更新中,请持续关注) 1.专访阿里云域名与网站业务总经理宋瑛桥:域名未来将更加个性化、生态化和规范化 2.专访阿里云高级专家金建明:企业IT管理服务未来将更加智能化、自动化 3.专访阿里巴巴B2B事业群高级专家鲁小川:CI&CD的核心还是在于高效稳定的自动化 4.专访MongoDB官方大中华区首席架构师唐建法:MongoDB将会领导数据处理新趋势 —— 一个操作型的数据平台 5.专访PostgreSQL社区全球技术领袖Oleg Bartunov:飞速变革的世界,只有开源技术才能满足新的需求 6.专访阿里云高级技术专家吴威:Kafka、Spark和Flink类支持流式计算的软件会越来越流行 7.专访平安科技数据库技术专家梁海安:数据库运维未来很大一部分工作会被平台或工具代替 8.专访 ShineScrum公司创始人Jim Wang(王军):组织架构会发生颠覆性的变化,自治团队和团队单元会成为主体 9.专访HDFS committer Intel 研发经理郑锴:EC之后,HDFS下一步新思考 10.专访阿里巴巴淘宝事业部前端开发专家子宽:界面动态化技术是大前端领域的新方向 11.专访Pivotal公司Greenplum研发总监姚延栋:Greenplum开源的这一年 12.专访新浪微博资深运维架构师王关胜:微博混合云,极端流量下的峰值应对与架构挑战 13.专访高德地图开放平台的负责人童遥:跨机房同步和多路写入Redis集群方案将得到充分发展 14.MySQL之父、MariaDB CTO Michael Widenius:创立MariaDB,是希望有一个永远保持开源的MySQL替代品
据阿里云数据库团队透露,日前他们收到了一份特别的礼物——一封感谢信。 感谢信 这封感谢信来自央视技术保障商——北京中视广信科技有限公司,这是中央电视台旗下唯一从事信息技术开发和集成的公司,也是国内广电行业最大的IT软件开发商和技术服务提供商。他们在信中称,通过多次实践证明,阿里云云数据稳定性极高,每次使用阿里云,都能够让他们安心踏实的为央视这样的超级用户提供服务和技术支持。 “阿里云计算有很强的伸缩能力,非常适合伸缩的业务。”中视广信公司表示,这是一个非常默契和稳定的合作,因为他们所专长的视频类型业务伸缩性比较大。 相关数据统计 除了对产品表达肯定之外,他们也对阿里云的服务进行了称赞,在启航2016跨年晚会前,阿里云项目组和他们的相关业务人员共同调试,解决了一系列技术问题,同时还一起坚守到次日凌晨两点,确保了跨年晚会活动完美成功。“到目前为止,今年已过大半,历次节目播出中没有出过播出事故。”中视广信公司非常感谢阿里云云数据库团队,在央视网络化进程中起到的积极作用。 阿里云Redis(kvstore)版产品负责人王义成(花名:挚尤)称,很高兴收到中视广信的感谢信,衷心感谢中视广信和央视对阿里云Redis(kvstore)团队的认可,以及对阿里云的信任和支持。“有了你们的信任,我们的工作会更加有信心和动力;有了你们的支持,阿里云kvstore产品稳定性和产品体验也能得到进一步提升。”他指出:“阿里云kvstore产品所取得的每一点进步,都离不开客户的关注、信任、支持和参与。客户的每一次参与、每一次建议都促使产品的改善与进步。我们会更加用心,努力做的更好。” 王义成表示,阿里云云数据库Redis(kvstore)产品从2015年初正式对用户开放使用,中间得到了很多用户的支持与信任——让阿里云Redis(kvstore)承载着用户核心业务系统。他欢迎其他用户来使用阿里云云数据库Redis(kvstore)产品,让阿里云Redis(kvstore)助推你的业务发展! 据悉,云数据库Redis(kvstore)基于飞天分布式系统和全SSD盘高性能存储,支持主备版和集群版两套高可用架构。提供了全套的容灾切换、故障迁移、在线扩容、性能优化的数据库解决方案。针对视频直播、游戏、广告等行业有着非常广泛的应用场景,能够非常有效的支撑互动类高并发的业务。 相关阅读: Redis(kvstore)官网:点此进入 购买链接:点此进入