2016年北京中国云计算技术大会见闻-阿里云开发者社区

开发者社区> 阿里云EMR> 正文

2016年北京中国云计算技术大会见闻

简介: 广告有,技术也有。云化是方向,新技术需要很强的把控力;spark还是最火的。

概述

笔者有幸受邀请参加中国云计算技术大会,感谢主办方CSDN。此次大会有3天,第一天全部为topic,随后分为了若干个场次,有《Container技术峰会》、《大数据核心技术与应用实战峰会》、《云计算核心技术与架构》,第三天为《中国Spark技术峰会》、《OpenStack技术峰会》、《亚马逊AWS专场》,笔者基本一直在《大数据核心技术与应用实战峰会》与《中国Spark技术峰会》场次。

由于笔者关注在大数据方面,对OpenStack、Container没有去听。本文主要走马观花几句话讲述下笔者听的一些场次的见解,讲述的是什么,如果需要详细了解,请自行google或者联系演讲嘉宾。

PS:北京的天气还是可以的
screenshot

第一天

基本就是各家云厂商在做广告

  • 《开启共享经济云计算时代》讲述了怎么利用共享经济做CDN,简单的讲就是利用大家闲置的资源做共享的CDN,跟P2P很类似。不过 陈磊 说还有点不一样,P2P是用户观看的时候共享,他这个是无时无刻的。有三点认为的优势:无限节点、SDK、共享经济。其它两个好懂,特别是对于SDK,陈认为SDK有效解决了延迟、卡顿等问题。
  • 《微软智能云的核心DNA》这个说白了就是来讲云计算,介绍自家的各个产品。特别提到了对于开源的支持,Linux已经超过了50%的主机,开源闭源没有界限,微软不会封闭。
  • 《企业IT基础架构在云端如何变革》 这个就是百度来介绍百度的产品了,基本就是介绍了一圈产品。其实各家云计算场景都有在做的。有几个观点:1、人工智能引领未来。2、对企业分为 微型、中型、大型分别给予支持
  • 《云时代,我们用技术如何改变世界》 腾讯的同学,从汇编、高级语言一直讲到到高内聚、低耦合,最后引出了微服务。
  • 《圆桌论坛:微服务在下一代企业架构中的实战》 讨论微服务,主要的观点1、微服务并不是一个新的技术,更像一个最佳实践 2、docker等容器技术的出现催出了这种最佳实践。
  • 《Evolution of YARN Scheduler》 Naganarasimha Garla 来自印度,主要讲述了Yarn调度器的发展历程,从FIFO一直到接下来的异构机型,隔离等技术。
  • 《京东云探秘:从实践者到服务者》 基本说京东以后 电子商务、金融、云计算 是三大基础,跟阿里好类似的。对于云计算不评价。

第二天

笔者主要在《大数据核心技术与应用实战峰会》

  • 《Hadoop在云上的最佳实践》 下载地址 ,这个是笔者讲的,主要讲述了 Hadoop在云上的常见部署构架,一些挑战比如:Shuffle、本地化、自动化运维,一些常见的使用模式及场景,一些常见的问题,需要注意的事项。原谅笔者做下广告:如果是大数据想上云的朋友,可以看下,阿里云的E-mapreduce
    screenshot
  • 《大数据时代的数据仓储实现技术实战》 百度同学讲述的。主要对比了Hadoop、MPP的异同,我感觉有点片面,比如Hadoop的容错性、扩容简单基本没有讲述。最后当然也介绍了百度云关于大数据的方方面面。
    screenshot
  • 《京东数据仓库3.0时代:面向服务化的大数据平台与实战》 这个基本是在讲京东内部的Hadoop生态平台的建设,会遇到的问题。跟2013年阿里云梯很类似。基本为:1.0时代是用数据库来做数据仓库; 2.0采取了Hadoop的技术,也做了一些建设,不过基本处于没有组织的状态 ; 3.0在2.0的基础上,更多的是数据链路的整理、数据质量的控制、数据平台等上游产品的建设。
  • 《小米大数据平台与开源技术应用》 常冰琳 小米云平台软件工程师,就是在讲kudu的,特别画了一个处理的象限,预计在不久会发布kudu的稳定版本。
    screenshot
  • 《Apache Flink: Stream engine beyond Batch》李呈祥 万达金融 ,Flink就是批基于流,Spark就是流基于批,讲述了 failover、at least once等方面的处理方法。
  • 《青云QingCloud大数据云平台基础架构实践》 是一个系统工程师讲述的,特别强调磁盘IO的性能会影响整体的性能,并且想在一个自研发类似docker上实现,直接连接到物理盘上。 不评价。
  • 《Hadoop YARN在异构环境下应用与实践》 董老师讲述的,主要讲述在YARN里面怎么去部署了一套在线的系统,例如利用lable机制调度container到GPU的机器上。

第三天

笔者主要在《中国Spark技术峰会》,spark2.0即将发布,一些功能还是很期待的。

  • 《Spark and YARN: Better Together》邵赛赛 Hortonworks技术专家,讲述了Spark在Yarn上怎么去调度,例如:当前 Dynamic Resource Allocation 的实现及一些缺点。在共享环境中,yarn还是spark使用的首选。
    screenshot
  • 《Spark Streaming 在腾讯广点通的应用》 林立伟 腾讯高级软件工程师,来自广点通业务线,特别提到了业务线同学面对Spark的代码在不能修改的情况下,怎么去修改功能。比如,修改字节码。
    screenshot
  • 《Elasticsearch 与大数据》 曾 勇 Elastic开发工程师与布道师,讲述了Elasticsearch 与大数据的结合,Elasticsearch for Hadoop这项目。当问到自身es是否支持大数据分析时,说也会考虑。
    screenshot
  • 《Dataset in Spark SQL》范文臣 Apache Spark committer,Databricks 软件工程师。dataset就是有类型的dataframe。跟SQL、dataframe的区别如下图:
    screenshot
  • 《利用ELK来进行Hadoop集群负载性能监控》 王 栋 分布式系统组件管理与性能监控资深专家,
    ELK(Elasticsearch + Logstash + Kibana) ,利用ELK收集了YARN、job运行等日志,在通过Kibana可视化展现出来。

screenshot

  • 《Spinach: Spark SQL之上的快速交互式查询引擎》 程 浩 英特尔亚太研发有限公司Spark Core团队研发经理,Spinach是Intel内部做的一个POC项目,还没有对外发布。基本的思路就是在OSS、HDFS之上做一个index层加速查询,用户可以即时创建index,再查询。期待早日发布
    screenshot
  • 《Spark 实时计算》 连 城 Apache Spark & Apache Parquet committer,Databricks 软件工程师,spark2.0的新功能Structured Streaming,streaming跟batch后续会统一一套API,引入了trigger等概念。
    screenshot

总结

信息量还是比较大的,如果听得明白,还是需要一定的基础的。三人行必有我师,在跟大家交流的过程中,也学习到了很多,特别是跨领域交流。比如跟openstack、container的同学。大致总结下:

  • 云厂商,阿里云、百度云、腾讯云、青云等各级小厂商都有参加会议,云化也慢慢也是一个趋势。云上的一些应用也基本类似,后续是拼服务、拼技术能力的竞技场。
  • 因为阿里、百度、腾讯 都走在使用大数据技术及应用的前面,特别是在技术的尝试使用上,目前京东、美团等第二梯队的公司也有自己的大数据团队,包括基础的。一些小的公司也还尝试。
  • IASS、PASS在市场竞争下,会越来越难存活,创业还是建议做某个行业的垂直类的服务较好,平台的机会越来越少,也越来越难存活。
  • 新的技术,spark2.0、flink、kudu基本在一些大的公司使用或者尝试,中小公司(技术团队100以下的)在大数据方面的投资基本还是在用hive、hadoop,也有一些尝试了spark1.x的功能。

版权声明

笔者微博:阿里封神 欢迎转载,但请保留原文地址

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接