概述
笔者有幸受邀请参加中国云计算技术大会，感谢主办方CSDN。此次大会有3天，第一天全部为topic，随后分为了若干个场次，有《Container技术峰会》、《大数据核心技术与应用实战峰会》、《云计算核心技术与架构》，第三天为《中国Spark技术峰会》、《OpenStack技术峰会》、《亚马逊AWS专场》，笔者基本一直在《大数据核心技术与应用实战峰会》与《中国Spark技术峰会》场次。
由于笔者关注在大数据方面，对OpenStack、Container没有去听。本文主要走马观花几句话讲述下笔者听的一些场次的见解，讲述的是什么，如果需要详细了解，请自行google或者联系演讲嘉宾。
PS:北京的天气还是可以的
第一天
基本就是各家云厂商在做广告
- 《开启共享经济云计算时代》讲述了怎么利用共享经济做CDN，简单的讲就是利用大家闲置的资源做共享的CDN，跟P2P很类似。不过 陈磊 说还有点不一样，P2P是用户观看的时候共享，他这个是无时无刻的。有三点认为的优势：无限节点、SDK、共享经济。其它两个好懂，特别是对于SDK，陈认为SDK有效解决了延迟、卡顿等问题。
- 《微软智能云的核心DNA》这个说白了就是来讲云计算，介绍自家的各个产品。特别提到了对于开源的支持，Linux已经超过了50%的主机，开源闭源没有界限，微软不会封闭。
- 《企业IT基础架构在云端如何变革》 这个就是百度来介绍百度的产品了，基本就是介绍了一圈产品。其实各家云计算场景都有在做的。有几个观点：1、人工智能引领未来。2、对企业分为 微型、中型、大型分别给予支持
- 《云时代，我们用技术如何改变世界》 腾讯的同学，从汇编、高级语言一直讲到到高内聚、低耦合，最后引出了微服务。
- 《圆桌论坛：微服务在下一代企业架构中的实战》 讨论微服务，主要的观点1、微服务并不是一个新的技术，更像一个最佳实践 2、docker等容器技术的出现催出了这种最佳实践。
- 《Evolution of YARN Scheduler》 Naganarasimha Garla 来自印度，主要讲述了Yarn调度器的发展历程，从FIFO一直到接下来的异构机型，隔离等技术。
- 《京东云探秘：从实践者到服务者》 基本说京东以后 电子商务、金融、云计算 是三大基础，跟阿里好类似的。对于云计算不评价。
第二天
笔者主要在《大数据核心技术与应用实战峰会》
- 《Hadoop在云上的最佳实践》 下载地址 ，这个是笔者讲的，主要讲述了 Hadoop在云上的常见部署构架，一些挑战比如：Shuffle、本地化、自动化运维，一些常见的使用模式及场景，一些常见的问题，需要注意的事项。原谅笔者做下广告：如果是大数据想上云的朋友，可以看下，阿里云的E-mapreduce
- 《大数据时代的数据仓储实现技术实战》 百度同学讲述的。主要对比了Hadoop、MPP的异同，我感觉有点片面，比如Hadoop的容错性、扩容简单基本没有讲述。最后当然也介绍了百度云关于大数据的方方面面。
- 《京东数据仓库3.0时代：面向服务化的大数据平台与实战》 这个基本是在讲京东内部的Hadoop生态平台的建设，会遇到的问题。跟2013年阿里云梯很类似。基本为：1.0时代是用数据库来做数据仓库； 2.0采取了Hadoop的技术，也做了一些建设，不过基本处于没有组织的状态 ； 3.0在2.0的基础上，更多的是数据链路的整理、数据质量的控制、数据平台等上游产品的建设。
- 《小米大数据平台与开源技术应用》 常冰琳 小米云平台软件工程师，就是在讲kudu的，特别画了一个处理的象限，预计在不久会发布kudu的稳定版本。
- 《Apache Flink: Stream engine beyond Batch》李呈祥 万达金融 ，Flink就是批基于流，Spark就是流基于批，讲述了 failover、at least once等方面的处理方法。
- 《青云QingCloud大数据云平台基础架构实践》 是一个系统工程师讲述的，特别强调磁盘IO的性能会影响整体的性能，并且想在一个自研发类似docker上实现，直接连接到物理盘上。 不评价。
- 《Hadoop YARN在异构环境下应用与实践》 董老师讲述的，主要讲述在YARN里面怎么去部署了一套在线的系统，例如利用lable机制调度container到GPU的机器上。
第三天
笔者主要在《中国Spark技术峰会》，spark2.0即将发布，一些功能还是很期待的。
- 《Spark and YARN: Better Together》邵赛赛 Hortonworks技术专家，讲述了Spark在Yarn上怎么去调度，例如：当前 Dynamic Resource Allocation 的实现及一些缺点。在共享环境中，yarn还是spark使用的首选。
- 《Spark Streaming 在腾讯广点通的应用》 林立伟 腾讯高级软件工程师，来自广点通业务线，特别提到了业务线同学面对Spark的代码在不能修改的情况下，怎么去修改功能。比如，修改字节码。
- 《Elasticsearch 与大数据》 曾 勇 Elastic开发工程师与布道师，讲述了Elasticsearch 与大数据的结合，Elasticsearch for Hadoop这项目。当问到自身es是否支持大数据分析时，说也会考虑。
- 《Dataset in Spark SQL》范文臣 Apache Spark committer，Databricks 软件工程师。dataset就是有类型的dataframe。跟SQL、dataframe的区别如下图：
- 《利用ELK来进行Hadoop集群负载性能监控》 王 栋 分布式系统组件管理与性能监控资深专家，
ELK(Elasticsearch + Logstash + Kibana) ,利用ELK收集了YARN、job运行等日志，在通过Kibana可视化展现出来。
- 《Spinach: Spark SQL之上的快速交互式查询引擎》 程 浩 英特尔亚太研发有限公司Spark Core团队研发经理，Spinach是Intel内部做的一个POC项目，还没有对外发布。基本的思路就是在OSS、HDFS之上做一个index层加速查询，用户可以即时创建index，再查询。期待早日发布
- 《Spark 实时计算》 连 城 Apache Spark & Apache Parquet committer，Databricks 软件工程师，spark2.0的新功能Structured Streaming，streaming跟batch后续会统一一套API，引入了trigger等概念。
总结
信息量还是比较大的，如果听得明白，还是需要一定的基础的。三人行必有我师，在跟大家交流的过程中，也学习到了很多，特别是跨领域交流。比如跟openstack、container的同学。大致总结下：
- 云厂商，阿里云、百度云、腾讯云、青云等各级小厂商都有参加会议，云化也慢慢也是一个趋势。云上的一些应用也基本类似，后续是拼服务、拼技术能力的竞技场。
- 因为阿里、百度、腾讯 都走在使用大数据技术及应用的前面，特别是在技术的尝试使用上，目前京东、美团等第二梯队的公司也有自己的大数据团队，包括基础的。一些小的公司也还尝试。
- IASS、PASS在市场竞争下，会越来越难存活，创业还是建议做某个行业的垂直类的服务较好，平台的机会越来越少，也越来越难存活。
- 新的技术，spark2.0、flink、kudu基本在一些大的公司使用或者尝试，中小公司（技术团队100以下的）在大数据方面的投资基本还是在用hive、hadoop，也有一些尝试了spark1.x的功能。
版权声明
笔者微博：阿里封神 欢迎转载，但请保留原文地址
