2016年北京中国云计算技术大会见闻

简介: 广告有,技术也有。云化是方向,新技术需要很强的把控力;spark还是最火的。

概述

笔者有幸受邀请参加中国云计算技术大会,感谢主办方CSDN。此次大会有3天,第一天全部为topic,随后分为了若干个场次,有《Container技术峰会》、《大数据核心技术与应用实战峰会》、《云计算核心技术与架构》,第三天为《中国Spark技术峰会》、《OpenStack技术峰会》、《亚马逊AWS专场》,笔者基本一直在《大数据核心技术与应用实战峰会》与《中国Spark技术峰会》场次。

由于笔者关注在大数据方面,对OpenStack、Container没有去听。本文主要走马观花几句话讲述下笔者听的一些场次的见解,讲述的是什么,如果需要详细了解,请自行google或者联系演讲嘉宾。

PS:北京的天气还是可以的
screenshot

第一天

基本就是各家云厂商在做广告

  • 《开启共享经济云计算时代》讲述了怎么利用共享经济做CDN,简单的讲就是利用大家闲置的资源做共享的CDN,跟P2P很类似。不过 陈磊 说还有点不一样,P2P是用户观看的时候共享,他这个是无时无刻的。有三点认为的优势:无限节点、SDK、共享经济。其它两个好懂,特别是对于SDK,陈认为SDK有效解决了延迟、卡顿等问题。
  • 《微软智能云的核心DNA》这个说白了就是来讲云计算,介绍自家的各个产品。特别提到了对于开源的支持,Linux已经超过了50%的主机,开源闭源没有界限,微软不会封闭。
  • 《企业IT基础架构在云端如何变革》 这个就是百度来介绍百度的产品了,基本就是介绍了一圈产品。其实各家云计算场景都有在做的。有几个观点:1、人工智能引领未来。2、对企业分为 微型、中型、大型分别给予支持
  • 《云时代,我们用技术如何改变世界》 腾讯的同学,从汇编、高级语言一直讲到到高内聚、低耦合,最后引出了微服务。
  • 《圆桌论坛:微服务在下一代企业架构中的实战》 讨论微服务,主要的观点1、微服务并不是一个新的技术,更像一个最佳实践 2、docker等容器技术的出现催出了这种最佳实践。
  • 《Evolution of YARN Scheduler》 Naganarasimha Garla 来自印度,主要讲述了Yarn调度器的发展历程,从FIFO一直到接下来的异构机型,隔离等技术。
  • 《京东云探秘:从实践者到服务者》 基本说京东以后 电子商务、金融、云计算 是三大基础,跟阿里好类似的。对于云计算不评价。

第二天

笔者主要在《大数据核心技术与应用实战峰会》

  • 《Hadoop在云上的最佳实践》 下载地址 ,这个是笔者讲的,主要讲述了 Hadoop在云上的常见部署构架,一些挑战比如:Shuffle、本地化、自动化运维,一些常见的使用模式及场景,一些常见的问题,需要注意的事项。原谅笔者做下广告:如果是大数据想上云的朋友,可以看下,阿里云的E-mapreduce
    screenshot
  • 《大数据时代的数据仓储实现技术实战》 百度同学讲述的。主要对比了Hadoop、MPP的异同,我感觉有点片面,比如Hadoop的容错性、扩容简单基本没有讲述。最后当然也介绍了百度云关于大数据的方方面面。
    screenshot
  • 《京东数据仓库3.0时代:面向服务化的大数据平台与实战》 这个基本是在讲京东内部的Hadoop生态平台的建设,会遇到的问题。跟2013年阿里云梯很类似。基本为:1.0时代是用数据库来做数据仓库; 2.0采取了Hadoop的技术,也做了一些建设,不过基本处于没有组织的状态 ; 3.0在2.0的基础上,更多的是数据链路的整理、数据质量的控制、数据平台等上游产品的建设。
  • 《小米大数据平台与开源技术应用》 常冰琳 小米云平台软件工程师,就是在讲kudu的,特别画了一个处理的象限,预计在不久会发布kudu的稳定版本。
    screenshot
  • 《Apache Flink: Stream engine beyond Batch》李呈祥 万达金融 ,Flink就是批基于流,Spark就是流基于批,讲述了 failover、at least once等方面的处理方法。
  • 《青云QingCloud大数据云平台基础架构实践》 是一个系统工程师讲述的,特别强调磁盘IO的性能会影响整体的性能,并且想在一个自研发类似docker上实现,直接连接到物理盘上。 不评价。
  • 《Hadoop YARN在异构环境下应用与实践》 董老师讲述的,主要讲述在YARN里面怎么去部署了一套在线的系统,例如利用lable机制调度container到GPU的机器上。

第三天

笔者主要在《中国Spark技术峰会》,spark2.0即将发布,一些功能还是很期待的。

  • 《Spark and YARN: Better Together》邵赛赛 Hortonworks技术专家,讲述了Spark在Yarn上怎么去调度,例如:当前 Dynamic Resource Allocation 的实现及一些缺点。在共享环境中,yarn还是spark使用的首选。
    screenshot
  • 《Spark Streaming 在腾讯广点通的应用》 林立伟 腾讯高级软件工程师,来自广点通业务线,特别提到了业务线同学面对Spark的代码在不能修改的情况下,怎么去修改功能。比如,修改字节码。
    screenshot
  • 《Elasticsearch 与大数据》 曾 勇 Elastic开发工程师与布道师,讲述了Elasticsearch 与大数据的结合,Elasticsearch for Hadoop这项目。当问到自身es是否支持大数据分析时,说也会考虑。
    screenshot
  • 《Dataset in Spark SQL》范文臣 Apache Spark committer,Databricks 软件工程师。dataset就是有类型的dataframe。跟SQL、dataframe的区别如下图:
    screenshot
  • 《利用ELK来进行Hadoop集群负载性能监控》 王 栋 分布式系统组件管理与性能监控资深专家,
    ELK(Elasticsearch + Logstash + Kibana) ,利用ELK收集了YARN、job运行等日志,在通过Kibana可视化展现出来。

screenshot

  • 《Spinach: Spark SQL之上的快速交互式查询引擎》 程 浩 英特尔亚太研发有限公司Spark Core团队研发经理,Spinach是Intel内部做的一个POC项目,还没有对外发布。基本的思路就是在OSS、HDFS之上做一个index层加速查询,用户可以即时创建index,再查询。期待早日发布
    screenshot
  • 《Spark 实时计算》 连 城 Apache Spark & Apache Parquet committer,Databricks 软件工程师,spark2.0的新功能Structured Streaming,streaming跟batch后续会统一一套API,引入了trigger等概念。
    screenshot

总结

信息量还是比较大的,如果听得明白,还是需要一定的基础的。三人行必有我师,在跟大家交流的过程中,也学习到了很多,特别是跨领域交流。比如跟openstack、container的同学。大致总结下:

  • 云厂商,阿里云、百度云、腾讯云、青云等各级小厂商都有参加会议,云化也慢慢也是一个趋势。云上的一些应用也基本类似,后续是拼服务、拼技术能力的竞技场。
  • 因为阿里、百度、腾讯 都走在使用大数据技术及应用的前面,特别是在技术的尝试使用上,目前京东、美团等第二梯队的公司也有自己的大数据团队,包括基础的。一些小的公司也还尝试。
  • IASS、PASS在市场竞争下,会越来越难存活,创业还是建议做某个行业的垂直类的服务较好,平台的机会越来越少,也越来越难存活。
  • 新的技术,spark2.0、flink、kudu基本在一些大的公司使用或者尝试,中小公司(技术团队100以下的)在大数据方面的投资基本还是在用hive、hadoop,也有一些尝试了spark1.x的功能。

版权声明

笔者微博:阿里封神 欢迎转载,但请保留原文地址

相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析,介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
目录
相关文章
|
1月前
|
存储 运维 监控
Java基于云计算技术的B/S架构医院信息管理系统(简称云HIS)源码
基于云计算和SaaS模式的B/S架构云HIS是一种具有高可用性、高灵活性、低成本等优势的医院信息管理系统。它采用B/S架构,用户只需要安装一个浏览器就可以使用各种信息化服务。
29 0
|
2月前
|
存储 分布式计算 Hadoop
云计算——ACA学习 云计算核心技术
云计算——ACA学习 云计算核心技术
64 0
|
23天前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
22 0
|
24天前
|
弹性计算 人工智能 Linux
释放云算力 繁荣云生态,12 位技术专家解读智算时代下的云计算 | 附PPT下载
2023龙蜥操作系统大会阿里云分论坛视频回放和PPT上线,欢迎下载。
|
30天前
|
弹性计算 资源调度 Cloud Native
融合云计算与分布式系统架构:拥抱数字化时代的技术进化
在当今数字化时代,云计算和分布式系统架构成为企业转型的关键工具。本文将探讨这两项技术的融合,以及它们在提升效率、降低成本和增强可扩展性方面的潜力。通过深入分析云计算和分布式系统架构的原理和优势,我们将看到如何利用这些技术推动企业的数字化转型。
|
1月前
|
存储 人工智能 物联网
云计算与分布式系统架构:未来技术驱动的创新之路
在当今数字化时代,云计算和分布式系统架构成为了企业和个人实现高效、可靠和灵活计算的关键。本文将探讨云计算与分布式系统架构的基本概念和原理,并介绍其在现代技术领域中的应用和未来发展趋势。
26 1
|
2月前
|
存储 持续交付 云计算
云计算——云计算关键技术
云计算——云计算关键技术
320 0
|
2月前
|
资源调度 分布式计算 大数据
【云计算与大数据技术】资源管理、调度模型策略的讲解
【云计算与大数据技术】资源管理、调度模型策略的讲解
40 0
|
2月前
|
资源调度 大数据 调度
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
41 2
|
2月前
|
消息中间件 大数据 Apache
【云计算与大数据技术】流计算讲解及集群日志文件实时分析实战(附源码)
【云计算与大数据技术】流计算讲解及集群日志文件实时分析实战(附源码)
27 1

相关产品

  • 开源大数据平台 E-MapReduce