2015年上海hadoop in china见闻-阿里云开发者社区

开发者社区> 封神> 正文

2015年上海hadoop in china见闻

简介: 今天过来参加《china hadoop summit》,听了不少的场次。从技术栈上分类,大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术,主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。
+关注继续查看

过程

今天过来参加《china hadoop summit》,听了不少的场次。从技术栈上分类,大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术,主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。下面讲述下我听的一些场次:

上午场次:

  • 孙先生讲的 《Towards consistent distributed system》,给我们带来了从CAP理论出发,以新的视角去看待分布式系统,怎么权衡去设计分布式软件系统。
  • cloudera中国区的CTO,苗先生的《hadoop and cloudera》讲述了公司的发展,08年成立,目前1000人左右,54%的hadoop Committer,hadoop从批处理往实时化方向发展,基本听下来就是公司对hadoop有很大的控制力。
  • IBM讲了对开源的投入,特别提到了对spark的投入,OpenPower怎么从底层硬件去加速hadoop,由于我不专业也没有记住。基本听下来就是10x的性能提高,成本有时候还低,特别牛的。

下午场次:

  • 星环吕先生《hadoop on docker》,把hadoop直接搭建在docker上,星环解决了网络、隔离、安全等一些问题后跑了起来,期待后面大规模的使用。
  • 星环陈博士《A comparison study of SQL-on-Hadoop engines》主要通过TPC-DS测试集,对比了impala、tez、sparksql、greemplum与星环基于spark自研的sql解析器对比了下,当然PPT中说星环在性能上是最好的,说了性能主要差异点在CBO、codegen、DAG、分布式处理上
    -《Apache Drill》介绍了MapR的发展,11年-13年用c++重写了hdfs,重要优化在直接操作磁盘及没有单点,后做了MapR-DB,类似hbase,基于自身的mgs做了一些优化。再后就做了Drill,讲述了Schema-free SQL的思考,怎么处理非结构化数据。
  • 听了《apache Hive的现状和未来》主要讲了stinger计划,从存储ORCFile、Tez及CBO三个主要方面入手优化性能提高了100倍,再将来计划从Vector Engine、LLAP、用hbase替换mysql等方面达到亚秒的级别,让我们期待。

总结

技术发展还是很快的,日新月异,作为技术的人,需要不停去学习,去思考。hadoop本身作为技术是免费的,这会促进整大数据的应用向前发展,特别是上层的应用越来越多,也会带来更多的广义效应,造福整个社会。
其它的一些场次,特别是分析及应用的我没有去听,其实我本人也是非常有兴趣的,奈何冲突了。
晚上有幸参加了晚宴,特别跟华为的李同学及ted Yu等同学同桌吃饭交流技术问题,还是很赞的。
非常感谢 组委会提供这样的机会让大家去交流及学习,更多的可以关注 China Hadoop Summit 2015:http://www.chinahadoop.com/2015/July/Shanghai/ 了解更多的信息.

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
2885 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4507 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
5731 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5468 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
2149 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
3843 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
1133 0
+关注
封神
封神 09年加入阿里巴巴,阿里云高级技术专家、架构师;专注在大数据、分布式数据库领域,10年分布式研发经验;参与研发万台大数据Hadoop离线计算平台;负责研发多款阿里云一级大数据及数据库产品,如云Cassandra
34
文章
259
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载