开源大数据周刊-第13期-阿里云开发者社区

开发者社区> 阿里云EMR> 正文
登录阅读全文

开源大数据周刊-第13期

简介: 本周周刊内容有:2016年6月份的hadoop Summit的见闻,数据可视化的理论实践,spark的一些精彩文章的推荐。

阿里云E-Mapreduce动态

E-Mapreduce团队

1.3.4版本 (已经发布)

  • 升级jdk到1.8
  • 升级Hadoop到2.7.2
  • 添加python2.7.1及python3.4版本
  • 添加numpy库
  • 支持Presto、phoenix、jstorm、oozie
  • 支持Hadoop跟Hbase混合部署
  • 支持深圳、上海机房

1.4版本(正在研发):

  • 用户执行计划及集群运行状态自定义报警

1.4.1版本

  • 集群整体运行情况的仪表盘
  • 集群状态监控报警

资讯

从Hadoop Summit 2016看大数据行业与Hadoop的发展
总体来讲,Hadoop在各行各业得到了广泛的应用,在IOT、机器学习、实时方向是最近的热点。

从理论到实践,深谈大数据可视化
大数据的挑战在于数据采集、存储、分析、共享、搜索和可视化。本文的目的是通过介绍传统可视化方法及其在处理大数据时的扩展方法,来展现大数据可视化的前沿技术。同时讨论大数据可视化的挑战,并其取得的进步

spark结构化数据处理:Spark SQL、DataFrame和Dataset
spark的三种查询语言的详细对比。

Spark数据分析实战:大型活动大规模人群的检测和疏散
主要是以一个数据分析者的角度来与大家分享如何使用spark进行大数据分析。

spark流数据处理:Spark Streaming的使用
已经有越来越多的公司使用spark streaming,本文深入分析了spark streaming及在用的过程中遇到的问题,值得一看。

Spark大数据处理系列之Machine Learning
对spark mllib有一个简单的介绍,新入门的同学可以看下。

spark 应用程序性能优化|12 个优化方法
讲述了spark 12个性能优化的点,例如:avoid shuffle when possible、use reduceByKey instead of GroupByKey when possible等

国内大数据相关会议

| 会议 | 地点 | 时间 | 费用 |
| --- | --- | --- | --- |
| 2016上海china Hadoop Summit | 上海 | 2016年07月29日-2016年07月30日 | 收费 |
| Strata + Hadoop World | 北京 | 2016年8月04- 2016年8月06日 | 收费 |
| 2016北京云栖大会 | 北京 | 2016年08月07日 | 免费|

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。
阿里云E-Mapreduce团队 出品

历史周刊链接

开源大数据周刊-第12期
开源大数据周刊-第11期
开源大数据周刊-第10期
开源大数据周刊-第9期
开源大数据周刊-第8期
开源大数据周刊-第7期
开源大数据周刊-第6期
开源大数据周刊-第5期
开源大数据周刊-第4期
开源大数据周刊-第3期
开源大数据周刊-第2期
开源大数据周刊-第1期

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接