开源大数据周刊-第56期-阿里云开发者社区

开发者社区> 阿里云EMR> 正文

开源大数据周刊-第56期

简介: 阿里云E-Mapreduce实践: 使用hadoop restful api实现对集群信息的统计 资讯 全球因Hadoop服务器配置不当导致的数据泄露或达5120TB 网络犯罪分子近期开始针对配置不当的 Hadoop Clusters 与 CouchDB 服务器展开攻击活动。

阿里云E-Mapreduce实践:

  • 使用hadoop restful api实现对集群信息的统计
    本文根据hadoop/spark的RESTful API,实现了对集群基本信息的统计功能,包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据,具体的统计与分析,还需要基于这些基础数据做一些简单的开发。

资讯


技术

  • 比较Apache Hadoop生态系统中不同的文件格式和存储引擎的性能

    这篇文章提出了在Apache Hadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:Apache Avro,Apache Parquet,Apache HBase和Apache Kudu空间效率,提取性能,分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。

  • Apache Flink 1.3.0正式发布及其新功能介绍

    2017年06月01日儿童节 Apache Flink 社区正式发布了 1.3.0 版本。此版本经历了四个月的开发,共解决了680个issues。Apache Flink 1.3.0 是 1.x.y 版本线上的第四个主要版本,其 API 和其他 1.x.y 使用 @Public 注释的API是兼容的。

  • 拥有数据不再重要,懂得利用才是王道

    大数据时代,手握海量数据已是企业常态。如何充分利用数据并对加以挖掘和利用才是赢在未来的王道。在与数百家企业协作的过程中,英特尔总结了如何通过人工智能、机器学习以及数据挖掘帮助企业通过数据获得真正回报的最佳实践。

  • Spark Shuffle过程分析:Map阶段处理流程

    本文结合具体代码,详细分析了Spark Shuffle过程中Map阶段处理流程。


欢迎入群技术交流!

_HBase_dingding

EMR_dingding

云HBase微信交流群请加:g418615


版权声明:

信息都是来自互联网,如果侵权,请联系我们,我们负责删除。                              

阿里云E-Mapreduce团队出品

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接