开源大数据周刊-第38期-阿里云开发者社区

开发者社区> 阿里云EMR> 正文
登录阅读全文

开源大数据周刊-第38期

简介: 本期关注:梨视频基于阿里云E-MapReduce搭建视频推荐系统的实践,Apache Eagle成为新的顶级项目,英特尔开源的分布式深度学习库BigDL,Hadoop 3.0新功能测评

阿里云E-Mapreduce动态

  • E-MapReduce 2.3.1镜像版本(已发布)

    • 基础镜像CentOS 6.5内核版本升级到2.6.32-642
    • 支持Hadoop YARN Job failover

资讯

本文就近期百分点和亚信数据内部人事调整的新闻出发,提出了“大数据寒冬已至”的观点,而过度竞争是大数据寒冬的主要因素。对于未来大数据公司如何生存,文章中提出了产品聚焦、成本控制等方向,为度过寒冬做准备。

微博赢得了“脉脉非法抓取使用微博用户信息”案件的胜利,作者认为脉脉主要输在以下几点:1、非法获取用户信息,并用于商业化;2、行为构成了不正当竞争;3、脉脉没有起到保护用户信息的作用。此案对行业也有警示作用:各平台方都有责任推动数据生态的繁荣,积极建立数据使用规则,对那些滥用数据,过度使用数据额行为进行制止。

Apache软件基金会正式宣布Eagle从Apache孵化器项目毕业,正式升级成为顶级项目。Eagle是由eBay开源的大数据分布式实时监控和预警解决方案,已被应用于eBay,Paypal,1号店等公司。以Hadoop为代表的开源大数据解决方案正在朝着安全、稳定、可观测等企业级需求方案演进。

技术

梨视频是一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,本文介绍了如何通过阿里云快速构建核心的数据平台和推荐系统,实现业务落地,整套系统利用ECS,OSS,SLS,EMR,Redis,RDS全套产品搭建完成,数据流全打通。

文章介绍了京东公司内部使用Storm平台时遇到的问题,比如用户资源需求多样复杂、大集群维护、成本节省等,以及如何使用docker技术对storm进行改造,达到了用户申请即可用、配置个性化、大规模集群的要求,操作高效且自动化。

近日,英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL,其可以利用已有的 Spark 集群来运行深度学习计算,并且还能简化从 Hadoop 的大数据集的数据加载。在 Xeon 服务器上的测试表明BigDL相比于Caffe、Torch 或 TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU 相媲美

Hadoop 3.0.0-alpha1 新版本中增加的主要功能之一是纠删码技术,本文先简单介绍纠删码技术,然后主要评测纠删码技术的性能,以及纠删码技术和 HDFS 默认3备份技术的性能比较。

欢迎加入阿里云开源大数据交流钉钉群

screenshot

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。

阿里云E-Mapreduce团队 出品

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接