开源大数据周刊-第34期-阿里云开发者社区

开发者社区> 开源大数据EMR> 正文

开源大数据周刊-第34期

简介: 阿里云E-MapReduce实践 使用E-MapReduce服务处理阿里云文件存储(NAS)的数据 文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统
+关注继续查看

阿里云E-MapReduce实践

文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。E-MapReduce服务是阿里云上的开源大数据解决方案,可以帮用户构建基于Hadoop等开源组件的大数据平台。今天我给大家介绍一个使用场景,可以将E-MapReduce的Hadoop作业和文件存储(NAS)结合在一起,发挥分布式存储和分布式计算在一起的威力。

资讯

  • 15家大数据企业获融资,聚合数据融资3.6亿元
    近日,基础数据服务商“聚合数据”在北京对外宣布获得3.6亿元人民币C轮融资,此轮融资由邱坚强先生领投,袁永刚先生、太浩创投、东合资本,以及前期投资人参与跟投。据资料显示,邱坚强为森马服饰副董事长,森马投资总经理;袁永刚先生为东山精密董事长。聚合数据是国内最早开始做数据服务的平台之一,平台上的数据接口包括生活、健康、出行、金融、通讯、位置、充值等多个行业领。
  • 放眼世界,看医疗大数据
    在大数据的浪潮中,中国的精准医学把握时代的趋势,高瞻远瞩,几乎与世界发达国家同步开启精准医学研究。让我们放眼看世界,了解一下其他国家和地区精准医疗的举措。
  • 阿里云发布数据库产品HybridDB
    HybridDB(ApsaraDB HybridDB)是一款在线MPP大规模并行处理数据仓库的服务。它基于 Pivotal 公司的开源数据库项目 Greenplum Database 开发,并由阿里云数据库团队在云计算架构下深度扩展。
  • 轻量级大规模机器学习算法库Fregata开源
    Fregata是TalkingData开源的大规模机器学习算法库,基于Spark,目前支持Spark 1.6.x, 很快会支持Spark 2.0。目前Fregata包括了Logistic Regression, Softmax, 和Random Decision Trees三种算法。

技术

  • 一次 Spark SQL 性能提升10倍的经历
    本文是综合了自己在学习spark过程中的理解记录+对参考文章中的一些理解+个人实践spark过程中的一些心得而来,介绍了一个Spark SQL性能优化的整个过程。
  • 大数据处理系统关键层次架构
    本文系统介绍了大数据处理系统关键层次架构。
  • 以Flink为例,消除流处理常见的六大谬见
    我们在思考流处理问题上花了很多时间,更酷的是,我们也花了很多时间帮助其他人认识流处理,以及如何在他们的组织里应用流处理来解决数据问题。我们首先要做的是纠正人们对流处理(作为一个快速变化的领域,这里有很多误见值得我们思考)的错误认识。在这篇文章里,我们选出了其中的六个作为例子。因为我们对Apache Flink比较熟悉,所以我们会基于Flink来讲解这些例子。

欢迎加入阿里云开源大数据交流钉钉群

screenshot

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。

阿里云E-Mapreduce团队 出品

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10092 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13893 0
开源项目Git地址
 1.陈明、李建勋、邓覃思   fog-aliyun     https://git.oschina.net/dengqinsi/fog-aliyun.git     2.吴俊、骆仲军、袁良福   CDN的H5助手工具     https://git.oschina.net/langford/cdn-assistant.git     3.熊亮、王翔、林瑶   基于阿里云的H5 页面生成工
1715 0
282
文章
74
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载