# 开源大数据平台 E-MapReduce #
0
关注
1510内容
降本增效利器！趣头条Spark Remote Shuffle Service最佳实践
趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了千台规模。面对业务和数据的日益增长，如何优化大数据平台，真正实现降本增效，技术人也面临着非常大的挑战，近半年趣头条和阿里云一起合作，通过Spark Remote Shuffle Service取得了较大的进展，在这里大家可以更加详细地了解这套方案。
2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名！
始于开源，精于实践，作为2020年收官之战，本次 Meetup 又将让大数据和 AI 擦出怎样的技术花火？开源届冉冉升起的新星和风光无限的老将们将会用哪些精彩案例作为年度收尾？来自阿里云、滴滴出行、微博、Databricks、汇量科技、 Zilliz 等知名企业的技术大咖将以实践案例深度解读大数据+AI的现在与未来。落地到出行、应用于医疗、服务在社交媒体，我们从声音、影像、图片、数字···交织的信息巨网中撕出一道道出口，透出属于大数据人的科技之光。
数据湖存储架构选型
阿里巴巴计算平台事业部郑锴为大家带来数据湖存储架构选型的介绍
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
下半年你关心的行业热点都在这里，BIGDATA+AI Meetup 2020第二站·上海站开启报名！
本次活动汇集2020年下半年开发者最关心的开源主题，搜罗了数据湖、数仓架构、实时计算等热门议题，9位行业资深专家，硬核输出，用实践说话。
10月15日社区直播【Intel MLlib：构建平台优化的Spark机器学习】
Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时，在底层利用原生算法库来实现在CPU和GPU上的最优化算法，同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明，该软件包在最小化应用改动的基础上，可以极大地提升MLlib算法的性能。
E-MapReduce客户端安装和卸载工具，实现Gateway功能
E-MapReduce客户端安装和卸载工具，主要用于集群外的ECS（已经存在）中需要使用hadoop，hive等客户端命令工具。
目前云平台提供的gateway只能重新创建ECS进行部署，而不支持在已经创建的Ecs中部署。
数据湖架构，为什么需要“湖加速”？
湖加速即为数据湖加速，是指在数据湖架构中，为了统一支持各种计算，对数据湖存储提供适配支持，进行优化和缓存加速的中间层技术。那么为什么需要湖加速？数据湖如何实现“加速”？本文将从三个方面来介绍湖加速背后的原因，分享阿里云在湖加速上的实践经验和技术方案。
重磅下载！首次揭秘如何构建阿里云云原生数据湖体系
《阿里云云原生数据湖体系全解读》涵盖数据湖存储、加速、构建、计算、治理，一站搭建全新云原生数据湖体系，完成企业大数据架构转型。速度下载收藏！
免费试用