开源大数据周刊-第97期-阿里云开发者社区

开发者社区> 阿里云EMR> 正文

开源大数据周刊-第97期

简介: 本期周刊带来了开源社区重要的产品更新,包括Flink和Alluxio等,还有互联网一线公司以及传统银行业的最新大数据应用实践。

资讯

机器学习虽然在过去几年取得了重大进展,也出现了很多相关的框架,但因为缺乏事实上的标准,在重用和整合机器学习模型时通常涉及大量的定制化工作,而且在性能方面也存在不足。甲骨文开源的 GraphPipe 旨在解决这些问题,让机器学习变得更加简单,使企业更容易从任何框架部署和查询机器学习模型。

Apache Flink 1.6.0在上周发布,涵盖多项重要更新,此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱动和数据密集型应用程序。

云端逐渐成为大数据企业的必争之地,近期开源分布式存储系统Alluxio发布1.8版本,加速针对数据分析及机器学习的云端部署,新版本的功能包括了支持FUSE、针对不同云端存储方案的优化等。

技术

马蜂窝大数据平台自 2017 年下半年引入 Apache Kylin 以来,极大的提升了数据分析师对于数据探索的效率。因为使用了 Apache Kylin,数据分析师可以直接查询大数据、无需排队、亚秒级响应,整体开发效率提高了 10 倍以上。

本文介绍了传统Spark生态系统的架构,以及MongoDB作为一个数据库存储引擎在Spark生态的角色,着重介绍了使用MongoDB替换传统HDFS后带来的好处。

本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享,演讲者分享了唯品会实时平台现状,实时看板、实时ETL等Flink应用场景,以及Flink在Kubernetes上的部署情况。

近年来,随着大数据与人工智能相关技术的迅速发展,新技术逐步在全社会各行各业得到应用。银行业作为一个高度信息化的行业,首当其冲面临着互联网新技术应用的挑战。民生银行从2013年开始布局分布式、大数据及人工智能技术等领域,在支撑业务应用场景发展的同时,建设了几大平台,支持可视化机器学习、实时推荐引擎、数据开放等场景。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接