CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

雷锋网(公众号:雷锋网)按:本文根据黄宜华在 CNCC 2016 大数据高峰论坛上所做的报告《 基于内存的统一分布式存储系统 Alluxio 及其应用 》编辑整理而来,在未改变原意的基础上略有删减。文末有福利。

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

黄宜华, 博士, 教授, 博导,南京大学 PASA 大数据技术实验室负责人。 主要研究领域为大数据并行处理、多核并行计算、云计算、Web信息挖掘集成、语义分析挖掘、中文信息处理、以及计算机应用。目前担任中国计算机学会大数据专家委员会委员、副秘书长,江苏省计算机学会大数据专家委员会主任,江苏省计算机学会云计算专业委员会副主任。

Alluxio 简介

Alluxio(之前名为 Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外,Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。

在大数据生态系统中,Alluxio 介于计算框架(如 Apache Spark,Apache MapReduce,Apache Flink)和现有的存储系统(如 Amazon S3,OpenStack Swift,GlusterFS,HDFS, Ceph,OSS)之间。 Alluxio 为大数据软件栈带来了显著的性能提升。用户可以以独立集群方式(如Amazon EC2)运行Alluxio,也可以从Apache Mesos或Apache YARN上启动Alluxio。

Alluxio 与 Hadoop是兼容的。这意味着已有的Spark和MapReduce程序可以不修改代码直接在 Alluxio上运行。Alluxio 是一个已在多家公司部署的开源项目(Apache License 2.0)。 

Alluxio 是发展最快的开源大数据项目之一。自 2013 年 4 月开源以来,已有超过 100 个组织机构的 250 多贡献者参与到 Alluxio 的开发中。包括阿里巴巴, Alluxio, 百度, 卡内基梅隆大学,IBM,Intel, 南京大学, Red Hat,UC Berkeley和 Yahoo。Alluxio 处于伯克利数据分析栈(BDAS)的存储层,也是 Fedora 发行版的一部分。

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

系统框架与工作原理

| 系统架构

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 文件组织

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 读写行为

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 容错机制

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

重要特性与适用场景

| 文件系统接口

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 世系关系

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 键值存储库

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 分层存储

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 更多底层存储系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 统一命名空间

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 与计算框架相结合

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| Web 界面

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 安全性适用场景

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 配置项设置

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 度量指标系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

实际应用案例介绍

| Barclays 银行

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 百度查询系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 去哪儿网大数据留处理系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 华泰证券行情数据回放系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

中文文档和国内镜像社区

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

福利:扫下方二维码,关注 AI 科技评论公众号,后台回复“Alluxio”得现场高清PPT。

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用


本文作者:陈杨英杰


本文转自雷锋网禁止二次转载,原文链接

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
机器学习/深度学习 人工智能 边缘计算
带你读《看见新力量》第七期电子书——No.8 专访鸢安智能创始人钟卫宁(1)
带你读《看见新力量》第七期电子书——No.8 专访鸢安智能创始人钟卫宁(1)
|
机器学习/深度学习 存储 人工智能
带你读《看见新力量》第七期电子书——No.8 专访鸢安智能创始人钟卫宁(2)
带你读《看见新力量》第七期电子书——No.8 专访鸢安智能创始人钟卫宁(2)
|
机器学习/深度学习 人工智能 自动驾驶
IJCV 亚洲之夜,机器之心与CV领域顶级期刊首位华人主编汤晓鸥聊了聊
CVPR(计算机视觉与模式识别会议)是计算机视觉领域的三大顶级会议之一,它的举办让七月的火奴鲁鲁更加热情似火。
1142 0
IJCV 亚洲之夜,机器之心与CV领域顶级期刊首位华人主编汤晓鸥聊了聊
|
机器学习/深度学习 编解码 网络协议
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
284 0
|
存储 搜索推荐 算法
清华、人大等机构学者获唯一最佳论文奖,数据挖掘顶会WSDM'22线上召开
清华、人大等机构学者获唯一最佳论文奖,数据挖掘顶会WSDM'22线上召开
141 0
|
机器学习/深度学习 人工智能 算法
全国首发!周志华教授领衔撰写《大数据分析研究进展》
全国首发!周志华教授领衔撰写《大数据分析研究进展》
214 0
|
算法 开发者
阿里算法,浙大博士带你写项目经历!
阿里算法,浙大博士带你写项目经历!
阿里算法,浙大博士带你写项目经历!
|
人工智能 自然语言处理 自动驾驶
机器之心走进卡耐基梅隆,专访 CMU Summit 团队
引言:Synced Talk Plus 是机器之心全新推出的采访类栏目 Synced Talk 的延伸,旨在与不同领域的科研人员,创业者及科技初创团队进行深入对话,让读者从不同的侧面了解国内外优秀创业团队,峰会论坛及科技从业人员背后的故事。Science and You Now are ConnectED!
461 0
机器之心走进卡耐基梅隆,专访 CMU Summit 团队
|
机器学习/深度学习 分布式计算 Cloud Native
26万奖金 | 第一届 E-MapReduce 极客挑战赛 诚邀英才前来挑战!
日前,“ 第一届 E-MapReduce 极客挑战赛 ”在阿里云天池官网正式开赛。据悉,本次大赛由阿里云、英特尔联合举办,聚焦 SparkSQL 执行效率,探索 TPC-DS 测试集最优性能,助力海量数据轻松上云,全程将有资深技术专家提供技术指导。
26万奖金 | 第一届 E-MapReduce 极客挑战赛 诚邀英才前来挑战!
|
机器学习/深度学习 人工智能 自然语言处理
天池读书会三月场,邱锡鹏教授等一众大咖和你一起读书
阿里云天池读书会三月场来啦,这次我们邀请到了《零基础学机器学习》作者黄佳老师、蒲公英书《神经网络与深度学习》作者邱锡鹏教授、《数据分析通识》作者途索老师、《人工智能简史(第二版)》作者尼克老师、南瓜书《机器学习公式详解》作者谢文睿 、秦州(按直播分享时间排序)为大家进行精彩的图书分享。
972 0
天池读书会三月场,邱锡鹏教授等一众大咖和你一起读书