CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

简介:

雷锋网(公众号:雷锋网)按:本文根据黄宜华在 CNCC 2016 大数据高峰论坛上所做的报告《 基于内存的统一分布式存储系统 Alluxio 及其应用 》编辑整理而来,在未改变原意的基础上略有删减。文末有福利。

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

黄宜华, 博士, 教授, 博导,南京大学 PASA 大数据技术实验室负责人。 主要研究领域为大数据并行处理、多核并行计算、云计算、Web信息挖掘集成、语义分析挖掘、中文信息处理、以及计算机应用。目前担任中国计算机学会大数据专家委员会委员、副秘书长,江苏省计算机学会大数据专家委员会主任,江苏省计算机学会云计算专业委员会副主任。

Alluxio 简介

Alluxio(之前名为 Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外,Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。

在大数据生态系统中,Alluxio 介于计算框架(如 Apache Spark,Apache MapReduce,Apache Flink)和现有的存储系统(如 Amazon S3,OpenStack Swift,GlusterFS,HDFS, Ceph,OSS)之间。 Alluxio 为大数据软件栈带来了显著的性能提升。用户可以以独立集群方式(如Amazon EC2)运行Alluxio,也可以从Apache Mesos或Apache YARN上启动Alluxio。

Alluxio 与 Hadoop是兼容的。这意味着已有的Spark和MapReduce程序可以不修改代码直接在 Alluxio上运行。Alluxio 是一个已在多家公司部署的开源项目(Apache License 2.0)。 

Alluxio 是发展最快的开源大数据项目之一。自 2013 年 4 月开源以来,已有超过 100 个组织机构的 250 多贡献者参与到 Alluxio 的开发中。包括阿里巴巴, Alluxio, 百度, 卡内基梅隆大学,IBM,Intel, 南京大学, Red Hat,UC Berkeley和 Yahoo。Alluxio 处于伯克利数据分析栈(BDAS)的存储层,也是 Fedora 发行版的一部分。

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

系统框架与工作原理

| 系统架构

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 文件组织

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 读写行为

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 容错机制

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

重要特性与适用场景

| 文件系统接口

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 世系关系

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 键值存储库

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 分层存储

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 更多底层存储系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 统一命名空间

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 与计算框架相结合

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| Web 界面

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 安全性适用场景

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 配置项设置

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 度量指标系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

实际应用案例介绍

| Barclays 银行

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 百度查询系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 去哪儿网大数据留处理系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

| 华泰证券行情数据回放系统

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

中文文档和国内镜像社区

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

福利:扫下方二维码,关注 AI 科技评论公众号,后台回复“Alluxio”得现场高清PPT。

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用


本文作者:陈杨英杰


本文转自雷锋网禁止二次转载,原文链接

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
11月前
|
机器学习/深度学习 数据采集 人工智能
站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?
站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?
122 0
|
机器学习/深度学习 数据采集 人工智能
站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?
站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?
454 0
站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?
|
机器学习/深度学习 算法 数据挖掘
李航《统计学习方法》第 2 版发布完整课件!清华教授出品!附完整下载
李航《统计学习方法》第 2 版发布完整课件!清华教授出品!附完整下载
808 0
李航《统计学习方法》第 2 版发布完整课件!清华教授出品!附完整下载
|
SQL 机器学习/深度学习 人工智能
2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名!
始于开源,精于实践,作为2020年收官之战,本次 Meetup 又将让大数据和 AI 擦出怎样的技术花火?开源届冉冉升起的新星和风光无限的老将们将会用哪些精彩案例作为年度收尾?来自阿里云、滴滴出行、微博、Databricks、汇量科技、 Zilliz 等知名企业的技术大咖将以实践案例深度解读大数据+AI的现在与未来。落地到出行、应用于医疗、服务在社交媒体,我们从声音、影像、图片、数字···交织的信息巨网中撕出一道道出口,透出属于大数据人的科技之光。
2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名!
|
消息中间件 存储 人工智能
精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)
开源届前浪后浪全员凶猛,合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg,Flink 和 Hologres,Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案;还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。
精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)
|
消息中间件 存储 人工智能
BIGDATA+AI Meetup 2020第二季·上海站开启报名!
时隔4个月,大数据江湖又有哪些风起云涌的技术突破,互联网大厂又探索出怎样的无价经验,敬请期待由阿里云计算平台事业部与阿里云开发者社区联合主办的大数据+AI meetup 2020第二站·上海。
BIGDATA+AI Meetup 2020第二季·上海站开启报名!
|
机器学习/深度学习 人工智能 前端开发
|
机器学习/深度学习 云栖大会 数据库
2019云栖大会70+份顶级大咖演讲PPT分享!
9月25日-27日,2019杭州云栖大会圆满成功。今天,超全大会PPT一次送出,供大家下载学习!
4041 1
|
NoSQL 大数据 关系型数据库
2018Postgres中国用户大会(大象汇)—最全资料下载,PPT+回顾视频
“Postgres中国技术大会2018(大象汇,第8届)是一场汇聚各界PostgreSQL大拿、交流最新业界技术动态和真实应用案例的盛宴。PG大象汇的成功举办推动了PostgreSQL数据库在中国的发展,也拉近了中国与世界的距离。
5696 0