开源大数据平台 E-MapReduce
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
![](https://ucc.alicdn.com/pic/developer-ecology/0e0e8762568c404d828ec214b1635655.png?x-oss-process=image/resize,h_160,m_lfit)
6月11日 JindoFS 系列直播【JindoFS 存储策略和读写优化】
本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段,并结合应用场景介绍对数据缓存加速的相关技术和策略。
![](https://ucc.alicdn.com/pic/developer-ecology/c099cbb2cff24af892a95716ee5847af.png?x-oss-process=image/resize,h_160,m_lfit)
Spark-TFRecord: Spark将全面支持TFRecord
本文中,我们将介绍 Spark 的一个新的数据源,Spark-TFRecord。Spark-TFRecord 的目的是提供在Spark中对原生的 TensorFlow 格式进行完全支持。本项目的目的是将 TFRecord 作为Spark数据源社区中的第一等公民,类似于 Avro,JSON,Parquet等。Spark-TFRecord 不仅仅提供简单的功能支持,比如 Data Frame的读取、写入,还支持一些高阶功能,比如ParititonBy。使用 Spark-TFRecord 将会使数据处理流程与训练工程完美结合。
![](https://ucc.alicdn.com/pic/developer-ecology/72767220cff647e2851bd6ea070e9d02.png?x-oss-process=image/resize,h_160,m_lfit)
不通过 Spark 获取 Delta Lake Snapshot
Delta Lake 进行数据删除或更新操作时实际上只是对被删除数据文件做了一个 remove 标记,在进行 vacuum 前并不会进行物理删除,因此一些例如在 web 上获取元数据或进行部分数据展示的操作如果直接从表路径下获取 parquet 文件信息,读到的可能是历史已经被标记删除的数据。
![](https://ucc.alicdn.com/pic/developer-ecology/a8db38b0e9894443be2dede3c770e85c.jpg?x-oss-process=image/resize,h_160,m_lfit)
阿里云发起首届 Spark “数字人体” AI 挑战赛 — 聚焦上班族脊柱健康
2020年6月4日,首届 Apache Spark AI 智能诊断大赛在天池官网上线。Spark “数字人体” AI 挑战赛——脊柱疾病智能诊断大赛,聚焦医疗领域应用,召集全球开发者利用人工智能技术探索高效准确的脊柱退化性疾病自动诊断。现已面向全社会开放,为所有大数据技术爱好者以及相关的科研企业提供挑战平台,个人参赛或高等院校、科研单位、互联网企业等人员均可报名参赛。本次挑战的目标是通过核磁共振成像来检测和分类脊柱的退行性改变,形成一批创新性强、复用率高的算法案例,并积极推动相关技术的临床应用,用科技造福医疗事业,鼓励人工智能与疾病预防深度融合的应用落地,由点到面驱动国内人工智能医疗产业发展。
![](https://ucc.alicdn.com/pic/developer-ecology/0d44c7a46aa74cb9add3b1ba7d754032.png?x-oss-process=image/resize,h_160,m_lfit)
直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥?
6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!
![](https://ucc.alicdn.com/pic/developer-ecology/f306cbb7152b45548e364ae74b79ede8.png?x-oss-process=image/resize,h_160,m_lfit)
阿里云发起首届 Spark “数字人体” AI 挑战赛 — 聚焦上班族脊柱健康
2020年6月4日,首届 Apache Spark AI 智能诊断大赛在天池官网上线。Spark “数字人体” AI 挑战赛——脊柱疾病智能诊断大赛,聚焦医疗领域应用,召集全球开发者利用人工智能技术探索高效准确的脊柱退化性疾病自动诊断。现已面向全社会开放,为所有大数据技术爱好者以及相关的科研企业提供挑战平台,个人参赛或高等院校、科研单位、互联网企业等人员均可报名参赛。本次挑战的目标是通过核磁共振成像来检测和分类脊柱的退行性改变,形成一批创新性强、复用率高的算法案例,并积极推动相关技术的临床应用,用科技造福医疗事业,鼓励人工智能与疾病预防深度融合的应用落地,由点到面驱动国内人工智能医疗产业发展。
![](https://ucc.alicdn.com/pic/developer-ecology/84f326bfb8f1420da243e4e3595e6b59.png?x-oss-process=image/resize,h_160,m_lfit)
对象存储和新型分布式文件系统 - 填补Hadoop存储的空白
IT软硬件架构、企业部署已经发生了翻天覆地的变化,在这些新的变革下,HDFS露出了一定的颓势。但是云上对象存储是唯一的选择吗?面向on-premise,云环境以及混合云环境,在这新旧存储架构交替之际,数据存储会如何发展呢,如何填补Hadoop存储留下的空白?
![](https://ucc.alicdn.com/pic/developer-ecology/ced101f3d85341bba0bfc8cdbc73d759.jpg?x-oss-process=image/resize,h_160,m_lfit)
首届 Apache Spark AI智能诊断大赛重磅来袭!
本次大赛将由阿里云计算有限公司、英特尔(中国)有限公司联合主办,湘雅医院、浙江大学附属第二附属医院、解放军301医院作为指导单位,唯医骨科共同合作,全程有资深技术专家提供技术指导。本次挑战的目标是通过核磁共振成像来检测和分类脊柱的退行性改变,形成一批创新性强、复用率高的算法案例,并积极推动相关技术的临床应用,用科技造福医疗事业,鼓励人工智能与疾病预防深度融合的应用落地,由点到面驱动国内人工智能医疗产业发展,向公众真正意义上展示大数据AI在整个社会不可替代的价值。
![](https://ucc.alicdn.com/pic/developer-ecology/e546504df6ac4c75b1a4beb26c5431ac.png?x-oss-process=image/resize,h_160,m_lfit)
SparkSQL与Hive metastore Parquet转换
Spark SQL为了更好的性能,在读写Hive metastore parquet格式的表时,会默认使用自己的Parquet SerDe,而不是采用Hive的SerDe进行序列化和反序列化
![](https://ucc.alicdn.com/pic/developer-ecology/143856a68b7f4803b63a119d154b7075.jpg?x-oss-process=image/resize,h_160,m_lfit)
5月21日 Spark 社区直播【Spark on Zeppelin】
Apache Zeppelin 是一个交互式的大数据开发Notebook,从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势:不需要编译Jar,环境配置简单,交互式开发,数据结果可视化等等。 本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。
![](https://vod-yq.aliyun.com/vod-7651a3/image/default/F91EC99596B94192A1A9A2DD4DEEBDB3-6-2.png?x-oss-process=image/resize,h_160,m_lfit)
Spark on Zeppelin
Apache Zeppelin 是一个交互式的大数据开发Notebook,从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势:不需要编译Jar,环境配置简单,交互式开发,数据结果可视化等等。本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。章剑锋(简锋),开源界老兵,Apache Member,曾就职于 Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家,并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ,以及 Apache Pig 的 Committer。
![](https://ucc.alicdn.com/pic/developer-ecology/dad13371721e44d18a3d59f845e31c87.png?x-oss-process=image/resize,h_160,m_lfit)
物化视图在 SparkSQL 中的实践
物化视图作为一种预计算的优化方式,广泛应用于传统数据库中,如Oracle,MSSQL Server等。随着大数据技术的普及,各类数仓及查询引擎在业务中扮演着越来越重要的数据分析角色,而物化视图作为数据查询的加速器,将极大增强用户在数据分析工作中的使用体验。本文将基于 SparkSQL(2.4.4) + Hive (2.3.6), 介绍物化视图在SparkSQL中的实现及应用。
![](https://ucc.alicdn.com/pic/developer-ecology/b1cb4d1558fb43fe80fc72fa07d01055.png?x-oss-process=image/resize,h_160,m_lfit)
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
![](https://ucc.alicdn.com/pic/developer-ecology/ba6c2c3286294226866b423d00bbd12f.png?x-oss-process=image/resize,h_160,m_lfit)
5月14日Apache Spark中国社区技术直播【Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏】
近年来,由于对通用人工智能研究的潜在价值,训练AI玩游戏一直是一个火热的研究领域。FIFA实时视频游戏场景复杂,需要结合图像,强化学习等多种不同的AI技术,同时也要求agents响应有实时性,因此是一个非常好的试验场,可以用来探索不同类型的AI技术。本次分享主要介绍我们在训练AI玩FIFA视频游戏方面的一些工作。
![](https://vod-yq.aliyun.com/vod-7651a3/image/default/7458B781DCFA424A8E705C419A406A39-6-2.png?x-oss-process=image/resize,h_160,m_lfit)
Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏
近年来,由于对通用人工智能研究的潜在价值,训练AI玩游戏一直是一个火热的研究领域。FIFA实时视频游戏场景复杂,需要结合图像,强化学习等多种不同的AI技术,同时也要求agents响应有实时性,因此是一个非常好的试验场,可以用来探索不同类型的AI技术。本次分享主要介绍我们在训练AI玩FIFA视频游戏方面的一些工作。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo讲师介绍:喻杉,Intel大数据分析团队机器学习工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发针对时间序列分析的自动机器学习组件。在加入intel前,她在浙江大学获得了学士和硕士学位。
![](https://ucc.alicdn.com/pic/developer-ecology/66e1c0930ada4138b77da7ee04ebaeba.png?x-oss-process=image/resize,h_160,m_lfit)
EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus
在 2019 年的打榜测试中,我们基于 Spark SQL Catalyst Optimizer 开发的 RuntimeFilter 优化 对于 10TB 数据 99 query 的整体性能达到 35% 左右的提升。
![](https://ucc.alicdn.com/pic/developer-ecology/a565557164544484ad7e88e2cd7b7aae.png?x-oss-process=image/resize,h_160,m_lfit)
5月8日 JindoFS 系列直播 第五讲【JindoFS Fuse 支持】
本次直播主要介绍如何利用FUSE的POSIX文件系统接口,像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。
![](https://vod-yq.aliyun.com/vod-7651a3/image/default/95CDC3AD571A41A88D10E602402B31D7-6-2.png?x-oss-process=image/resize,h_160,m_lfit)
JindoFS Fuse 支持
本次直播主要介绍如何利用FUSE的POSIX文件系统接口,像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。讲师介绍苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。
![](https://ucc.alicdn.com/pic/developer-ecology/6ce292b4e8e548aa88131f8cea2a4a9d.jpeg?x-oss-process=image/resize,h_160,m_lfit)
EMR Spark-SQL性能极致优化揭秘 概览篇
这次的优化里面,还有一个很好玩的优化,就是我们引入的 Native Runtime,如果说上述的优化器优化都是一些特殊 Case 的杀手锏,Native Runtime 就是一个广谱大杀器,根据我们后期统计,引入 Native Runtime,可以普适性的提高 SQL Query 15~20%的 E2E 耗时,这个在TPCDS Perf 里面也是一个很大的性能提升点。
![](https://ucc.alicdn.com/pic/developer-ecology/ff0813d4c2484c86b8850329dc4357e9.png?x-oss-process=image/resize,h_160,m_lfit)
4月29日Spark社区直播【用Analytics-Zoo实现基于深度学习的胸腔疾病AI诊疗辅助】
本次分享主要介绍如何利用Analytics Zoo和NIH胸部X光影像数据集,在Apache Spark集群上实现基于深度学习的胸腔疾病分类,为医生提供端到端的胸腔疾病AI诊疗辅助。
![](https://vod-yq.aliyun.com/vod-7651a3/image/default/20D76EBFEED847DC879BF5A1BCF3FEA4-6-2.png?x-oss-process=image/resize,h_160,m_lfit)
用Analytics-Zoo实现基于深度学习的胸腔疾病AI诊疗辅助
讲师介绍龚奇源博士,英特尔机器学习专家。从事多年数据隐私和机器学习研究,2017年加入英特尔,目前负责Analytics-Zoo中ClusterServing、Streaming、OpenVINO和推理优化等工作。直播简介:本次分享主要介绍如何利用Analytics Zoo和NIH胸部X光影像数据集,在Apache Spark集群上实现基于深度学习的胸腔疾病分类,为医生提供端到端的胸腔疾病AI诊疗辅助。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo
![](https://yqfile.alicdn.com/0d7cc73c5f2361104dc1250753e9ab1e010627f5.png?x-oss-process=image/resize,h_160,m_lfit)
阿里云EMR计算速度提升2.2倍 连续两年打破大数据领域最难竞赛世界纪录!
4月26日,大数据领域权威竞赛TPC-DS公布了最新结果,阿里云作为全球唯一入选的云计算公司获得第一。值得一提的是,去年阿里云EMR首次打破该竞赛纪录,成为全球首个通过TPC认证的公共云产品。今年在这一基础上,EMR的计算速度提升了2.2倍,连续两年打破了这项大数据领域最难竞赛的世界纪录。
![](https://ucc.alicdn.com/pic/developer-ecology/3dc464e7d1e249b89197af76249e1200.png?x-oss-process=image/resize,h_160,m_lfit)
Delta Lake Presto Integration & Manifests 机制
Delta 0.5 已于上周发布,增加了不少新特性,这篇文章主要讲解其 Presto Integration 和 Manifests 机制。
![](https://ucc.alicdn.com/pic/developer-ecology/a213abbfc5804c62af96c12cc0d3bac5.png?x-oss-process=image/resize,h_160,m_lfit)
Delta Lake 分区表覆盖写入操作
Delta Lake当前版本(0.5)只支持API操作的,但是实现 Insert SQL 语法也不难,需要注意的是 Delta Lake 中的分区表覆盖写入操作。
![](https://ucc.alicdn.com/pic/developer-ecology/ca53450cafab4ddb83b593133ec2bfe4.png?x-oss-process=image/resize,h_160,m_lfit)
SparkSQL DatasourceV2 之 Multiple Catalog
SparkSQL DatasourceV2作为Spark2.3引入的特性,在Spark 3.0 preview(2019/12/23)版本中又有了新的改进以更好的支持各类数据源。本文将从catalog角度,介绍新的数据源如何和Spark DatasourceV2进行集成。
![](https://ucc.alicdn.com/pic/developer-ecology/4c32808205bc4f7bb7bb464807435b85.png?x-oss-process=image/resize,h_160,m_lfit)
4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】
本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。
![](https://vod-yq.aliyun.com/vod-7651a3/image/default/B373052AE4D94468A0D6095998F56EB1-6-2.png?x-oss-process=image/resize,h_160,m_lfit)
大规模文件元数据下的耗时操作优化
本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。讲师介绍孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。
![](https://ucc.alicdn.com/pic/developer-ecology/688a9b7460ad4599b1dd69dfd9ff22f9.png?x-oss-process=image/resize,h_160,m_lfit)
Spark在云原生时代的发展
在ABC (AI, BigData, Cloud)时代,传统的大数据解决方案和厂商 (Cloudera, Hortonworks) 略显颓势,而云厂商 (AWS, Azure, GCP) 和云原生解决方案 (Databricks Cloud, Snowflake, ElasticSearch等) 则愈加迸发出活力。在这个云原生的时代拥抱云变成了不二之选,那么对于Spark[1]来说它是如何在云原生时代积极拥抱云的呢?
![](https://ucc.alicdn.com/pic/developer-ecology/2604c733b4cf455eaac90961a8e354b7.png?x-oss-process=image/resize,h_160,m_lfit)
实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作
本文介绍eBay Carmel团队利用Delta Lake,使Spark SQL支持Teradata的Update/Delete语法。主要从源码角度介绍了CRUD操作的具体实现和优化,以及delta表的管理工作。希望对同业人员有所启发和帮助。
![](https://ucc.alicdn.com/pic/developer-ecology/caa9b6dc5bd34f29bf05cff396ee4c11.png?x-oss-process=image/resize,h_160,m_lfit)
spark面试该准备点啥
大部分面试者被面试的spark问题估计都会集中于spark core,spark streaming和spark sql,至于mllib和graphx这些估计都是了解项,当然也要逐步去学习structured streaming。
![](https://ucc.alicdn.com/pic/developer-ecology/7b5be5e8fc234364acd504818aa2b256.png?x-oss-process=image/resize,h_160,m_lfit)
4月9日JindoFS系列直播【存储计算分离场景的计算适应优化】
本次分享会介绍云上大数据处理的存储计算分离特征,分析传统大数据处理中数据本地化与存储计算分离场景的区别,以及在存储计算分离场景中阿里云EMR的相关优化。
![](https://vod-yq.aliyun.com/vod-7651a3/image/default/CF65EA32C6F949BE8D29CB02DA414E0C-6-2.png?x-oss-process=image/resize,h_160,m_lfit)
存储计算分离场景的计算适应优化
讲师介绍王道远,花名健身,阿里云EMR技术专家,Apache Spark活跃贡献者,主要关注大数据计算优化相关工作。直播简介:本次分享会介绍云上大数据处理的存储计算分离特征,分析传统大数据处理中数据本地化与存储计算分离场景的区别,以及在存储计算分离场景中阿里云EMR的相关优化。
![](https://ucc.alicdn.com/pic/developer-ecology/c94fc1a1cc7e431393b9cc34b356efde.png?x-oss-process=image/resize,h_160,m_lfit)
深入剖析 Delta Lake:Schema Enforcement & Evolution
Schema 约束和 Schema 演变相互补益,合理地结合起来使用将能方便地管理好数据,避免脏数据侵染,保证数据的完整可靠。
![](https://ucc.alicdn.com/pic/developer-ecology/d46cf73b7dcb4230a69c8ffccf3637aa.png?x-oss-process=image/resize,h_160,m_lfit)
E-MapReduce弹性低成本离线大数据分析
基于阿里云的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建弹性、低成本的计算与存储分离架构的海量离线大数据分析日志分析系统。
![](https://ucc.alicdn.com/pic/developer-ecology/d8a30df693c846009d2fd9f2d5069e08.png?x-oss-process=image/resize,h_160,m_lfit)
MySQL:互联网公司常用分库分表方案汇总
不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。
![](https://ucc.alicdn.com/pic/developer-ecology/c26c5a14a68443c389ec088bfc7959b2.png?x-oss-process=image/resize,h_160,m_lfit)
3月26日Spark社区技术直播【Office Depot利用Analytics Zoo构建智能推荐系统的实践分享 】
大量实验结果表明深度学习能更好地帮助商家为用户个性化推荐感兴趣的商品。Office Depot将Analytics Zoo工具包引入到他们的推荐系统中,在Spark集群上分布式训练了各种推荐算法模型,实验结果相比于传统的推荐算法有了十分显著的提升,本次分享主要介绍Office Depot使用Analytics Zoo构建智能推荐系统的实践经验。
![](https://yqfile.alicdn.com/22995c8f0755d1f284209add1551992240085add.png?x-oss-process=image/resize,h_160,m_lfit)
Office Depot利用Analytics Zoo构建智能推荐系统的实践分享
大量实验结果表明深度学习能更好地帮助商家为用户个性化推荐感兴趣的商品。Office Depot将Analytics Zoo工具包引入到他们的推荐系统中,在Spark集群上分布式训练了各种推荐算法模型,实验结果相比于传统的推荐算法有了十分显著的提升,本次分享主要介绍Office Depot使用Analytics Zoo构建智能推荐系统的实践经验。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo讲师介绍讲师:黄凯Intel数据分析团队软件工程师。负责开发基于Apache Spark的深度学习框架,同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。
![](https://ucc.alicdn.com/pic/developer-ecology/477653254bda476a855ca28e3144fd76.png?x-oss-process=image/resize,h_160,m_lfit)
通过Job Committer保证Mapreduce/Spark任务数据一致性
通过对象存储系统普遍提供的Multipart Upload功能,实现的No-Rename Committer在数据一致性和性能方面相对于FileOutputCommitter V1/V2版本均有较大提升,在使用MapRedcue和Spark写入数据到S3/Oss的场景中更加推荐使用。
![](https://ucc.alicdn.com/pic/developer-ecology/6d1726f96366495e81dbfb7da4cb9bcb.png?x-oss-process=image/resize,h_160,m_lfit)
不可不知的Spark调优点
在利用Spark处理数据时,如果数据量不大,那么Spark的默认配置基本就能满足实际的业务场景。但是当数据量大的时候,就需要做一定的参数配置调整和优化,以保证业务的安全、稳定的运行。并且在实际优化中,要考虑不同的场景,采取不同的优化策略。
![](https://ucc.alicdn.com/pic/developer-ecology/5fa02c1b2dbf44da980dc56a4f949abe.png?x-oss-process=image/resize,h_160,m_lfit)
3月19日JindoFS系列直播【关于 JindoFS 最新的 OTS 方案】
本次直播主要介绍JindoFS的元数据的后端演化。包括JindoFS的架构以及使用场景、JindoFS 元数据的不同的后端支持,以及JindoFS 在云上环境如何支持 OTS 作为元数据后端。
![](https://ucc.alicdn.com/pic/developer-ecology/0dbb48565e1e4acba21f1557dc917d8c.png?x-oss-process=image/resize,h_160,m_lfit)
3月19日JindoFS系列直播【关于 JindoFS 最新的 OTS 方案】
本次直播主要介绍JindoFS的元数据的后端演化。包括JindoFS的架构以及使用场景、JindoFS 元数据的不同的后端支持,以及JindoFS 在云上环境如何支持 OTS 作为元数据后端。
![](https://yqfile.alicdn.com/1c9f8f8142568767b31313262e93ce5cb07b3254.png?x-oss-process=image/resize,h_160,m_lfit)
关于 JindoFS 最新的 OTS 方案
本次直播主要介绍JindoFS的元数据的后端演化。包括JindoFS的架构以及使用场景、JindoFS 元数据的不同的后端支持,以及JindoFS 在云上环境如何支持 OTS 作为元数据后端。讲师介绍殳鑫鑫,花名辰石,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。