欢迎加入阿里云 HBase+Spark技术交流群

本文整理自阿里云技术专家范佚伦在7月17日阿里云数据湖技术专场交流会的分享。

针对OSS存储的视频文件，这里介绍下使用Spark如何获取出来其文件名

一次疫情，让阿里达摩院医疗 AI 团队一战成名。 他们利用整个假期，疫情爆发初期迅速将技术落地，率先在「郑州小汤山」落地的第一套 CT 影像识别系统代码和图片已经被分别收藏在中国国家博物馆和中国科技馆。 疫情之后，达摩院医疗 AI 产品迅速进入落地阶段，成长与痛点并存。 面对技术落地面临的普遍困境，达摩院以「数字人体」系列比赛为抓手，逐渐搭建起行业生态。

由于解决了用户当前遇到的数据分散、复杂、难管理的问题，数据湖方案越来越深入人心，阿里云DLA产品提供了一体化解决方案，从数据湖管理到数据湖分析和计算。相对于在线引擎，Spark更适合弹性计算架构，可以跟云原生的弹性能力深度整合起来。从传统IDC到搬站上云到完全Serverless化，这条路径已经被越来越被认可为云技术的发展路径。DLA Spark采用完全云原生 + Serverless形式，相对于传统的自建Hadoop在性价比方面拥有数倍的优势。

2020年6月4日，首届 Apache Spark AI 智能诊断大赛在天池官网上线。Spark “数字人体” AI 挑战赛——脊柱疾病智能诊断大赛，聚焦医疗领域应用，召集全球开发者利用人工智能技术探索高效准确的脊柱退化性疾病自动诊断。现已面向全社会开放，为所有大数据技术爱好者以及相关的科研企业提供挑战平台，个人参赛或高等院校、科研单位、互联网企业等人员均可报名参赛。本次挑战的目标是通过核磁共振成像来检测和分类脊柱的退行性改变，形成一批创新性强、复用率高的算法案例，并积极推动相关技术的临床应用，用科技造福医疗事业，鼓励人工智能与疾病预防深度融合的应用落地，由点到面驱动国内人工智能医疗产业发展。

引子 本来这个东西是没啥好写的，但是在帮客户解决问题的时候，发现链路太长，不能怪客户弄不出来，记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新，本文不是文档) Spark 配置 spark.

通过Spark on MaxCompute来访问阿里云的Hbase，需要设置网络安全组、Hbase的白名单和配置Spark的参数

将Spark on Kubernetes与阿里云深度整合，设计一个开箱即用的Spark on Kubernetes镜像。

整理了这一年分享过的来自诸多专家的实践经验，希望2020年我们仍然能够互相支持，壮大Spark社区。

整理了这一年分享过的来自诸多专家的实践经验，希望2020年我们仍然能够互相支持，壮大Spark社区。