AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用ADAM处理Terabyte级基因数据集

2017-02-18 2098
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Frank Austin Nothaft在Spark Summit East 2017上的演讲，主要介绍了构建于Spark分布式计算框架之上的符合Apache 2许可的库ADAM，ADAM允许基因分析在Spark上集群上无缝地进行分布，并为编写基因组分析算法提供了清晰的API，演讲还讨论了ADAM与Hbase对于大型变体数据集进行交互式探索。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Frank Austin Nothaft在Spark Summit East 2017上的演讲，主要介绍了构建于Spark分布式计算框架之上的符合Apache 2许可的库ADAM，ADAM允许基因分析在Spark上集群上无缝地进行分布，并为编写基因组分析算法提供了清晰的API，演讲还讨论了ADAM与Hbase对于大型变体数据集进行交互式探索。


65855fed3ce088715b98342c80b170a187b77378

2b41327bff344cdb23f2fbd7a4c5d0dbb87f94d8

77a662d0ae9cc9192171410420c3b4c7297b9235

7333ad733eb7c738db821e6591f4eae7f48d9c2b

2a18f7bf522de30447a836b42f5d39d0270a6b60

bc3ec56dd951b0aa4f467777bff2774619cbd8eb

a6e9b4a16f84cd7eb27efa0ecaec336959ec06b0


14232512be9dcaf2546052cb43ff3a2581608d90

f46ddcb0355340cee202c935c385264321ac93d6

0600d89ce7ea7cebc2a581ff3095655a02a7275b

f2a10d0df3ad40318c32e2fd13ee63b56961fcfb

25b0086f16ebf9fff6a614f4f0b1afec5b11bb0f

8cfd2e611e7976de561a9ba95a07e892d5cd4d84

468fbef0efb90bd32df87fe10b3077ae4578b330

67db0e79c1d92b27a9ad482fe3a43bdfe1f95293

aa67286466842295ee14c32361a025d502e483a5

1a125ef38da2533e0a24e8210ec43959c25d4b93

f9cfbebb2e617ae7a7bace67da0408ac0d4068ba


c143afe2d788a563cc9c5cc2073c93088816123c

adb299943b058fd586c467b217f14986d0898018

2ae356f0b372821e0d9a6965e8f4f69c21abdac9

796a02be062e67cfa35009902ac0e201ba47b1c5

文章标签：
Apache
API
算法
大数据
分布式计算
关键词：
apache spark数据集
apache spark east
apache spark summit
apache spark summit east
apache spark基因
小猫吃鱼569
目录
相关文章
yuanzhengme
|
7月前
|
存储 缓存 分布式计算
Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
【2月更文挑战第13天】Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
yuanzhengme
82 1
晓之以理的喵~~
|
7月前
|
分布式计算 大数据 数据处理
Spark RDD（弹性分布式数据集）
Spark RDD（弹性分布式数据集）
晓之以理的喵~~
130 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
267 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
85 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
80 0
热烈的马
|
7月前
|
存储 分布式计算 搜索推荐
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
热烈的马
232 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
115 0
fanstuck
|
存储 分布式计算 资源调度
Spark框架深度理解三：运行架构、核心数据集RDD
Spark框架深度理解三：运行架构、核心数据集RDD
fanstuck
429 0
Spark框架深度理解三：运行架构、核心数据集RDD
游客wkxim4agoo6le
|
JSON 分布式计算 Java
Spark2.X弹性分布式数据集（二）
笔记
游客wkxim4agoo6le
117 0
Spark2.X弹性分布式数据集（二）
游客wkxim4agoo6le
|
存储 分布式计算 并行计算
Spark2.X弹性分布式数据集（一）
笔记
游客wkxim4agoo6le
132 0
Spark2.X弹性分布式数据集（一）

热门文章

最新文章

  • 1
    Spark Master启动源码分析
  • 2
    Spark-spark streaming
  • 3
    Spark本地环境搭建（local模式）
  • 4
    Spark PruneDependency 依赖关系 RangePartitioner
  • 5
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 6
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 7
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 8
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 9
    Spark Shell入门教程（上）
  • 10
    领英如何应对Apache Spark的Scalability挑战
  • 1
    spark用于分析数据并将数据保存到数据库中是
    76
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    98
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    94
  • 4
    Spark在深度学习中的优缺点是什么？
    269
  • 5
    使用Spark进行机器学习
    85
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    145
  • 7
    【Spark】Spark基础教程知识点
    93
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    180
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    152
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    85

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    DataWorks