X86 vs ARM 架构同台竞技: 生物大数据大规模并行计算(如何将WGS全基因组计算成本降到1美元)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: Sentieon DNAseq 实施的全基因组测序 (WGS) 二级分析流程与行业标准的 BWA-GATK 最佳实践流程结果相匹配,且运行速度提高了 5-20 倍。Sentieon软件安装简单,开箱即用,并且提供了与ARM和x86指令集适配的版本。使30X WGS 数据样本在OCI 实例上的计算成本压缩到每个样本 1 美元以下,处理时间缩短到近一小时。

背景介绍

基因组序列分析是生命科学和医疗保健行业领域的重要组成部分,是众多技术突破的关键。随着生命数字化时代的来临,为了解决大数据带来的速度与费用问题,在云计算平台进行流程的分析及计算是目前较流行的方案。然而大部分用户通常直接采用了未优化的软硬件配置,导致样本分析成本过高。因此,如何在云平台上选择合适的硬件配置,从而平衡计算成本与分析速度,成为了值得探索的问题。

为此,Oracle甲骨文云发布了相应的评测文章,该测试项目使用了OCI提供的最新的 ARM 和 x86计算实例,利用OCI硬件资源分配与优化机制,搭配Sentieon软件进行了一系列的运算耗时和云成本估算的基准测试。旨在为用户实现全基因组二级分析的高效计算和低成本的最佳平衡。

在分析流程上,该项目选择了Sentieon DNAseq(v202112.01)流程作为软件方案。Sentieon DNAseq 作为行业金标准 BWA-GATK 的直接替代品,不仅能提供与 BWA-GATK 流程一致的分析结果,而且灵活性强,运行速度更比GATK 快 5-20 倍。

我们将在本篇文章中详细展示测试细节和深度分析,供生物大数据分析研究人员参考。

测试细节

测试环境

该项目测试工作使用了OCI提供的最新的AMD、ARM 和 Intel处理器。下表为各个云计算实例的配置情况。相比于其他云计算服务平台,OCI的优势之一是允许用户灵活指定所需的CPU线程数,内存数,存储以及输入/输出,从而达到与应用流程的最佳适配和最优的使用成本。

image.png

测试设置

测试的分析流程使用了与行业金标准的BWA-GATK 结果匹配的Sentieon DNAseq流程。该项目对七组 WGS 数据进行了基准测试和成本估算分析,测试结果发现所有数据集的运行时间和计算成本特征都表现相似。因此,测试结果的分析将重点关注其中的两个数据集,分别为 Illumina HiSeq X 和Illumina NovaSeq 系统测出的 30X HG002 数据(无 PCR 样本)。

在参考基因的选择方面,相比于GRCh37版本,GRCh38版本参考基因组可显著提升序列的完整性和准确度,已作为业界标准被广泛采用。因此该项目采用了 GRCh38 作为参考基因(包括primary contigs以及额外的decoy contigs,不含ALT contigs或者HLA基因);Benchmark分析流程以FASTQ 文件作为输入并生成 VCF 输出文件,流程步骤包括比对、排序、重复数据的删除、BQSR 及变异检测。

测试结果

测试项目依据不同的线程数,内存,以及存储资源的申请,创建了共计11个测试实例,具体配置以及计算成本的评估结果如下表所示。

image.png说明:WGS 分析中涉及的其他操作,例如作业执行脚本的设置、输入数据的上传与输出数据的下载等,这些额外步骤所消耗的资源成本将分摊到各个测试实例上(表 2 中的评估数据不包含这部分的资源成本,也不包含生产云计算操作所需的其他资源成本,以及 Sentieon DNAseq 许可证成本)。另外这里额外增加了 0.0171 美元或 0.0457 美元,以对应 500-GB 或 1000-GB 存储系统的每小时资源成本。

测试结果显示,Sentieon DNAseq在OCI的大部分ARM实例上实现了30x WGS的整体分析成本低于1美元,最低在ARM-S实例上处理NovaSeq 30x WGS成本0.9美元。

image.png

资源监控

OCI极佳的资源可调性确保了用户在配置全基因组以及其他分析流程时,可以找到速度与成本的最佳平衡点。同时OCI平台的控制面板也提供了资源监测工具,帮助用户确认所调用的运算资源是否匹配流程所需。如下图所展示的,是在VM.Standard.A1.Flex实例上运行全基因组分析时运算资源的表现。

image.png我们知道在全基因组的二级分析流程中,比对和变异检测步骤主要依赖CPU的运算,而排序以及去重则是I/O需求较重的步骤。由测试结果可知,Sentieon DNAseq 流程工作时,在大部分时间段内的内存利用率均保持 90%左右,CPU 利用率近乎100% ,只有在排序和去重步骤时稍低;这一结果与我们的预期一致。而在 IO 密集的工作阶段,磁盘I/O峰值已达到了 240 MB/s 的硬件限制。由此说明,Sentieon DNAseq流程工作时可充分利用OCI平台提供的所有可用的硬件资源,实现最佳的运行效率。

CPU性能

Sentieon DNAseq 可以通过在多台服务器上利用更多的 vCPU并行运行,以进一步提高分析速度。此外,由结果可观察到尽管 ARM 处理器不支持超线程,但其仍可提供与 x86 相比具有竞争力的性能表现。

内存性能

为了准确地评估生产环境下测试机器的 I/O 能力,该测试项目中保留了 WGS 分析通常需要的所有关键输出文件,其中 NovaSeq 样本生成了大约 90 GB 的结果文件,而 HiSeq 生成了 120 GB 的结果文件。另外,测试发现,当磁盘容量(及相应的吞吐量性能)从 500 GB (240 MB/s) 增加到 1000 GB (480 MB/s) 时,程序 I/O 速度也有所提高。

可扩展性

将“通量”定义为每天能够处理的30x全基因组数据的个数,下图展示了不同实例的通量与所用线程的关系。其中 AMD-X shape 每天可以处理 32 个 30X 数据集,而 ARM-S shape 只能处理 10 个数据集。

同时,该图还展示了 Sentieon DNAseq 程序的可扩展性。由图可知,通量与所用线程成正比,表明 Sentieon DNAseq 扩展性优异,可最大程度地利用可用硬件资源。

image.png结论

  • OCI 提供的最新 ARM 实例能够很好的处理全基因组测序 (WGS) 二级分析类型的计算密集型和I/O 密集型的 HPC任务。此外,凭借 ARM 强大的计算速度和及更低的成本优势,OCI 的 ARM 实例可为用户提供性价比最佳的解决方案, 30X WGS 数据样本的FASTQ-to-VCF 分析,计算成本不到 1 美元。
  • OCI平台可精确调节各项运算资源,可有效减少资源浪费,降低了用户的计算成本。
  • Sentieon DNAseq 实施的全基因组测序 (WGS) 二级分析流程与行业标准的 BWA-GATK 最佳实践流程结果相匹配,且运行速度提高了 5-20 倍。
  • Sentieon软件安装简单,开箱即用,并且提供了与ARM和x86指令集适配的版本。使30X WGS 数据样本在OCI 实例上的计算成本压缩到每个样本 1 美元以下,处理时间缩短到近一小时。

参考信息

Sentieon软件中文网站:https://www.insvast.com/sentieon

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
23天前
|
分布式计算 大数据 数据处理
经典大数据处理框架与通用架构对比
【6月更文挑战第15天】本文介绍Apache Beam是谷歌开源的统一数据处理框架,提供可移植API,支持批处理和流处理。与其他架构相比,Lambda和Kappa分别专注于实时和流处理,而Beam在两者之间提供平衡,具备高实时性和数据一致性,但复杂性较高。选择架构应基于业务需求和场景。
37 3
经典大数据处理框架与通用架构对比
|
24天前
|
存储 分布式计算 大数据
数据仓库与数据湖在大数据架构中的角色与应用
在大数据时代,数据仓库和数据湖分别以结构化数据管理和原始数据存储见长,共同助力企业数据分析。数据仓库通过ETL处理支持OLAP查询,适用于历史分析、BI报表和预测分析;而数据湖则存储多样化的原始数据,便于数据探索和实验。随着技术发展,湖仓一体成为趋势,融合两者的优点,如Delta Lake和Hudi,实现数据全生命周期管理。企业应根据自身需求选择合适的数据架构,以释放数据潜力。【6月更文挑战第12天】
53 5
|
5天前
|
存储 数据可视化 大数据
大数据平台架构设计与实施
【7月更文挑战第3天】本文探讨了大数据平台的关键技术,包括数据采集(如Kafka、Flume)、存储(HDFS、HBase、Cassandra)、处理(Hadoop、Spark)、分析挖掘及可视化工具。架构设计涉及数据收集、存储、处理、分析和应用层,强调各层次的协同与扩展性。实施步骤涵盖需求分析、技术选型、架构设计、系统部署、数据迁移、应用开发测试及上线运维,旨在为企业决策提供强有力的数据支持。
|
5天前
|
存储 弹性计算 大数据
阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求
【7月更文挑战第3天】阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求,如大数据型实例配备高吞吐硬盘。与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保任务高效运行。案例显示,使用ECS能提升处理速度、降低成本,为企业数据驱动创新提供有力支持。
25 1
|
15天前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之odps sql 底层计算框架是MR吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
26天前
|
传感器 物联网 数据中心
探索ARM架构及其核心系列应用和优势
ARM架构因其高效、低功耗和灵活的设计,已成为现代电子设备的核心处理器选择。Cortex-A、Cortex-R和Cortex-M系列分别针对高性能计算、实时系统和低功耗嵌入式应用,满足了不同领域的需求。无论是智能手机、嵌入式控制系统,还是物联网设备,ARM架构都以其卓越的性能和灵活性在全球市场中占据了重要地位。
41 1
|
14天前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之mysql读取从mc里的每10分钟计算好的结果数据表,如何同步数据过去
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
18天前
|
物联网
arm架构和x86架构区别
arm架构和x86架构区别
|
27天前
|
Ubuntu 编译器 C语言
蓝易云 - ubuntu上安装boost库为SOMEIP的X86和ARM下编译做准备(编译两种版本)
以上就是在Ubuntu上安装Boost库并为SOME/IP的X86和ARM架构编译做准备的全部步骤。
34 0
|
1月前
|
Ubuntu Windows
ubuntu 安装vnc_vnc4server arm架构
ubuntu 安装vnc_vnc4server arm架构
19 0