华大基因股份公司总监金鑫介绍了华大基因,并浅谈了与阿里云的情缘,包括Maxcompute等方面应用案例。一起来看下吧。
华大基因是中国最领先的基因科技公司,华大基因为消除人类病痛、经济危机、国家灾难、濒危动物保护、缩小贫富差距等方面提供分子遗传层面的技术支持。目前,世界上只有两个国家的三个公司可以生产、量产临床级别的基因测序仪,华大基因是中国的唯一一家。我们在基因的产权研发方面从1999年开始做了很多的工作。在2014年,我们与阿里云有了初步的接触,在2015年上线了我国第一个基因云计算平台。
我们与阿里云合作是因为我们看到基因技术从过去的只在实验室中逐渐进入到广大群众的生活场景当中,不管是在医学健康方面、生殖健康方面、肿瘤防治方面、病原感染方面还是农业育种,以及与我们每个人息息相关的健康管理,基因技术已经取得越来越多的应用场景,在国产基因测序仪的助力之下,基因数据产生的体量也越来越庞大,远远的超出了原有的计算能力所能支持的范围。
正是这样的背景之下,在非常强劲的需求驱动下,我们与阿里云开始了合作,使用了阿里云计算存储的多款产品,尤其包括批量计算、Maxcompute等一些异构计算方式,使我们原先需要几周甚至更长时间才能完成的计算任务在一两天内得以解决。在我们现在进行的百万人基因组项目中,阿里云的Maxcompute技术帮助我们大大加速了对于人群结构的分析速度的进展,相关的结果我们也在整理中。
每个人的基因数据为100G,传统计算方式处理需要三到五天,使用Maxcompute使得整个分析可以在一小时内完成,大大加速了数据吞吐速度和交付速度。另外,在对100万人的基因数据进行遗传结构分析时,我们需要把每一个人与剩余的所有人进行遗传距离计算,这个计算量是巨大的,计算复杂度已经远远超出了传统计算条件下硬件设备所能承受的能力范围,通过使用Maxcompute,我们已经在这方面取得了技术突破,我们在几小时内就可以把一个人与百万人中所有遗传距离进行计算,这样的例子我们还在不断的开发中,相信Maxcompute也会给我们带来更多的惊喜。
在存储方面,我们也使用了阿里的产品,每年我们会产生非常多的基因数据,明年我们计划对10万人进行基因组的基因测序和分析,我们将与阿里云计算平台一起在2018年用国产测序仪完成计算、分析和交付。