处理“天文数字”,国家天文台为什么选择与阿里云合作?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2016年9月,世界最大单口径、最灵敏的射电望远镜——“中国天眼”FAST在贵州落成启用。在随后的10月,中科院国家天文台与阿里云在杭州云栖大会上,宣布结为战略合作伙伴。 4月17日,拓扑社与部分媒体一起,共同前往国家天文台怀柔太阳观测站,了解双方这18个月以来的合作成绩。

2016年9月,世界最大单口径、最灵敏的射电望远镜——“中国天眼”FAST在贵州落成启用。在随后的10月,中科院国家天文台与阿里云在杭州云栖大会上,宣布结为战略合作伙伴。

4月17日,拓扑社与部分媒体一起,共同前往国家天文台怀柔太阳观测站,了解双方这18个月以来的合作成绩。

“现在人工智能技术这么发达,国家天文台上云之后,你们应该也会通过深度学习等技术来预测太阳活动吧?”有媒体问到。

“其实早在20多年前,我们就已经开始用深度学习来进行太阳黑子的活动预测了。”国家天文台怀柔太阳观测站的科学家回答。

处理“天文数字”,国家天文台为什么选择与阿里云合作?

国家天文台怀柔太阳观测站望远镜

每当我们形容一串大到不能具体计算的数字时,往往会用“天文数字”来指代。作为世界高精尖的研究学科之一,天文学是最早应用大数据的典型代表。

国家天文台台长严俊就曾表示,天文学是最早的数据驱动学科,早在10多年前就进入了大数据时代。有人预测,到2025年,天文观测相关的数据采集量将达到每年250亿TB。

崔辰州,是中国科学院国家天文台研究员、博士生导师、信息与计算中心主任。在当天的媒体沟通会上,他向我们介绍了天文学在大数据处理方面的强烈需求。

“FAST给我们带来了什么?其实就是大数据。在早期的时候,FAST产生的原始数据是38GB/秒。一天也就是3283TB的数据量。后期我们经过数据压缩和处理,数据量大约是原来的1/6,总量还是很大的。”崔辰州说。

也就是说,每天都在产生天文数字数据量的天文学研究探索,首先要面临的挑战就是海量数据存储和超大规模计算,

阿里云资深云计算架构师从越直言,像FAST这种数据量,无论是从数据收集、传输、存储、处理、分析、开放共享等各个环节来说,都是难度很高,非常有挑战性的问题。“不成熟的大数据解决方案根本无法承载如此大的数据量,更谈不上存储与计算。”

处理“天文数字”,国家天文台为什么选择与阿里云合作?

在从越眼中,庞大的数据下载,仿佛飞流直下的瀑布。如果设备和技术不完善势必会被数据击穿。他告诉我们,过去天文研究人员都是人工传送数据,背着移动硬盘来回跑。但上云之后,数据处理、传输、存储、分享等问题就都迎刃而解。

所以在如此庞大的数据处理需求面前,国家天文台与阿里云的合作就成了水到渠成的事。作为全球云计算3A阵营中的一员,阿里云的大数据处理、存储以及传输等实力在中国云厂商中的领先已无需赘述。

根据协议,双方合作成立国家天文台-阿里云天文大数据联合研究中心,并共同完成中国虚拟天文台上云项目。

从越介绍,目前,天文台主节点已成功上云。包括郭守敬望远镜(LAMOST)在内,涉及10亿个天体数据,都已通过该虚拟天文台向全球开放。

处理“天文数字”,国家天文台为什么选择与阿里云合作?

中国虚拟天文台网站首页

他强调,虚拟天文台的数据处理效率,与过去相比提高了20多倍,从原来的7天缩短为8小时;数据产品生成周期缩短9倍,从原来的180天缩短至20天。

不过,如此庞大的天文数据上云,除了能够推动我国天文学发展(当然这一作用已有巨大价值和意义),对于云计算、大数据、人工智能技术以及其他商业领域,又能带来怎样的价值?

对于这一问题,崔辰州直言:“天文数据最大的特点就是‘不能卖钱’。它可能不像商业数据,能够直接驱动商业模式。天文数据本身更多的价值还是在于天文学研究。不过,在这些数据处理过程中,相应的算法模型,处理能力等,却可以得到大幅的提高。”

从越也对这一问题表示了相同的看法。他告诉拓扑社,例如天文数据中含有大量的图片数据,这些图片数据其实可以用于图像识别的算法优化,并且因为数据量大,近似图像多,所以最终训练出的算法模型的精度会更高。

国家天文台与阿里云的合作中,还包括“天文数据挖掘”的天池大赛。其中有一位参赛选手王奇勋也向拓扑社介绍了天文数据与人工智能的结合。他表示,通过模型训练,他们能够将图像识别技术迁移到识别恒星光谱上,进而了解恒星的形成、星系演化甚至探索宇宙起源。

接下来,除了继续发挥云计算在天文科研方面的价值之外,阿里云与国家天文台还将继续推动更多数据与应用上云,包括更多的FAST数据上云(目前仅是其中一小部分),并且探索更多科普推广方式,激发大众探索星空奥秘。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 人工智能 大数据
中国中医科学院与阿里云达成合作
中国中医科学院与阿里云达成合作
280 0
|
人工智能 监控 搜索推荐
阿里云副总裁熊务真出席2022年中国进口博览会·中国国际经济管理技术高峰论坛:以科技创新助力绿色低碳发展
​11月8日,以“拥抱数字时代,共建零碳未来”为主题的2022年中国进口博览会·中国国际经济管理技术高峰论坛于上海国家会展中心成功举办。在论坛上,阿里云智能副总裁熊务真与大家分享阿里云在以科技创新助力绿色低碳发展方面的探索和实践。
阿里云副总裁熊务真出席2022年中国进口博览会·中国国际经济管理技术高峰论坛:以科技创新助力绿色低碳发展
|
物联网 云计算
中国水稻研究所与阿里云宣布开展低碳稻作技术合作
中证网讯(记者 王可 见习记者 汪荔诚)据阿里云消息,9月21日,中国水稻研究所与阿里云在浙江嘉善县举办低碳稻作技术合作发布会。
222 0
|
双11 云计算
喜报!阿里云荣获国家技术发明奖
刚刚,在国家科学技术奖励大会上阿里云荣获两项国家大奖:国家技术发明奖、国家科技进步奖。这是互联网公司首次同时获评两大国家科技奖
2036 0
喜报!阿里云荣获国家技术发明奖
|
供应链 双11
新加坡:所有政府官员减薪,抗疫一线奖钱
新加坡副总理兼财政部长王瑞杰(Heng Swee Keat)在国会表示,身处抗疫一线的公职人员将获得长达一个月的特别奖金
评创新创业城市,办开放创新项目,看日本政企学界如何推双创|全球快讯
日本创新生态系统的总体状况是:政府不断出台政策支持创业公司、创业者和生态系统支持者,日本企业界参与度稳步提升,以及越来越多外国科技公司涌入。
以色列拟建3个科技孵化器,5年培育130家创企|海外政策
周一,以色列政府科技投资机构以色列创新局(IIA)宣布将在三个周边城市分别建立一个科技孵化器,其中一个将专门面向药用大麻创业公司。
美国智库建议政府1000亿美元投资10座城市,打造更多创新中心|全球快讯
美国两大智库布鲁金斯学会(Brookings Institution)和信息技术与创新基金会(ITIF)建议联邦政府集中投资10座城市,以创造新的创新中心。
[转]国家发改委高技术司副司长戴明:双创没有止境,西部地区有很多新兴市场等待开拓
“双创事业没有止境,中国有超大规模的市场优势,特别是西部地区,有很多新兴市场的处女地等待开拓”10月22日,国家发展改革委创新和高技术发展司副司长戴明在2019“创响中国”西咸站系列活动启动仪式上表示,西咸新区具备天然的创新创业环境和坚实的创新创业基础。