云计算+大数据:如何助力天文学研究

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

战国时期,一本记载着800多颗恒星名字和位置的《石氏星经》,是祖辈们探索宇宙的秘笈,被誉为最古老的天文数据库。

2400年后,美国天文学家发现了一颗超高速星。有趣的是,这个发现并非由天文观测获得,而是利用中国虚拟天文台公布的数据“算”出来的星星。

事实上,除了科学家,普通百姓也能借助大数据、云计算等高科技来实现“天文突破”。此前,安徽合肥一名年仅10岁的小学生廖家铭,在没有任何观测设备的前提下,通过中国虚拟天文台的数据发现了一颗超新星,是迄今为止全球年龄最小的超新星发现者。

“打电脑”的天文学家

“由于我们观测的是宇宙中比较遥远的星体,到达地球的信号很弱,很容易被淹没在城市灯光里,因此天文望远镜一般都建在大山深处。”从北京市区驱车前往位于河北省的观测站,是中科院国家天文台郭守敬望远镜运行和发展中心常务副主任赵永恒的工作常态。

然而,从2017年4月份起,赵永恒把更多时间花在了另一项工作上:“打电脑”,因为他加入了一支特殊的“尖兵部队”——由国台联合阿里云成立的科技指导委员会,成了首批受聘专家之一。

毕业于河北师大的赵永恒,走出校园后就进入了中科院国家天文台工作,成为一名“追星人”,除了观星星,还有一大爱好就是玩电脑。

十几年前,作为国台最懂电脑的研究员,赵永恒用一台从中关村市场淘来的旧电脑鼓捣出了一个网站,这就是中国虚拟天文台的雏形。“我们的想法很简单:把国内外天文望远镜的观测数据放到这个平台上。”

“宇宙就像一片森林,有高大的乔木,低矮的灌木还有小草。我们今天能观测到的只是一些大的‘乔木’,远远不足以了解宇宙。”谈到探索宇宙,赵永恒总是滔滔不绝。

广袤的宇宙意味着海量的数据,这也是天文学不同于其他学科的重要特征。

以赵永恒负责的LAMOST郭守敬望远镜为例,它可以同时观测四千个天体,相当于同时启动四千台天文望远镜。到目前为止,已经观测了将近3000个天区,收集了超过600万条光谱数据。

“天文学已经进入大数据时代,两年数据就翻一番。一个团队或者一个国家,不可能及时的把所有数据都分析完,所以数据开放程度越高,被研究的机会就越多,产生的科学成果就会越多。”赵永恒说。

开放共享的天文数据

正是基于这样的思考,2016年,中科院国家天文台与阿里云达成了战略合作,引入最前沿的云计算、大数据技术,实现天文数据开放共享。

“今天不懂互联网几乎是寸步难行。”每次跟阿里云的技术团队开工作会,赵永恒都感觉收获良多,“15年前,我们只有一个简单的网站,如今中国虚拟天文台主节点迁移到云端后,成为一个集成超过500TB的科学数据、1.5PB的存储能力、700多Tflops计算能力和100多种软件的超级平台。”

赵永恒希望,未来的虚拟天文台能够承载全世界天文学者和爱好者获取天文数据、开展天文研究、进行科普教育的综合基地。

“科学离不开技术,技术也离不开科学”。正如赵永恒理解的,国家天文台联合阿里云成立的跨界“尖兵部队”,由最懂天文的技术专家和最懂技术的天文学家组成。

“我们从哪里来,时间有没有起点,宇宙是怎样诞生和演化的,要想回答这些终极问题,需要建立更加庞大的天文数据库,而技术则是通往未来的钥匙。”赵永恒表示。

将天文科普进行到底

为了给国内的天文爱好者提供一个稳定的展示自己才华和交流的平台,在中科院国家天文台-阿里云天文大数据联合研究中心主任崔辰州等的多方努力下,国家天文台 LAMOST大科学工程设立了一台专门无偿为天文爱好者和业余天文组织提供主页空间的服务器“宇宙驿站”,并于2002年3月12日对外开放。

2005年中国互联网协会大会上,“宇宙驿站”荣获组委会特别提名奖,理由是“走出了一条独特的网络科普道路”。

“宇宙驿站”是国内目前唯一一台专为天文科普服务的网络服务器。服务器在天文爱好者心中的地位日渐升高,国内许多爱好者和组织把自己的主页建立在或迁移到这台服务器上。

2017年1月,“国家天文台-阿里云天文大数据联合研究中心”成立。前不久,中国虚拟天文台主节点和郭守敬望远镜巡天数据成功上云,“宇宙驿站”天文科普网站群100多个天文科普网站同时上云,更好的服务广大天文爱好者。

崔辰州认为:“天文学是名副其实的“大数据”科学,每天由天文观测设备捕捉到的海量天文数据,不仅是科学研究的必需品,也是宝贵的科学普及和教育资源。”

“过去由于技术限制,这些数据无法得到充分的利用和分享,而在互联网+时代,云计算和大数据技术的成熟,加速了学科发展和大众科普。”崔辰州表示,“因此,天文科普教育工作必须由数据、由新技术来驱动,通过互联网把国际、国内的专家以及广大公众连接起来。”

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
16 0
|
10天前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
19 3
|
2月前
|
人工智能 分布式计算 大数据
超级计算与大数据:推动科学研究的发展
【9月更文挑战第30天】在信息时代,超级计算和大数据技术正成为推动科学研究的关键力量。超级计算凭借强大的计算能力,在尖端科研、国防军工等领域发挥重要作用;大数据技术则提供高效的数据处理工具,促进跨学科合作与创新。两者融合不仅提升了数据处理效率,还推动了人工智能、生物科学等领域的快速发展。未来,随着技术进步和跨学科合作的加深,超级计算与大数据将在科学研究中扮演更加重要的角色。
|
3月前
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
127 4
大数据环境下的房地产数据分析与预测研究的设计与实现
|
3月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的题目——北京移动用户体验影响因素研究,提供了问题一的建模方案、代码实现以及相关性分析,并对问题二的建模方案进行了阐述。
87 0
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
|
3月前
|
机器学习/深度学习 自然语言处理 数据可视化
基于Python大数据的京东产品评论的情感分析的研究,包括snwonlp情感分析和LDA主题分析
本文探讨了基于Python大数据技术对京东产品评论进行情感分析的研究,涵盖了文本预处理、情感分类、主题建模等步骤,并运用了snwonlp情感分析和LDA主题分析方法,旨在帮助电商企业和消费者做出更明智的决策。
125 1
基于Python大数据的京东产品评论的情感分析的研究,包括snwonlp情感分析和LDA主题分析
|
3月前
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题二建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的问题二的建模方案和Python代码实现,包括数据预处理、特征工程、模型训练以及预测结果的输出,旨在通过数据分析与建模方法帮助中国移动北京公司提升客户满意度。
72 2
|
3月前
|
分布式计算 并行计算 大数据
【数据挖掘】百度2015大数据云计算研发笔试卷
百度2015年大数据云计算研发笔试卷的题目总结,涵盖了Hadoop、Spark、MPI计算框架特点、TCP连接建立过程、数组最大和问题、二分查找实现以及灯泡开关问题,提供了部分题目的解析和伪代码。
51 1
|
5月前
|
数据采集 搜索推荐 大数据
基于大数据的市场分析与消费者行为研究
【6月更文挑战第5天】大数据在市场分析与消费者行为研究中扮演关键角色。通过海量数据分析,企业能更全面、精准地了解消费者偏好和市场趋势。Python等工具帮助处理数据,揭示购买习惯,支持个性化营销策略。同时,大数据使深入理解消费者心理、决策过程成为可能,助力企业优化产品,提升客户满意度和忠诚度。在这个数据驱动的时代,大数据是洞悉市场和消费者的魔法力量。
188 2
|
5月前
|
机器学习/深度学习 存储 算法
云计算和大数据处理
云计算和大数据处理
84 1