在SPARK SUMMIT 2017上，Jose Nandez SHARCNET – University of Western Ontario分享了题为《Analyzing Andromeda Galaxy data using Spark》，就什么是SHARCNET,SHARCNET可以做什么，Andromeda galaxy介绍等方面的内容做了深入的分析。
https://yq.aliyun.com/download/2199?spm=a2c4e.11154804.0.0.12b86a79WG8kJm
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
SHARCNET，全称为Shared Hierarchical Academic Research Computing Network，是一个加拿大高级研究计算网络。它是一个分布式计算平台，旨在为学术界提供高性能计算资源和服务，支持跨学科的研究项目。SHARCNET集合了多所大学和研究机构的计算资源，包括超级计算机、大型存储系统以及高速网络连接，以促进科学、工程、社会科学等领域的复杂计算和数据分析。
在SHARCNET上，研究人员可以执行大规模的模拟、数据处理和分析任务，这些任务往往需要巨大的计算能力和高效的数据处理框架。SHARCNET不仅提供了硬件基础设施，还支持一系列软件工具和编程环境，比如Spark，来帮助用户高效地处理大数据集。
Spark是Apache软件基金会下的一个开源大数据处理框架，以其在内存计算、实时数据处理和机器学习方面的高效性而闻名。Jose Nandez在SPARK SUMMIT 2017上的分享《Analyzing Andromeda Galaxy data using Spark》展示了如何利用Spark强大的数据处理能力来分析安德洛美达星系（Andromeda Galaxy）的数据。安德洛美达星系，也称为M31，是距离我们银河系最近的大星系之一，对它的研究有助于深入理解星系形成、演化以及宇宙的大尺度结构。
通过这个案例，Nandez可能探讨了如何使用Spark进行如下的工作： - 处理来自天文观测的大量图像数据，比如通过光谱分析来识别恒星类型。 - 进行大规模的统计分析，以揭示星系内部结构、恒星分布模式或运动特性。 - 应用机器学习算法来分类天体对象，或者预测星系中的暗物质分布。 - 实现实时或近实时的数据处理流程，加速科研发现的速度。
阿里云作为全球领先的云计算服务提供商，同样提供了丰富的服务与产品，支持类似的大数据处理和高性能计算需求。例如，阿里云E-MapReduce服务就是基于Apache Hadoop和Spark构建的企业级大数据处理平台，能够帮助用户轻松部署和管理大数据应用，实现数据的批处理、交互式查询、流处理等多种计算任务。此外，阿里云的高性能计算HPC解决方案也能为科学研究、工程仿真等领域提供强大的计算能力支持。
