简介
在数字化转型中,云计算成为企业创新的关键驱动力。我国某市下属遥感数据服务中心(简称遥感中心),借助阿里云ECS,GPU,对象存储OSS等多个服务,实现了地理信息产业2.0时代的全面升级。在WEB2.0时代,遥感中心面对如下问题:数据体量巨大,没有统一的数据管理平台;历年数据缺失统一标准,无法对外提供统一的标准数据服务;面对信息化的快速发展,无法做到快速及时响应与日俱增的服务需求。通过阿里云的助力,遥感中心打造了一套从数据生产到数据应用的全生命周期管理的遥感数据管理平台,形成了全流程、自动化、智能化、模块化的数据生产服务能力,为行业应用提供基础数据、要素产品、智能分析、空间分析等数据保障和多元化技术支撑,提升了对海量数据的管理及应用能力,大大提升了监测中心对外提供数据服务的准确性和及时性。
前言
在数字化转型的大潮下,云计算已深度渗透各行各业,成为企业创新和发展的关键驱动力。【云故事探索】栏目旨在通过全面挖掘并生动展现“客户如何用好云”的实战历程,深入剖析行业痛点解决之道,以鲜活的案例故事呈现云计算带来的价值,讲出“有味道”的客户故事。
本期我们将深入遥感行业,一个中国发展最快,同时面临的技术挑战也最大的新兴行业,遥感中心就是这样的一家机构,面对海量数据的与日俱增与上游业务需求的日益多变,遥感中心急需数字化智能化转型以提升自身的服务能力,遥感中心希望通过云计算技术这一创新手段实现对海量数据的自动化管理,历史数据的自动化治理,遥感数据的智能化解译等能力,为下游业务部门提供高效的,灵活的定制化服务。
一、遥感中心简介
遥感中心成立于2017年,是一个致力于利用卫星、飞机等遥感技术获取地球表面信息的机构,通过遥感技术分析,实时监测地表的变化,包括气候变化、自然灾害、城市发展等,提供高质量的遥感数据和分析报告,为政府、企业和科研机构提供决策支持和科学研究。
遥感中心为多个行业和部门提供服务括但不限于:
- 地理信息系统(GIS)行业:提供高分辨率的遥感影像数据,用于地图制作、空间分析和规划设计等领域。
- 农业和林业部门:利用遥感技术监测土地利用、作物生长情况、森林覆盖率等,为农业生产和森林管理提供数据支持。
- 环境保护部门:监测大气污染、水质情况、土壤侵蚀等环境问题,为环境监测和保护提供数据支持。
- 城市规划和建设部门:监测城市扩张、土地利用变化、交通状况等,为城市规划和建设提供数据支持。
- 自然资源开发行业:监测矿产资源分布、水资源利用情况等,为资源开发和管理提供数据支持。
遥感中心的行业定位是为各行业和部门提供高质量的遥感数据和分析服务,促进遥感技术在各领域的应用和发展,推动可持续发展和环境保护,致力于成为遥感领域的领先机构,为客户提供专业、可靠的遥感解决方案,助力他们做出更好的决策和规划。
二、地理信息产业2.0的挑战
随着WEB2.0时代的到来,各行各业都得到了快速发展,地理信息产业也不例外,面对各种类型的地理数据在不断的生成和使用,各种业务需求在不断的汇聚和创新中,遥感中心正在面临着五大挑战:
- 海量多变的数据:数据获取途径繁杂、处理任务重、数据空间化成本高;类型多样、管理维护要求各不相同。
- 割裂的数据分析:线上、线下数据处理分析的割裂;数据处理分析的效率和智能化程度低;数据处理分析的集成能力待提高。
- 缺失的平台管理:云平台厂商没有GIS云化部署的成熟方案;云计算技术学习成本高、平台种类多、技术路线不一;对基础GIS平台研究不深入,不能完美与云平台整合。
- 复杂多变的服务:服务类型多样、多集群负载、维护复杂;需统一管理自有服务和外部服务,需支持自定义服务的接入;需更细力度的权限控制、安全监控要求高。
- 标准不一的协作:服务建设模式多样、部署策略不一;涉及数据、服务、业务逻辑、部署策略等方方面面,技术要求高、实施难度大;支撑各种应用,稳定性要求高、运维压力大。
三、阿里云助理地理信息产业2.0落地
针对上述挑战,遥感中心基于卫星数据、基础测绘成果、自然资源数据以及其他相关业务数据,以遥感数据主责主业服务需求为指导,基于阿里云大数据、云计算、人工智能、实景三维等技术,围绕数据湖、数据保障、业务支撑、行业应用等建设内容,致力于数据管理、数据融合、数据智能挖掘、数据共享、数据三维可视化等技术研究,实施构建遥感数据管理平台。
1.基于阿里云对象存储OSS,云服务器ECS构建底层数据存储平台
遥感数据管理平台基于阿里云对象存储OSS技术,云服务器ECS等技术,构建了底层数据存储平台,实现了海量的遥感数据存储和微服务系统的构建。基础数据存储平台包含了数据的采集,上传,遇见,入库,之间和数据血缘构建等能力,并且通过DataV构建了数据BI分析和数据统计。阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。ECS服务具备自动容错和自动迁移功能,实现了全方位的高可用性保障,确保业务在任何情况下都能持续稳定运行,可以轻松打造出具备高可用性的云计算架构,实现业务的持续可靠运行。通过对象存储OSS,云服务器ECS的加持,遥感数据管理平台为用户提供了高可用,高性能的云平台服务能力,为基于上层业务的开展提供了有力的支撑。
2.基于GPU云服务器构建遥感数据智能解译
遥感数据管理平台基于GPU云服务器构建了遥感数据的智能解译服务,通过遥感智能解译模块,实现了样本数据采集、编辑、质检管理功能;实现了样本库的构建与管理功能;实现了模型高效训练与模型库管理功能;实现了遥感智能解译功能;研发并上架了十种智能解译模型。阿里云GPU云服务器具有超强的计算能力,服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。拥有大量擅长处理大规模并发计算的算术逻辑单元(Arithmetic and Logic Unit,即ALU),并且能够支持多线程并行的高吞吐量运算。基于阿里云GPU云服务的应用,遥感中心提供了高精度高效率高集成遥感智能解译能力,大节约了解译时间成本和人力成本,提高了成果的时效性。
3.基于大数据计算服务MaxComputer构建海量数据分析
遥感数据管理平台基于大数据计算服务MaxComputer构建了大数据业务调度系统,通过大数据业务调度系统,实现了海量影像自动处理流程动态构建与任务并行调度能力,最大化提升生产系统计算资源的利用效率,解决生产流程灵活搭建、影像快速生产处理、大数据量并发生产等问题。大数据计算服务MaxComputer以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使平台可以经济并高效的分析处理海量数据。基于大数据计算服务MaxComputer的使用,保障了高精度遥感影像数据生产,提升了影像数据产品生产效率,提高了影像数据产品生产精度,解决了遥感中心生产效率低、精度低、解译耗费人力大等问题。
四、地理信息产业2.0效能提升
1.数据生产速度明显提升
遥感数据管理平台的构建大大提升了基础影像产品的生产速度和遥感数据智能解译效率。
基础影像产品生产速度:
遥感数据管理平台的建设,形成了一体化数据生产流程,具备了针对光学、高光谱、雷达等遥感数据生产能力,通过采用遥感影像产品处理流程动态构建技术,集群生产的任务并行调度技术,最大化提升生产系统计算资源的利用效率;实现了以一套生产框架应对多样化数据生产需求的能力,大大提升了对于多源遥感数据生产的兼容与扩展能力;实现数据智能化、在线化处理,日处理数据500景遥感影像的能力。
对比项 | 升级之前 | 升级之前 |
---|---|---|
单景数据 | 2小时 | 10分钟 |
市级2米级数据 | 2天 | 4小时 |
省级2米级数据 | 20天 | 2天 |
省级亚米级数据 | 33天 | 4天 |
遥感数据智能解译效率:
遥感数据管理平台的建设,实现基于深度学习的遥感智能信息提取、变化检测等关键技术,构建相对复杂的具有自适应性的深度神经网络模型,实现了自然地表覆盖、人工目标要素、地表变化检测等遥感智能解译算法模型的构建、迭代与优化,形成面向不同场景下的“业务-样本-训练-应用”为一体的遥感智能解译技术流程,提升了自然地表覆盖、人工目标要素、地表变化检测等信息提取的智能化与自动化水平。2023年四季度系统共解译面积约20.82万平方公里,提取图斑311,1656个,准确率达到90%。
对比项 | 升级之前 | 升级之前 |
---|---|---|
单景数据 | 10~20小时 | 0.5~1小时 |
市级2米级 | 100~150小时 | 5~10小时 |
全省2米级 | 1600~1900小时 | 90~110小时 |
全省亚米级 | 1900~2100小时 | 150~190小时 |
2.数据共享成效显著
通过遥感数据管理平台的建设,实现海量数据(栅格、矢量、图表、文档、瓦片等数据)在线或离线分发、共享;对授权数据集提供时间、区域、类别的各种形式的数据发布,同时支持海量栅格、矢量数据、图标数据、文档数据及矢量瓦片数据分发、共享,实现了海量数据实时显示和高速服务,2023四季度平台实现了向15个市级卫星中心节点、16个共建单位、25个横向厅局、50家企业和 23所高校共享卫星数据产品,累计共享了30000次,大大提升了遥感数据的应用范围和使用效率。
五、探索地理信息3.0与AI 2.0时代的结合
2023年AI元年,2024年是AIGC快速发展的一年,阿里云作为在人工智能时代的领军人,如何基于阿里云人工智能平台PAI,阿里大模型Qwen,通义千问,通义万相,通义灵码赋能遥感数据管理平台是我们需要思考的事情,地理信息3.0时代是一个智能的时代。
- 基于人工智能PAI平台构建遥感数据大模型:
- 基于通义灵码构建主动BI自动报表分析:
- 基于通义千问构建遥感数据平台数据智能查询:
AI2.0时代已经到来,在这个智能的时代,我们需要让遥感数据管理平台具有人的思想,我们可以通过对话查询我们的遥感数据,我们可以通过对话自动构建我们的数据分析指标和BI的构建,我们可以通过PAI可以构建我们自己的私有遥感数据大模型,这些都是我们接下来要做的,未来可期,让我们共同期待。