大数据时代,如何构建国家地质基础数据更新体系

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

大数据是当今世界经济、社会和科技发展的大趋势,已成为信息时代大国竞争的新领域。美国政府将大数据看作是“未来的新石油”,并将对大数据的研究上升为国家意志。我国也要求充分运用大数据、云计算等现代信息技术,提高政府服务水平。

地质基础数据是地质行业最基本的数据,反映了国家基础性、公益性地质调查工作的精度和质量。随着大数据时代的到来,地质基础数据的质量、数量和更新时效已成为衡量一个国家地质调查工作水准的基础标准之一,对保障国家资源能源环境安全、支撑服务经济社会发展具有重大而深远的意义。


image

发达国家已实现对地质基础数据的可持续更新

可持续更新的地质基础数据对保障国土安全(海陆领土)、资源安全(能源、重要矿产资源)、民生安全(水资源、生态环境、地质灾害和地震等)和国防安全(军事地质)等作用及意义十分重大,如海洋重磁数据及海底地形测量资料涉及国家大陆架划定、军事安全,重力原始数据涉及导弹轨迹测定等等。

最新的地质基础数据还是制定区域发展规划、实施资源勘查开发、保护区域生态环境、进行重大工程建设、开展地质科学研究等的重要基础依据,充分反映地质资源与环境基本国情,是政府决策和管理不可或缺的依据基础。

发达国家的地质基础数据按一定周期不断更新,大多数国家采用填编结合方式每15年到20年更新一次1∶25万、1∶5万地质图数据库。在此基础上,及时将大比例尺填图成果及时更新到区域地质图中,如加拿大每隔25年更新一次全国地质图数据库,法国1∶100万地质图数据库已更新7次,意大利1∶100万全国地质图数据库修编过5次,日本不同比例尺图件数据库也修编过10余次。大部分国家依托基础地质调查成果建立并实时更新岩石地层、同位素、地球化学等专业数据库。

发达国家的地质基础数据更新具有并执行严格的技术标准,并实现了地质基础图件与数据的一体化表达。通过一定的大数据信息技术,可将不同精度的标准化地质基础数据在同一平台系统上进行展示,既可以直观地读取不同类型、不同比例尺的图件,又可以获取相应的地质体的岩性、时代、成因和大地构造背景等基础数据,还可以获悉数据来源及采集时间等。

在常态化工作机构和稳定项目经费的支持下,发达国家紧密围绕经济社会发展需求,不断研发地质数据衍生产品。如美国地质调查局曾研发出为垃圾填埋选址服务的地质图,英国地质调查局研发出地震分布图和地震易发生区域分布图,加拿大地调局研发了海啸地震分布图、金伯利岩分布图等等。

我国地质基础数据更新工作现状

新中国成立以来尤其是地质大调查以来,我国取得了海量的地质基础数据,在此基础上,根据经济社会需求和科技进步开展了一系列数据更新工作:一是通过数字填图系统和回溯性建库更新了1∶5万数据;二是通过实测和修测更新了一批1∶25万数据,以及物化遥等数据; 三是开展了全国矿产资源潜力评价地物化遥数据库更新,初步形成了“发展中心—六大区中心—各省地调院”等单位共同协作的数据更新格局,培养了一批地质基础数据更新专业人员;四是省级和全国新一代区域地质志编纂等工作,更新了一批区域性地质图(库);五是完成了重要地质单元和六大区的地质基础数据更新;六是研发了人机交互的编图方法技术,探索了数据更新模式。

上述工作为支撑国家能源资源安全保障和服务国土资源中心工作作出了重要贡献,但仍存在以下问题亟待处理和解决:

一是国家地质基础数据更新机制不健全、组织体系尚未建立。

目前,我国地质基础数据更新缺乏统一的顶层设计和组织协调机制,国家地质基础数据内涵、种类及谱系目前尚不明确;数据更新的内容、周期和途径有待进一步研究和探讨;调查与建库、区调与编图、服务与更新的职责范围需要进一步厘定。国家地质基础数据管理分散,大量数据分散于不同的机构和部门,已有数据的提供使用情形呈现典型的“沙漏”模型,数据产品的及时性和效益性被阻碍或延迟,难以发挥应有的作用和效能。同时,虽有海量的地质基础数据,但部分数据已近15年尚未更新,数据老化问题突出,且图件与数据一体化表达质量不佳。

二是国家地质基础数据更新缺乏统一标准,核心技术支撑难以满足实际需求。

国家地质基础数据技术标准不统一,数据质量参差不齐,沉积岩、岩浆岩与变质岩全国年代学格架和岩石统一命名平台尚未建立,导致同物异名和同名异物现象突出,地质基础数据不规范难集成,区域上的综合研究和对比无法实现。国家地质基础数据更新技术支撑不力,数据更新与共享技术应用力度不够,难以满足工作实际需求。

三是地质基础数据更新经费无稳定保障。

目前,地质基础数据更新与所设置项目挂钩,有项目就更新,无项目就终止,缺乏持续稳定的经费保障。

构建国家地质基础数据更新体系

当前,地质调查工作瞄准“两个定位”和“六项服务”,“加快建设世界一流的新型地质调查局”的目标更加坚定,实施“三深一土”国土资源科技创新战略已成为工作主流。而地质基础数据是创新和服务的基点和源泉,构建国家地质基础数据更新体系是建设世界一流的新型地质调查局的基础条件,必将成为助力国家大数据战略和创新驱动发展战略,提升地质基础数据质量、能量,促进地质工作与时俱进、可持续发展的引擎力和动力源。

建立科学顺畅的更新工作机制。

明确国家地质基础数据范围、类别,管理权限,更新机制以及数据使用条例,划清楚调查与建库、区调与编图、海洋与陆地、服务与更新的职责范围。

建立自上而下和自下而上相结合的数据更新工作机制:技术要求和工作指南的自上而下——统一思路、统一方法、统一标准;数据更新途径的自下而上——大比例尺—小比例尺、区域—全国、专业—综合。

数据更新周期因事制宜、因专业有别,有计划、分阶段、遵照轻重缓急的原则逐步展开:按国家重大战略和经济社会发展需求适时更新,按地质工作程度和数据服务期限定期更新;区域地质、地球物理和地球化学数据更新应根据专业特色采用不同的更新途径与技术方法。如1∶5万区调数据更新应依据具体需求,目标集中、重点突出、围绕存在的问题有针对性地进行更新,更新方式可以采取修编与实测相结合的方式。根据年度数据更新计划,给予持续稳定的项目经费保障。

构建稳定的人才队伍体系。

以中国地质调查局为龙头,构建国家地质基础数据中心,形成“发展研究中心—六大区地调中心—各专业地质调查机构”队伍组织体系,在每个单位设置专门的部门和稳定的人员来承担此项工作,并给予持续的项目经费支持保障。

具体分工建议如下:

中国地质调查局:负责国家地质基础数据更新体系建设与统筹管理工作,建设数据更新技术方法标准体系,定期向社会公开发布最新数据与专题性服务产品。

发展研究中心:在中国地质调查局的领导与指导下,负责编制年度数据更新和发布计划;研究确定各类型数据更新周期与途径;实施数据更新技术方法标准体系建设;构筑全国数据汇聚、加工与更新平台;按国家重大战略和经济社会实际需求研发专题性服务产品系列;定期组织相关技术人员培训。

六大区地调中心:负责各辖区内的信息平台建设、数据汇聚、加工与更新,以及系列数据专题性服务产品的研发工作。

各专业地质调查机构:负责各具特色的专业信息平台建设、数据汇聚、加工与更新,以及系列数据专题性服务产品的研发工作。

构建核心的更新技术体系。

以实施国家大数据战略为契机,面向地球系统科学的多专业研究,更加聚焦区域重大地质基础问题综合研究;面向经济社会的多需求应用领域,更加关注国家重大战略支撑和国土资源中心工作服务。在充分汇聚已有地质数据的基础上,以现代信息技术手段为引领,探索攻关“数据驱动 + 知识驱动”数据更新技术,构建数据汇聚平台、更新平台和研发平台,研制国家地质基础数据库(地质基础数据)、知识库(全国地质构造的规律性和系统性认识)和技术方法库(数据更新操作指南等),全面支撑“地质云”建设工作。

建立操作可行的技术标准体系。

探索操作可行的数据更新基础标准、产品标准、方法标准等,进一步完善全国统一的构造、地层、岩石划分方案,制修订数据汇聚、更新与研发的技术标准与方法指南,完善数据质量控制与验收标准,探索科普性服务产品标准等,形成全国统一的数据更新标准体系。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
传感器 人工智能 大数据
高科技生命体征探测器、情绪感受器以及传感器背后的大数据平台在健康监测、生命体征检测领域的设想与系统构建
本系统由健康传感器、大数据云平台和脑机接口设备组成。传感器内置生命体征感应器、全球无线定位、人脸识别摄像头等,搜集超出现有科学认知的生命体征信息。云平台整合大数据、云计算与AI,处理并传输数据至接收者大脑芯片,实现实时健康监测。脑机接口设备通过先进通讯技术,实现对健康信息的实时感知与反馈,确保身份验证与数据安全。
|
1月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
196 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
2月前
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
24天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
5月前
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
132 5
|
26天前
|
存储 分布式计算 大数据
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。
|
5月前
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
111 3
|
1月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
|
3月前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
5月前
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
86 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala