成信大ENVI_IDL第三周课堂内容1:读取OMI数据(HDF5文件)以及输出+解析

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 成信大ENVI_IDL第三周课堂内容1:读取OMI数据(HDF5文件)以及输出+解析

1. 课堂内容

OMI数据的读取与输出,这里实际考察如何取读取HDF5文件以及HDF5文件输出(这里输出是以tiff格式为例)


2. 知识储备

HDF5文件打开的相关函数





3. 编程

; 本函数用于打开HDF5文件并获取数据集
function get_hdf5_ds, file_path, ds_path  ; 输入数据集所在文件的路径以及 --数据集的路径(关于这个看主程序的注释)
  ; 获取文件的id————》通过h5f_open()函数获取
  file_id = h5f_open(file_path)
  ; 传入文件的路径
  ; 获取数据集的id————》通过h5d_open()函数获取(另外需要说一下, h5d表示hdf(简称h)5(简称5)文件中的data set(简称d)的相关操作)
  ds_id = h5d_open(file_id, ds_path)
  ; 传入数据集所在文件的id,传入数据集的名称
  ; 获取数据集的数据————》通过h5d_read()函数获取
  data = h5d_read(ds_id)
  ; 传入数据集的id
  ; 打开的文件以及数据集需要全部关闭当不用的时候,这是习惯和态度问题(其实是为了后续你再使用这些文件避免一些错误和问题)
  h5d_close, ds_id  ; 这里是h5d, 下面是h5f,两个函数是不一样的,需要注意一下
  h5f_close, file_id
  ; 返回数据集的数据
  return, data
  ; 销毁数据变量(避免空占内存——但是我是存疑的,return之后函数内部的所有变量不都会被销毁吗?还需要自己操作吗)
  data = !null
end
pro week_three_study1
  ; 本程序解决如何读取OMI数据以及它的输出(OMI数据这里是HDF5格式,实际上是学习如何读取和输出HDF5文件)
  ; 获取文件路径以及数据集的路径(通过hdf explorer软件轻松获取)
  file_path = 'D:\IDL_program\experiment_data\chapter_2\NO2\2017\OMI-Aura_L3-OMNO2d_2017m0101_v003-2018m0627t042221.he5'
  ds_path = '/HDFEOS/GRIDS/ColumnAmountNO2/Data Fields/ColumnAmountNO2TropCloudScreened'
  ; 这里说明一下,hdf4不需要数据集在文件里面的目录,但是hdf5需要输入数据集在文件里面的目录(原因不知道,我有猜测但是不确定)
  ; 获取输出的文件夹路径
  out_dir_path = 'D:\IDL_program\experiment_data\chapter_2\output'
  ; 这里假定你不知道路径中output文件夹是否存在,且你并不愿意亲自查看,可以进行如下操作
  if file_test(out_dir_path, /directory) eq 0 then begin
    ; 这里有一个函数需要认识一下————》file_test()——》检查文件是否存在(默认检查文件,需要检查文件夹需要加上参数/directory)
    ; 该函数会返回0或者1,0表示不存在,1表示存在
    ; 创建文件夹
    file_mkdir, out_dir_path
  endif
  ; 获取输出的文件的名称
  out_name = file_basename(file_path, '.he5') + '.tiff'  ; 输出为tiff格式可以进行查看
  ; 这里file_basename()传入file_path已经可以将文件名称输出,但是我们不需要后缀名.he5
  ; 所以传入字符串'.he5'函数会将已经获取的文件名称中这个字符串删除并返回
  ; 输出的路径 = 输出文件夹的路径 + 输出文件的名称
  out_path = out_dir_path + '\' + out_name
  ; 获取数据集的数据
  data = get_hdf5_ds(file_path, ds_path)
  ; 输出
  write_tiff, out_path, data, /float
  ;传入输出的路径、输出的数据、另外这里默认是输出int型,但是我们通过hdf explorer发现该数据集的type是float,所需要指定一下
end


编译+运行之后输出的结果:



查看输出的TIFF文件:




4. 题外话(HDF5下的中文路径问题)

这里我遇到一个小小的不兼容,原来我们使用hdf_sd_start()函数打开HDF4文件时

即使传入的路径是中文,那么也是可以打开这个文件的。

但是,在h5f_open()函数中打开HDF5文件传入中文路径就会运行报错,显示无法打开文件,只需要将中文路径修改为英文路径即可(所以,养成写英文路径的习惯吧,也算学了学英语)

报错显示如下:



目录
相关文章
|
2天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
14天前
|
人工智能 自然语言处理 Java
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
FastExcel 是一款基于 Java 的高性能 Excel 处理工具,专注于优化大规模数据处理,提供简洁易用的 API 和流式操作能力,支持从 EasyExcel 无缝迁移。
75 9
FastExcel:开源的 JAVA 解析 Excel 工具,集成 AI 通过自然语言处理 Excel 文件,完全兼容 EasyExcel
|
12天前
|
自然语言处理 文字识别 数据处理
多模态文件信息抽取:技术解析与实践评测!
在大数据和人工智能时代,企业和开发者面临的挑战是如何高效处理多模态数据(文本、图像、音频、视频)以快速提取有价值信息。传统方法效率低下,难以满足现代需求。本文将深度评测阿里云的多模态文件信息抽取解决方案,涵盖部署、应用、功能与性能,揭示其在复杂数据处理中的潜力。通过自然语言处理(NLP)、计算机视觉(CV)、语音识别(ASR)等技术,该方案助力企业挖掘多模态数据的价值,提升数据利用效率。
35 4
多模态文件信息抽取:技术解析与实践评测!
|
11天前
|
文字识别 自然语言处理 算法
从多模态到精准洞察:深度解析多模态文件信息提取解决方案!
阿里云推出《多模态数据信息提取》解决方案,涵盖文本、图像、音频、视频等多种数据形式的自动化处理。本文从部署体验、功能验证到实际应用,全面解析该方案的能力与潜力,帮助开发者高效提取和整合复杂数据,提升工作效率...
38 3
从多模态到精准洞察:深度解析多模态文件信息提取解决方案!
|
2月前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
222 49
|
1月前
|
XML JSON JavaScript
HttpGet 请求的响应处理:获取和解析数据
HttpGet 请求的响应处理:获取和解析数据
|
2月前
|
消息中间件 存储 Java
RocketMQ文件刷盘机制深度解析与Java模拟实现
【11月更文挑战第22天】在现代分布式系统中,消息队列(Message Queue, MQ)作为一种重要的中间件,扮演着连接不同服务、实现异步通信和消息解耦的关键角色。Apache RocketMQ作为一款高性能的分布式消息中间件,广泛应用于实时数据流处理、日志流处理等场景。为了保证消息的可靠性,RocketMQ引入了一种称为“刷盘”的机制,将消息从内存写入到磁盘中,确保消息持久化。本文将从底层原理、业务场景、概念、功能点等方面深入解析RocketMQ的文件刷盘机制,并使用Java模拟实现类似的功能。
48 3
|
2月前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集,涵盖制造、能源、金融、科技等行业,通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成,支持单/多Agent场景,大幅提升ESG数据分析效率与自动化水平。
137 0
|
2月前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
103 2
|
20天前
|
存储 设计模式 算法
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,它涉及算法与对象间职责的分配。行为型模式分为类行为模式和对象行为模式,前者采用继承机制来在类间分派行为,后者采用组合或聚合在对象间分配行为。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象行为模式比类行为模式具有更大的灵活性。 行为型模式分为: • 模板方法模式 • 策略模式 • 命令模式 • 职责链模式 • 状态模式 • 观察者模式 • 中介者模式 • 迭代器模式 • 访问者模式 • 备忘录模式 • 解释器模式
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析

推荐镜像

更多