成信大ENVI_IDL第三周课堂内容1:读取OMI数据(HDF5文件)以及输出+解析

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: 成信大ENVI_IDL第三周课堂内容1:读取OMI数据(HDF5文件)以及输出+解析

1. 课堂内容

OMI数据的读取与输出,这里实际考察如何取读取HDF5文件以及HDF5文件输出(这里输出是以tiff格式为例)


2. 知识储备

HDF5文件打开的相关函数





3. 编程

; 本函数用于打开HDF5文件并获取数据集
function get_hdf5_ds, file_path, ds_path  ; 输入数据集所在文件的路径以及 --数据集的路径(关于这个看主程序的注释)
  ; 获取文件的id————》通过h5f_open()函数获取
  file_id = h5f_open(file_path)
  ; 传入文件的路径
  ; 获取数据集的id————》通过h5d_open()函数获取(另外需要说一下, h5d表示hdf(简称h)5(简称5)文件中的data set(简称d)的相关操作)
  ds_id = h5d_open(file_id, ds_path)
  ; 传入数据集所在文件的id,传入数据集的名称
  ; 获取数据集的数据————》通过h5d_read()函数获取
  data = h5d_read(ds_id)
  ; 传入数据集的id
  ; 打开的文件以及数据集需要全部关闭当不用的时候,这是习惯和态度问题(其实是为了后续你再使用这些文件避免一些错误和问题)
  h5d_close, ds_id  ; 这里是h5d, 下面是h5f,两个函数是不一样的,需要注意一下
  h5f_close, file_id
  ; 返回数据集的数据
  return, data
  ; 销毁数据变量(避免空占内存——但是我是存疑的,return之后函数内部的所有变量不都会被销毁吗?还需要自己操作吗)
  data = !null
end
pro week_three_study1
  ; 本程序解决如何读取OMI数据以及它的输出(OMI数据这里是HDF5格式,实际上是学习如何读取和输出HDF5文件)
  ; 获取文件路径以及数据集的路径(通过hdf explorer软件轻松获取)
  file_path = 'D:\IDL_program\experiment_data\chapter_2\NO2\2017\OMI-Aura_L3-OMNO2d_2017m0101_v003-2018m0627t042221.he5'
  ds_path = '/HDFEOS/GRIDS/ColumnAmountNO2/Data Fields/ColumnAmountNO2TropCloudScreened'
  ; 这里说明一下,hdf4不需要数据集在文件里面的目录,但是hdf5需要输入数据集在文件里面的目录(原因不知道,我有猜测但是不确定)
  ; 获取输出的文件夹路径
  out_dir_path = 'D:\IDL_program\experiment_data\chapter_2\output'
  ; 这里假定你不知道路径中output文件夹是否存在,且你并不愿意亲自查看,可以进行如下操作
  if file_test(out_dir_path, /directory) eq 0 then begin
    ; 这里有一个函数需要认识一下————》file_test()——》检查文件是否存在(默认检查文件,需要检查文件夹需要加上参数/directory)
    ; 该函数会返回0或者1,0表示不存在,1表示存在
    ; 创建文件夹
    file_mkdir, out_dir_path
  endif
  ; 获取输出的文件的名称
  out_name = file_basename(file_path, '.he5') + '.tiff'  ; 输出为tiff格式可以进行查看
  ; 这里file_basename()传入file_path已经可以将文件名称输出,但是我们不需要后缀名.he5
  ; 所以传入字符串'.he5'函数会将已经获取的文件名称中这个字符串删除并返回
  ; 输出的路径 = 输出文件夹的路径 + 输出文件的名称
  out_path = out_dir_path + '\' + out_name
  ; 获取数据集的数据
  data = get_hdf5_ds(file_path, ds_path)
  ; 输出
  write_tiff, out_path, data, /float
  ;传入输出的路径、输出的数据、另外这里默认是输出int型,但是我们通过hdf explorer发现该数据集的type是float,所需要指定一下
end


编译+运行之后输出的结果:



查看输出的TIFF文件:




4. 题外话(HDF5下的中文路径问题)

这里我遇到一个小小的不兼容,原来我们使用hdf_sd_start()函数打开HDF4文件时

即使传入的路径是中文,那么也是可以打开这个文件的。

但是,在h5f_open()函数中打开HDF5文件传入中文路径就会运行报错,显示无法打开文件,只需要将中文路径修改为英文路径即可(所以,养成写英文路径的习惯吧,也算学了学英语)

报错显示如下:



目录
相关文章
|
6天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
20 2
|
1月前
|
人工智能 自然语言处理 前端开发
SpringBoot + 通义千问 + 自定义React组件:支持EventStream数据解析的技术实践
【10月更文挑战第7天】在现代Web开发中,集成多种技术栈以实现复杂的功能需求已成为常态。本文将详细介绍如何使用SpringBoot作为后端框架,结合阿里巴巴的通义千问(一个强大的自然语言处理服务),并通过自定义React组件来支持服务器发送事件(SSE, Server-Sent Events)的EventStream数据解析。这一组合不仅能够实现高效的实时通信,还能利用AI技术提升用户体验。
163 2
|
1月前
|
自然语言处理 数据处理 Python
python操作和解析ppt文件 | python小知识
本文将带你从零开始,了解PPT解析的工具、工作原理以及常用的基本操作,并提供具体的代码示例和必要的说明【10月更文挑战第4天】
315 60
|
24天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3981 5
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
12天前
|
存储
文件太大不能拷贝到U盘怎么办?实用解决方案全解析
当我们试图将一个大文件拷贝到U盘时,却突然跳出提示“对于目标文件系统目标文件过大”。这种情况让人感到迷茫,尤其是在急需备份或传输数据的时候。那么,文件太大为什么会无法拷贝到U盘?又该如何解决?本文将详细分析这背后的原因,并提供几个实用的方法,帮助你顺利将文件传输到U盘。
|
14天前
|
存储 分布式计算 Java
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
37 2
|
20天前
|
JavaScript API 开发工具
<大厂实战场景> ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念,然后详细介绍了使用 `http` 和 `html` 库的步骤,包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例,展示了如何从 URL 获取 HTML 并提取特定信息,如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
100 1
|
1月前
|
数据安全/隐私保护 流计算 开发者
python知识点100篇系列(18)-解析m3u8文件的下载视频
【10月更文挑战第6天】m3u8是苹果公司推出的一种视频播放标准,采用UTF-8编码,主要用于记录视频的网络地址。HLS(Http Live Streaming)是苹果公司提出的一种基于HTTP的流媒体传输协议,通过m3u8索引文件按序访问ts文件,实现音视频播放。本文介绍了如何通过浏览器找到m3u8文件,解析m3u8文件获取ts文件地址,下载ts文件并解密(如有必要),最后使用ffmpeg合并ts文件为mp4文件。
|
1月前
|
数据采集 XML 前端开发
Jsoup在Java中:解析京东网站数据
Jsoup在Java中:解析京东网站数据
|
20天前
|
JSON 前端开发 JavaScript
API接口商品详情接口数据解析
商品详情接口通常用于提供特定商品的详细信息,这些信息比商品列表接口中的信息更加详细和全面。以下是一个示例的JSON数据格式,用于表示一个商品详情API接口的响应。这个示例假定API返回一个包含商品详细信息的对象。

推荐镜像

更多