MODIS数据的简介和下载(五)——应用密钥的Python脚本下载

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/80056467 接上文,由于NASA官方弃用了FTP改用HTTPS服务,所以关于MODIS数据的下载方式有所改变。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/80056467

接上文,由于NASA官方弃用了FTP改用HTTPS服务,所以关于MODIS数据的下载方式有所改变。完整系列博客可以参照以下链接。本篇主要接着上一篇没有讲完的应用密钥的脚本下载介绍。

MODIS数据的简介和下载(一)——MODIS数据简介

MODIS数据的简介和下载(二)——MODIS数据下载方式(FTP)

MODIS数据的简介和下载(四)——HTTPS服务下载说明

1 官方教程与说明

LAADS Data Download Scripts

接着上文的部分往下,上一篇博客已经讲了一小部分应用密钥。本篇主要针对以下部分介绍(红框部分)。

1 应用密钥

1 申请一个应用密钥

任何注册了Earthdata账户(注册链接)的人都可以申请应用密钥。通过以下步骤就可以申请一个应用密钥。

1.首先转到对应的页面:LAADS DAAC,登陆Earthdata。
2.接着点击Profile→App Keys(见截图)。
3.通过输入你对keys的描述并且点击 “Create New App Key”按钮创建一个新的应用密钥。

当然如果以前你就有应用密钥,但是你忘记了,那就按照如下的步骤操作:
1.登陆Earthdata(同上)。
2.接着点击Profile→App Keys(同上)。
3.复制你的密钥。

总的来说这个操作跟国内百度地图、高德地图API也没太大差别。

2 我有一个应用密钥后,应该怎么样呢?

应用密钥可以通过HTTPS GET服务请求数据。关于HTTPS的GET和POST服务,可以看一下我找的几个帖子吧,对于做过爬虫,调用过API的人应该不陌生。

HTTP 方法:GET 对比 POST
知乎:get和post区别?

官方给了个样例,是用“curl”命令行工具来创建带请求的URL。

-v和-H属于附加的设置命令。

curl是个适用于所有操作系统的命令行工具。curl简介,也就是说通过curl可以下载对应订单的数据。

它给出了使用这个方式下载的一些要点:

1.所有的字符串都很重要,包括破折号、冒号和引号;
2.将’MY_APP_KEY’替换成你的应用密钥;
3.把“PATH_TO_MY_FILE”替换成你所需要的文件的路径。
4.通常LAADS DAAC的文件路径像下面的形式:

archive/allData/COLLECTION/PRODUCT/YEAR/DAY_OF_YEAR/FILENAME

这里给出一个URL的示例:

https://ladsweb.modaps.eosdis.nasa.gov/archive/allData/6/MOD02QKM/2007/018/MOD02QKM.A2007018.0105.006.2014227230926.hdf

在发送请求之后会返回给你一个2007年第18天MODIS Terra250m的大气顶层反射率产品。

笔者常用系统是Ubuntu和Windows10,这里就演示下如何用curl下载数据吧(以Ubuntu为例)。以给出的URL为样例。

curl官网

Ubuntu上可以直接用apt-get install命令安装curl。网上有帖子,这里不细述了。接着按照上面所说的改写命令行,如果不要“> result”,是按照原来的文件名下载。

下载中。

结果数据。

Windows下的尝试不是很愉快。当然curl也不是主要下载方式,所以我就不继续探索了,如果后面有机会再来说这个吧。

2 自动化

如果你需要的数据是单个文件,并且你知道它位于LAADS数据存档的路径,那么点击并下载它是很简单的。如果你需要下载的文件非常多(比如上个月整个月的VIIRS数据),你可能更愿意利用脚本来下载。因此这里给出了一些代码的示例:Shell脚本、Perl和Python版的。
两条警告:1.不要把全部数据下到你的硬盘。2.尽可能在你的脚本里避免错误,以防下载过多导致IP被封。

3 代码示例

大多数语言都可以进行HTTPS通信,下面有些样例。使用方式是点击“下载源代码”以下载或复制代码并将其粘贴到反映语言的文件中(Shell脚本为.sh,Perl为.p1.,Python为.py)。 确保为文件设置了执行权限。 最后,打开终端或使用您的首选运行时执行文件。

示例:

perl laads-data-download.pl

Perl我不是特别懂,本篇主要介绍Python脚本,Shell脚本也会提一下。

2 使用Python脚本下载

首先下载下来laads-data-download.py,然后放到一个文件夹里,接着打开cmd,输入如下的命令。

python laads-data-download.py -h

这句代码的意思就是,-h是指help,也就是说关于这个Python函数的使用说明。

laads-data-download.py [-h] -s URL -d DIR -t TOK

简单地说这个函数有几个参数需要传进去,-s就是下载源,URL就是你要下载的数据的URL路径,-d就是下载路径,也就是数据应该下载到哪个路径里,-t就是token,令牌,其实就是你的app keys。也就是说完整的运行代码应该是如下:

python laads-data-download.py -s https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/YOUR ORDERS ID -d Paht TO MY FILE -t MY_APP_KEYS

第一个红框就是你订购数据的ID(如下图)。

第二个红框是你数据存放在电脑里的路径。

第三个红框是你的app keys。

接下来就只需要等待数据下载完即可。

顺带提下Shell脚本,也是下载laads-data-download.sh文件。事实上语法都相同。但是Shell脚本呢还需要依赖‘jq’来下载。

./laads-data-download.sh [-h] -s URL -d PATH -t TOKEN

‘jq’的安装用命令即可。

apt-get install jq

等待下载结束。

所以事实上,Python脚本下载其实并不难。只需要替换对应的URL、路径、App Keys即可。其他的也如此,如果你懂了就可以开始尝试了。当然笔者之前还用过另一种方式来进行批量下载。接下来可能会就这个部分也来介绍一下。另外一点就目前笔者测试结果,感觉Shell脚本和Ubuntu下载速度要明显快于Python脚本和Windows。

目录
相关文章
|
1月前
|
机器学习/深度学习 存储 数据挖掘
Python图像处理实用指南:PIL库的多样化应用
本文介绍Python中PIL库在图像处理中的多样化应用,涵盖裁剪、调整大小、旋转、模糊、锐化、亮度和对比度调整、翻转、压缩及添加滤镜等操作。通过具体代码示例,展示如何轻松实现这些功能,帮助读者掌握高效图像处理技术,适用于图片美化、数据分析及机器学习等领域。
70 20
|
2天前
|
JavaScript 搜索推荐 Android开发
【01】仿站技术之python技术,看完学会再也不用去购买收费工具了-用python扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-客户的麻将软件需要下载落地页并且要做搜索引擎推广-本文用python语言快速开发爬取落地页下载-优雅草卓伊凡
【01】仿站技术之python技术,看完学会再也不用去购买收费工具了-用python扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-客户的麻将软件需要下载落地页并且要做搜索引擎推广-本文用python语言快速开发爬取落地页下载-优雅草卓伊凡
21 8
【01】仿站技术之python技术,看完学会再也不用去购买收费工具了-用python扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-客户的麻将软件需要下载落地页并且要做搜索引擎推广-本文用python语言快速开发爬取落地页下载-优雅草卓伊凡
|
2天前
|
数据采集 JavaScript Android开发
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
23 7
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
|
2月前
|
Python
自动化微信朋友圈:Python脚本实现自动发布动态
本文介绍如何使用Python脚本自动化发布微信朋友圈动态,节省手动输入的时间。主要依赖`pyautogui`、`time`、`pyperclip`等库,通过模拟鼠标和键盘操作实现自动发布。代码涵盖打开微信、定位朋友圈、准备输入框、模拟打字等功能。虽然该方法能提高效率,但需注意可能违反微信使用条款,存在风险。定期更新脚本以适应微信界面变化也很重要。
200 61
|
4天前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
从零开始:用Python爬取网站的汽车品牌和价格数据
|
1月前
|
前端开发 搜索推荐 编译器
【01】python开发之实例开发讲解-如何获取影视网站中经过保护后的视频-用python如何下载无法下载的视频资源含m3u8-python插件之dlp-举例几种-详解优雅草央千澈
【01】python开发之实例开发讲解-如何获取影视网站中经过保护后的视频-用python如何下载无法下载的视频资源含m3u8-python插件之dlp-举例几种-详解优雅草央千澈
109 34
【01】python开发之实例开发讲解-如何获取影视网站中经过保护后的视频-用python如何下载无法下载的视频资源含m3u8-python插件之dlp-举例几种-详解优雅草央千澈
|
23天前
|
安全 Linux 网络安全
利用Python脚本自动备份网络设备配置
通过本文的介绍,我们了解了如何利用Python脚本自动备份网络设备配置。该脚本使用 `paramiko`库通过SSH连接到设备,获取并保存配置文件。通过定时任务调度,可以实现定期自动备份,确保网络设备配置的安全和可用。希望这些内容能够帮助你在实际工作中实现网络设备的自动化备份。
48 14
|
20天前
|
人工智能 开发者 Python
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
122 9
|
1月前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代,电商直播成为重要的销售模式,抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而,直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据,包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化,最终实现定时任务自动化抓取,为企业决策提供有力支持。
|
26天前
|
存储 SQL 大数据
Python 在企业级应用中的两大硬伤
关系数据库和SQL在企业级应用中面临诸多挑战,如复杂SQL难以移植、数据库负担重、应用间强耦合等。Python虽是替代选择,但在大数据运算和版本管理方面存在不足。SPL(esProc Structured Programming Language)作为开源语言,专门针对结构化数据计算,解决了Python的这些硬伤。它提供高效的大数据运算能力、并行处理、高性能文件存储格式(如btx、ctx),以及一致的版本管理,确保企业级应用的稳定性和高性能。此外,SPL与Java无缝集成,适合现代J2EE体系应用,简化开发并提升性能。

热门文章

最新文章