微软行星云计算Microsoft Planetary Computer 账号内测申请开通和如何根据自己的需求配置电脑环境(R/python/GIS等)

简介: 微软行星云计算Microsoft Planetary Computer 账号内测申请开通和如何根据自己的需求配置电脑环境(R/python/GIS等)


得益于前段时间去微软亚洲总部去参观,这里还有感谢以下CSDN,我正好和那里的工作人员交流开通了这个我之前申请一致没有通过的账户,现在终于可以开始了。

相较于GEE目前微软云平台没有在线支持JavaScript的界面,而是通过在线PYTHON和R语言以及Qgis等环境自动给你配置环境,然后直接跳转到你的工作页面。

点击左侧sign in 就可以登录你的账号,因为我这里默认的Microsoft账号就是我现在用的邮箱所以我就直接通过了。

Hub 提供多种环境来自定义您的计算环境。这决定了服务器的计算能力(CPU 内核、内存、GPU)和软件环境。提供python/R/pytorch/tensorflow/QGIS

选择一个环境,然后单击启动以启动您的服务器。当您的服务器上线时,您会看到一个进度条和一些日志。一旦准备就绪,您将被重定向到 Jupyterlab。


停止你的服务器

在集线器上完成会话后,请确保停止服务器以释放消耗的资源。从 Jupyterlab UI 中,选择文件 > 集线器控制面板。这将在https://pccompute.westeurope.cloudapp.azure.com/compute/hub/home 上打开一个新选项卡,可让您管理服务器。

选择停止我的服务器以停止您的服务器并释放您消耗的所有资源。

这里选择HUB control panel 选择停止我的服务器,云平台会自动停止似乎空闲的服务器。


使用 JupyterLab

JupyterLab用户指南详细介绍了JupyterLab用户界面。Hub 环境包括一些常见的扩展。

 

了解文件系统

您的服务器有一个主目录/home/jovyan/,您可以在其中存储本地文件。该目录跨会话持续存在;如果您在/home/jovyan/.

一切外界/home/jovyan没有跨会话持续。例如,如果您/srv/conda/envs/notebook通过手动ing 包对 Python 环境进行修改,则在停止和启动服务器后该新包将不可用。pip install

您应该只将代码、笔记本和分析文档存储在您的主目录中。值得注意的是,您不应在主目录中存储大量数据。相反,请改用Azure Blob 存储之类的东西(确保使用西欧区域,这是您的服务器运行的地方)。


环境变量

我们在您的服务器启动时设置了几个环境变量。

多变的

价值

描述

PC_SDK_SUBSCRIPTION_KEY

独一无二的你

用于对资产进行签名以下载数据。

GDAL_DISABLE_READDIR_ON_OPEN

EMPTY_DIR

使用 GDAL打开单个 COG 时提高 GDAL 性能

GDAL_HTTP_MERGE_CONSECUTIVE_RANGES

是的

通过合并连续的 HTTP 请求来提高 GDAL 性能


了解软件环境

您的软件环境由您在启动服务器时选择的环境决定。这是一个畅达环境位于/srv/conda/envs/notebook。该环境包含许多有助于地理空间数据分析的软件库,这些环境被定义并打包到行星计算机容器存储库中的 Docker 容器中。

可以在环境conda-linux-64.lock文件中查看可用的确切版本。例如,请参阅PythonR锁定文件。如果您有笔记本服务器在运行,您可以打开一个新终端并运行.conda list


在运行时安装额外的包

您可以在启动笔记本服务器后“在运行时”安装其他软件包。我们建议使用conda(特别是mamba求解器)安装额外的包,这将确保您的环境保持一致的状态。大多数已经存在的包都来自conda-forge频道,所以你应该更喜欢它.-c conda-forge

$ mamba install -c conda-forge r-rjson

conda是一个多语言包管理器,所以大多数 R 包都以r-. 您可以在https://conda-forge.org/feedstock-outputs/ 上搜索可用的软件包列表。如果包不存在,则考虑将其贡献给 conda-forge

或者,您可以尝试从PyPICRAN安装软件包,但请注意,可能无法识别现有软件包。

如前所述以上,改变你的home目录的环境之外会话之间不会保留。如果您pipconda安装了一个软件包,则下次启动服务器时它不会出现。如果您认为我们的环境缺少地理空间或可持续性数据分析中常用的包,请打开一个问题,要求我们添加它。


在运行时在 Dask 集群上安装包

如果您使用 Dask 进行可扩展计算,您应该确保您对本地软件环境所做的修改也出现在工作人员身上。Dask 提供了一个PipInstallPlugin来在 worker 启动时自动安装包

>>> from dask.distributed import PipInstall

>>> plugin = PipInstall(packages=["scikit-learn"], pip_options=["--upgrade"])

>>> client.register_worker_plugin(plugin)

请注意,这会减慢 worker 的启动速度,因为需要在 worker 开始执行任务之前找到并下载包。


集群限制

您可以创建的 Dask 集群的大小有一些限制。

  1. 每个 worker的最大内核数为 8,每个 worker的最大内存量为 64 GiB。这可确保工作人员适合用于工作人员的Standard_E8_v3 虚拟机
  2. 每个集群的最大核心数为 400
  3. 每个集群的最大内存量为 3200 GiB
  4. 每个集群的最大工作线程数为 400

默认设置为 1 个核心和每个工作器 8 GiB,这意味着在 50 个物理节点上限制 400 个工作器(每个节点有 8 个核心和 64 GiB 内存)。如果此限制对于您的用例来说太低,请给我们发送电子邮件

如果您尝试扩展超过每个工作程序的最大内核数或内存,则会引发异常,因为您请求的工作程序大于虚拟机可以处理的数量。

>>> gateway = dask_gateway.Gateway()

>>> options = gateway.cluster_options()

>>> options["worker_cores"] = 16

Traceback (most recent call last):

...

ValueError: worker_cores must be <= 8.000000, got 16.0

如果您尝试扩展超过每个集群的最大内核数、内存或工作程序数,您将看到警告并且集群将扩展到限制。

>>> cluster = gateway.new_cluster()

>>> cluster.scale(1_000)

GatewayWarning: Scale request of 1000 workers would exceed resource limit of 400 workers. Scaling to 400 instead.


福利:

最后这一切都不需要科学上网,是不是有剩下了一笔不小的花销,至于多会公开申请注册,我估计明年暑假前应该问题不大,大家夺取尝试。


相关文章
|
2月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
323 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
2月前
|
测试技术 API Python
【10月更文挑战第1天】python知识点100篇系列(13)-几种方法让你的电脑一直在工作
【10月更文挑战第1天】 本文介绍了如何通过Python自动操作鼠标或键盘使电脑保持活跃状态,避免自动息屏。提供了三种方法:1) 使用PyAutoGUI,通过安装pip工具并执行`pip install pyautogui`安装,利用`moveRel()`方法定时移动鼠标;2) 使用Pymouse,通过`pip install pyuserinput`安装,采用`move()`方法移动鼠标绝对位置;3) 使用PyKeyboard,同样需安装pyuserinput,模拟键盘操作。文中推荐使用PyAutoGUI,因其功能丰富且文档详尽。
|
1月前
|
机器学习/深度学习 数据可视化 Docker
Python环境
Python环境
38 3
|
1月前
|
弹性计算 Linux iOS开发
Python 虚拟环境全解:轻松管理项目依赖
本文详细介绍了 Python 虚拟环境的概念、创建和使用方法,包括 `virtualenv` 和 `venv` 的使用,以及最佳实践和注意事项。通过虚拟环境,你可以轻松管理不同项目的依赖关系,避免版本冲突,提升开发效率。
90 3
|
2月前
|
IDE 网络安全 开发工具
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
本文介绍了如何在PyCharm专业版中连接远程服务器并配置远程Python环境解释器,以便在服务器上运行代码。
445 0
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
|
2月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
507 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
|
2月前
|
机器学习/深度学习 缓存 Linux
python环境学习:pip介绍,pip 和 conda的区别和联系。哪个更好使用?pip创建虚拟环境并解释venv模块,pip的常用命令,conda的常用命令。
本文介绍了Python的包管理工具pip和环境管理器conda的区别与联系。pip主要用于安装和管理Python包,而conda不仅管理Python包,还能管理其他语言的包,并提供强大的环境管理功能。文章还讨论了pip创建虚拟环境的方法,以及pip和conda的常用命令。作者推荐使用conda安装科学计算和数据分析包,而pip则用于安装无法通过conda获取的包。
140 0
|
17天前
|
存储 安全 网络安全
云计算与网络安全:技术融合的双刃剑
在数字化浪潮中,云计算如同一股不可阻挡的力量,推动着企业和个人用户步入一个高效、便捷的新时代。然而,随之而来的网络安全问题也如影随形,成为制约云计算发展的阿喀琉斯之踵。本文将探讨云计算服务中的网络安全挑战,揭示信息保护的重要性,并提供实用的安全策略,旨在为读者呈现一场技术与安全的较量,同时指出如何在享受云服务带来的便利的同时,确保数据的安全和隐私。
25 6
|
16天前
|
存储 人工智能 安全
云计算与网络安全:技术融合与挑战
在数字化时代的浪潮中,云计算和网络安全已成为推动社会进步的两大关键技术。本文将探讨云计算服务的发展,网络安全的重要性,以及信息安全技术的演进。我们将通过实例分析,揭示云服务如何增强数据保护,网络安全措施如何应对新兴威胁,以及信息安全技术的创新如何为企业带来竞争优势。文章旨在为读者提供对云计算和网络安全领域的深入理解,并展示它们如何共同塑造我们的未来。
|
15天前
|
监控 安全 网络安全
云计算与网络安全:技术挑战与解决方案
随着云计算技术的飞速发展,其在各行各业的应用越来越广泛。然而,随之而来的网络安全问题也日益凸显。本文将从云服务、网络安全和信息安全等技术领域出发,探讨云计算面临的安全挑战及相应的解决方案。通过实例分析和代码示例,旨在帮助读者更好地理解云计算与网络安全的关系,提高网络安全防护意识。
下一篇
DataWorks