Coding and Paper Letter(二十六)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 资源整理。

资源整理。

1 Coding:

1.开源项目PyModisAtm,使用Python下载Modis大气数据的例程。

PyModisAtm

2.Python库rastercube,用于在Hadoop文件系统(HDFS)上存储大型地理栅格数据集。 最初的用例是存储并快速访问整个星球上任何像素的MODIS NDVI时间序列。 此外,rastercube提供了使用Spark处理数据的工具。

rastercube

3.Python库modisSuite,可以从NSIDC和USGS服务器批量下载Modis卫星图像。 它兼容python 2和python 3。

Modis python suite

4.Python库pymasker,从Landsat和MODIS土地产品QA波段生成掩膜。

pymasker

5.大气和海洋科学家的Python(和git)课程。

python aos lesson

6.Python库georasters,提供了一个快速灵活的工具来处理GIS栅格文件。

georasters

7.Openeo的Python客户端API。

openeo python client

8.R语言包SiMRiv,基于个体的河流多变量运动模拟,异质和均匀空间结合R中的局部景观偏差。

SiMRiv

9.R语言包rnaturalearth,用于保持和促进与natural earth地图数据交互的R包。

rnaturalearth

10.R语言包owmr,OpenWeatherMap的R接口。

owmr

11.R语言包polite,用于规范网络上的一些操作。

polite

12.他们忘记的教你关于R,“如何做”的主页和研讨会。

whattheyforgot

13.TensorFlow中的概率推理和统计分析。

probability

14.R语言包multigraph,在R中绘制和操纵多图。

multigraph

15.《神经网络与深度学习》 Neural Network and Deep Learning课程 。

nndl.github.io

16.由北欧大地测量委员会定义的变换的PROJ参数。

NordicTransformations

17.Leetcode 题解 (跟随思路一步一步撸出代码) 及经典算法实现。

awesome algorithm

18.健康不平等与健康恢复的空间微观模拟分析,国外的学位论文。

thesis

19.Mapbox GL Draw的自定义模式,可添加绘制矩形的功能。

mapbox gl draw rectangle mode

20.有关构建MetaPost共享库的技术报告。

mplib library report

21.R语言包pdftext,从PDF中提取文字。

pdftext

22.R语言包deepviz,用于可视化神经网络架构的R包。

deepviz

23.R包bigstatsr,用于统计工具的R包,其中包含存储在磁盘上的大型矩阵。

bigstatsr

24.R语言包textrecipes,包括用于预处理文本数据的额外步骤。

textrecipes

25.用于部署,监控,版本和扩展机器学习的精彩资源的精选列表。

awesome machine learning operations

26.Radiant Earth Foundation平台的Python客户端。

radiantearth python client

27.开源项目skynet train,这些脚本用于训练和测试SegNet神经网络,特别是使用由skynet数据生成的OpenStreetMap +卫星图像训练数据。

skynet train

28.可重复使用的研究数据分析平台。

reana

29.R语言包ecolim,用于操纵和可视化气候数据的工具。

ecolim

30.R语言包rdemtools,R语言用于编辑dem的工具。

rdemtools

31.大数据的交互可视化分析平台。

falcon

32.R语言包diffobj,将R对象与Diff进行比较。

diffobj

33.UCL地理学:第四年课程,科学计算。

geog0111

34.Morph是一个免费的开源工具,用于根据数据创建设计,动画或交互式可视化。

morph

2 Paper:

1.Trajectory Data Mining via Cluster Analyses for Tropical Cyclones That Affect the South China Sea/通过聚类分析对影响南海的热带气旋进行轨迹数据挖掘

热带气旋(TC)轨迹方法的等分,TC轨迹方法的质量矩和混合回归模型方法是使用来自完整TC轨迹的空间和形状信息的聚类算法。在本文中,这三种聚类算法应用于TC轨迹聚类分析,以识别1949年至2014年影响南海(TCS)的TC。根据它们的空间位置和形状相似性,这些TC轨迹分为五个轨迹类,包括三个向西的直线运动轨迹簇和两个向北的重新弯曲的轨迹簇。这些星团在其起源位置,航向,登陆位置,TC强度,寿命和季节性分布方面表现出不同的特征。聚类结果表明这些算法具有不同的特征。轨迹方法的等分,一般提供更好的聚类结果。该方法简单直接,同一类的轨迹在形状和航向上是一致的。回归混合模型算法具有坚实的理论数学基础,可以保持类中轨迹之间良好的空间一致性。轨迹方法的质量矩显示出与轨迹方法的相等划分的总体一致性。轨迹数据挖掘在台风轨迹中的应用,其中一个很关键的空间位置和形状相似性,空间的相似性近年来被大家所重视,基于此提出了很多理论,事实上我认为从王劲峰老师的地理探测器到朱阿兴老师的SoLIM,原理应该都跟这相关,闾国年老师甚至认为这有可能发展为地理学的第三定律。

2.A GIS Study of the Influences of Warm Ocean Eddies on the Intensity Variations of Tropical Cyclones in the South China Sea/温暖海洋涡旋对南海热带气旋强度变化影响的GIS研究

本研究介绍了南海热带气旋(TCs)的空间分布格局,并讨论了平均海表温度(SST)和暖海洋涡旋大小对TC传播强度变化的可能影响。他们。在1993年至2013年期间,SCS经历了233次TC,其中134次与温暖的海洋漩涡相互作用。模糊c均值(FCM)聚类的结果表明,这些TC主要位于南海地区的北部。在与温暖的海洋漩涡相互作用后,TC可能会增强,保持相同的强度或减弱。对于强化TC,增强范围仅为0至3 m/s;然而,这种TC强度增强水平在p <0.05时具有统计学意义。进一步的统计分析表明,温暖的海洋涡旋具有高于平均的SST和较大的温暖海洋漩涡的大小与TC最大风的半径之间的比率可能有助于加强通过TC。分析SST对台风的影响,结合聚类分析和统计分析来研究。

3.[Portraying Temporal Dynamics of Urban Spatial Divisions with Mobile Phone Positioning Data: A Complex Network Approach/用手机定位数据描绘城市空间分区的时间动态:一种复杂网络方法]()

空间结构是城市的一个基本特征,在很大程度上影响着城市功能。虽然行政区划通常以静态空间划分的形式进行,但了解城市空间更具时间动态的结构将极大地有利于城市规划和管理。本研究利用大规模的手机定位数据集来表征基于交互的城市空间结构的日变化。为了提取时间上充满活力的结构,基于地理单位之间的个体的运动联系来构建不同时间的空间交互网络。复杂网络社区检测技术用于识别空间划分以及量化其时间动态。使用包含中国深圳典型工作日所有用户尺寸的数据进行实证分析。将结果与官方分区和规划结构进行比较,表明城市中心区域有一定程度的扩张和工业郊区的分割。通过一些不同的时间特征检测到在一天的不同时间的空间划分的高度可变性。峰值和峰值前/后时间见证了空间划分中最突出的波动,表明在这些时间段内运动和活动的特征发生了显着变化。这项研究的结果表明,大规模移动数据在支持智能空间决策和为城市规划部门提供有价值的知识方面具有巨大潜力。基于新兴大数据——手机定位数据的城市空间研究。利用复杂网络的社区检测来做聚类,分析城市空间的分区及时间变化,在大数据时代,这样精细时间粒度上的研究显得更有价值。

4.A New Design of High-Performance Large-Scale GIS Computing at a Finer Spatial Granularity: A Case Study of Spatial Join with Spark for Sustainability/更精细空间粒度的高性能大规模GIS计算新设计 - 以Spark为可持续发展的空间连接案例研究

可持续发展研究面临着许多挑战,因为各自的环境,城市和区域背景正在以前所未有的空间粒度水平经历快速变化,这涉及到以更快的速度增长海量数据和空间关系检测的需求。空间连接是使数据在空间关系方面提供更多信息的基本方法。数据量的急剧增长导致人们越来越关注高性能的大规模空间连接。在本文中,我们提出了Spatial Join with Spark(SJS),这是一种提出的高性能算法,它使用简单但有效的统一空间网格来分区数据集,并使用Spark的内置连接转换来连接分区。 SJS利用Spark的分布式内存迭代计算,然后引入计算评估模型和内存空间重分区技术,通过评估本地连接算法的计算量而无需任何磁盘访问来优化初始分区。我们比较了SJS中的四种内存空间连接算法,以进一步提高性能。基于对实际数据的大量实验,我们得出结论,SJS优于早期空间连接方法的Spark和MapReduce实现。这项研究表明,有利于利用高性能计算进行大规模空间连接分析。大型地理参考数据集的可用性以及高性能计算技术可以为可持续性研究提供大量机会,研究是否以及如何利用这些数据和技术的新趋势来帮助检测人类的相关趋势和模式 - 环境动态。基于Spark的空间连接,偏向算法和计算机的一篇文章,主要是基于流行的Spark大数据框架进行空间连接。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
机器学习/深度学习 图形学 C++
Coding and Paper Letter(十四)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/82150152 资源整理。
1609 0
|
机器学习/深度学习 数据可视化 算法
|
算法 数据可视化 API
Coding and Paper Letter(六十五)
由于忙于硕士毕业相关事宜,非常久没有更新博客,现在回来更新博客,第一篇还是资源整理类。
1410 0
|
机器学习/深度学习 算法 数据库
|
机器学习/深度学习 大数据
Coding and Paper Letter(四十二)
资源整理。接上篇,论文。
2226 0
|
机器学习/深度学习 算法 JavaScript
|
传感器 算法 大数据
|
编解码 数据可视化 关系型数据库
|
算法 定位技术 API
|
编解码 算法
Coding and Paper Letter(三十三)
资源整理。接上篇,这篇是Paper。
1497 0