遥感数据、气象数据、土地土壤数据、农业数据、行政区数据...GIS数据获取网站整理

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 遥感数据、气象数据、土地土壤数据、农业数据、行政区数据...GIS数据获取网站整理

  本文对GIS行业相关的综合数据获取网站加以整理,包括但不限于遥感数据、气候数据、土地数据、土壤数据、农业数据、行政区数据、社会数据、经济数据等。数据较多,大家可以直接通过下方目录加以总览;点击数据前对应的“网址”二字即可直接跳转。如果出现本文打不开的情况,说明我刚刚对本文加以更新,从而文章处于审核状态,稍等几分钟重新打开本文即可;如果出现文中的数据网站链接打不开的情况,可以稍等重试或在本文留言,我看到后会及时回复~

  本文不定期更新,最新更新时间为2022年11月10日。


0 综合GIS数据

0.1 Awesome Public Datasets

0.2 Free GIS Data

0.3 SEDAC

  • 网址https://sedac.ciesin.columbia.edu/data/sets/browse
      SEDAC是美国国家航空航天局下属对地观测系统数据与信息中心(Earth Observing System Data and Information System,EOSDIS)的分布式活动存档中心(Distributed Active Archive Centers (DAACs)之一。其平台含有涉及人口、政策、经济、社会等多方面数据。

0.4 Earthdata

  • 网址https://earthdata.nasa.gov/
      Earthdata是美国国家航空航天局下属的数据开放平台,具有遥感影像、气候、海洋与陆地等十分丰富的数据。

0.5 国家青藏高原科学数据中心

  • 网址https://data.tpdc.ac.cn/zh-hans/
      国家青藏高原科学数据中心依托中国科学院青藏高原研究所建设,同时兰州大学、北京师范大学和中国科学院计算机网络信息中心参与建设。其具有气候、降雪、冰川等数据,主要数据范围为中国境内。

0.6 ArcGIS Online 中国

0.7 厦门市大数据安全开放平台

  • 网址https://data.xm.gov.cn/opendata/other/#/about_platform
      厦门市大数据安全开放平台是由厦门市工业和信息化局(厦门市大数据管理局)指导,厦门市信息中心负责建设运营的数据开放平台,具有各类综合数据,尤其在共享单车、地铁等交通GIS数据获取方面较为方便。

1 遥感影像数据

1.1 综合遥感数据

1.1.1 USGS EarthExplore

  • 网址https://earthexplorer.usgs.gov/
      USGS EarthExplore是美国地质勘探局(United States Geological Survey)下属遥感图像数据网站,具有EO-1、Landsat、Sentinel等常见遥感数据。
      2021年03月其可获取的遥感数据如下图。

1.1.2 LAADS DAAC

  • 网址https://ladsweb.modaps.eosdis.nasa.gov/
      LAADS(Level-1 and Atmosphere Archive & Distribution System) DAAC(Distributed Active Archive Center)是美国国家航空航天局(National Aeronautics and Space Administration)戈达德航天中心用来存放数据的一个网站接口,具有MODIS、Envisat、Sentinel等常见遥感数据,尤其是下载MODIS数据的首选网站。
      2021年03月其可获取的遥感数据如下图。

1.1.3 Copernicus Open Access Hub

  • 网址https://scihub.copernicus.eu/dhus/#/home
      Copernicus Open Access Hub即欧洲航天局(European Space Agency)哥白尼开放数据访问中心,具有Sentinel系列遥感数据,是下载Sentinel数据的首选网站。
      2021年03月其可获取的遥感数据如下图。

1.1.4 GloVis

  • 网址https://glovis.usgs.gov/app
      GloVis(Global Visualization Viewer)即美国地质调查局全球可视化查看器,具有EO-1、Landsat等遥感数据。
      2021年03月其可获取的遥感数据如下图。

1.1.5 地理空间数据云

  • 网址http://www.gscloud.cn/sources/index?pid=1&rootid=1
      地理空间数据云是中国科学院计算机网络信息中心下属数据平台,具有包括Landsat、MODIS、EO-1、Sentinel等常见遥感数据,也包括高分一号、高分四号等国产数据。
      2021年03月其可获取的遥感数据如下图。

1.2 雷达遥感数据

1.2.1 ASF DAAC

  • 网址https://search.asf.alaska.edu/#/
      ASF(Alaska Satellite Facility) DAAC是美国国家航空航天局阿拉斯加卫星设备处用来存放数据的一个网站接口,具有Sentinel-1、ALOS、RADASAT、SEASAT等雷达遥感数据。
      2021年03月其可获取的遥感数据如下图。

1.3 夜光遥感数据

1.3.1 NOAA EOG

  • 网址https://ngdc.noaa.gov/eog/index.html
      NOAA(National Centers for Environmental Information) EOG(Earth Observation Group)是美国国家海洋和大气管理局地球观测小组的数据平台,具有VIIRS、DMSP、NightSat等夜光遥感数据。
      2021年03月其可获取的遥感数据如下图。

1.3.2 珞珈一号

  • 网址http://59.175.109.173:8888/index.html
      “珞珈一号”是武汉大学与相关机构共同研制的全球首颗专业夜光遥感卫星,其数据共享平台可以下载该卫星的相关数据。
      2021年03月其可获取的遥感数据如下图。

1.4 海洋卫星数据

1.4.1 中国海洋卫星数据服务系统

  • 网址https://osdds.nsoas.org.cn/#/
      中国海洋卫星数据服务系统是国家卫星海洋应用中心下属数据平台,具有海洋水色卫星、海洋动力环境卫星等海洋遥感数据。
      2021年03月其可获取的遥感数据如下图。

2 气象数据

2.1 全球气象数据

2.1.1 WorldClim

  • 网址https://www.worldclim.org/data/index.html
      WorldClim是一个全球高分辨率气候数据分享平台。
      截止2021年03月,其具有“Climate”与“Weather”两部分数据与未来预计气象数据。其中,“Climate”包含:全球1970年至2000年逐月最低温度、最高温度、平均温度、降水量、太阳辐射、风速、水汽压差数据,空间分辨率为30’‘,2.5’,5’,10’;全球1970年至2000年平均逐月19种生物气候变量数据,空间分辨率为30’‘,2.5’,5’,10’。“Weather”包含:全球1960年至2018年逐月平均最低温度、平均最高温度、总降水量数据,空间分辨率为2.5’。未来预计气象数据包含:全球2021年至2100年逐20年月平均最低温度、最高温度与降水量数据,空间分辨率为2.5’,5’,10’。

2.1.2 Applied Climate Science Lab

2.1.3 Climate Data Store

2.1.4 ERA5

  • 网址 :https://confluence.ecmwf.int/display/CKB/How+to+download+ERA5#HowtodownloadERA5-3-DownloadingonlineERA5familydatathroughtheCDSwebinterface
      ERA5是欧洲中期天气预报中心(European Centre for Medium-Range Weather Forecasts,ECMWF)全球气候大气再分析的第五代工具。其具有全球1950年(预计于2021年末发布,目前已发布1980年左右)至当前日期前五天的多种大气数据,空间分辨率为0.25°。关于ERA5的更详细信息请查阅:https://climate.copernicus.eu/climate-reanalysis

2.1.5 Physical Sciences Laboratory

2.1.6 Climate Explorer

  • 网址http://climexp.knmi.nl/selectfield_obs2.cgi?id=someone@somewhere
      Climate Explorer是世界气象组织(World Meteorological Organization)下属的气象数据检索平台,具有非常丰富的全球或地区气候数据。其一大优势即为可以针对温度、降水、云覆盖等不同的气象要素分别检索,极大提高效率。

2.1.7 GES DISC

  • 网址https://disc.gsfc.nasa.gov/datasets?page=1
      GES(Goddard Earth Sciences) DISC(Data and Information Services Center)是美国国家航空航天局戈达德宇宙飞行中心下属的数据服务中心,具有非常丰富的全球或地区气候、气象数据。

2.2 中国气象数据

2.2.1 中国区域地面气象要素驱动数据集(1979-2018)

  • 网址https://data.tpdc.ac.cn/zh-hans/disallow/8028b944-daaa-4511-8769-965612652c49/
      中国区域地面气象要素驱动数据集(1979-2018)是我国学者结合多种在分析资料所得气象数据。其包含中国区域1979年至2018年逐三小时近地面气温、近地面气压、近地面空气比湿、近地面全风速、地面向下短波辐射、地面向下长波辐射、地面降水率数据,空间分辨率为0.1°。

2.3 空气质量数据

2.3.1 绿网

  • 网址http://www.lvwang.org.cn/map/#/index
      绿网是我国一家致力于污染防治的非营利性环保组织下属环境质量数据网站。其具有空气质量、水质量、环境风险企业、土壤、环境影响评价、保护区等数据,可以在网站地图中实时显示或通过其API端口下载。

2.3.2 空气质量在线监测分析平台

  • 网址https://www.aqistudy.cn/
      中国空气质量在线监测分析平台同样是一个公益性质的空气质量数据平台。其具有全国367个城市的PM2.5及天气信息数据,并且具有较好的在线数据统计、城市排名等功能。

2.3.3 空气质量在线监测分析平台历史数据

3 土壤土地数据

3.1 土壤属性数据

3.1.1 HWSD Database

  • 网址http://webarchive.iiasa.ac.at/Research/LUC/External-World-soil-database/HTML/HWSD_Data.html?sb=4
      HWSD(Harmonized World Soil Database)即世界土壤数据库,其是国际应用系统分析研究所(International Institute for Applied Systems Analysis,IIASA)与联合国粮食及农业组织(Food and Agriculture Organization of the United Nations,FAO)在一项针对全球部分地区的土地利用与覆盖变化模拟项目中诞生的产物。其包含丰富的土壤类型、相位、理化性质等信息,具体请见其官方文档。其空间分辨率为30"。

3.2 土地覆盖数据

3.2.1 FROM-GLC

  • 网址http://data.ess.tsinghua.edu.cn/
      FROM-GLC(Finer Resolution Observation and Monitoring of Global Land Cover)是清华大学开发的系列土地利用与覆盖产品数据集库,具有不同方法、不同空间分辨率、不同年份繁多的全球土地覆盖数据、不透水面数据等。

3.2.2 资源环境科学与数据中心

  • 网址http://www.resdc.cn/data.aspx?DATAID=335
      资源环境科学与数据中心是中国科学院地理科学与资源研究所下属环境数据共享平台,具有1970年代末期、1980年代、1980年代末期、1995年、2000年、2005年、2015年、2018年、2020年等时期数据,空间分辨率为1 km。

3.2.3 OSM Landuse Landcover

  • 网址https://osmlanduse.org/#12/8.7/49.4/0/
      OSM(OpenStreetMap)是一款创建自由、可编辑世界地图的合作项目。但截止2021年03月,OSM地表覆盖数据似乎仅仅可以在线浏览,而不可以直接下载。此外,使用OSM数据时需要严格注意国境线问题。

3.3 地面高度数据

3.3.1 ASTER GDEM

  • 网址https://asterweb.jpl.nasa.gov/gdem.asp
      ASTER(Advanced Spaceborne Thermal Emission and Reflection Radiometer)GDEM(Global Digital Elevation Map)是日本经济产业省(the Ministry of Economy, Trade, and Industry,METI)与美国国家航空航天局共同发布的全球数字高程模型。其空间分辨率为30 m。

3.3.2 AW3D30

  • 网址http://www.eorc.jaxa.jp/ALOS/en/aw3d30/registration.htm(首次登陆必须由这里进入注册)
      AW3D30(ALOS Global Digital Surface Model “ALOS World 3D - 30m”)是由日本宇宙航空研究开发机构(Japan Aerospace Exploration Agency,JAXA)基于对地测绘卫星ALOS数据所生产的DSM数据。其空间分辨率为30 m,高程精度为5 m。

3.4 水体数据

3.4.1 MERIT Hydro

3.4.2 ASTWBD

4 植被农业数据

4.1 作物产量数据

4.1.1 SPAM

4.1.2 Aerial Intelligence

  • 网址https://github.com/aerialintel/data-science-exercise
      Aerial Intelligence是一个致力于为世界农业带来最先进数据科学的初创企业,其在GitHub上发布了美国几个县的小麦产量,初衷那个是为了鼓励用户基于合适的数据分析方法实现作物产量预测。

4.2 作物物候数据

4.2.1 ChinaCropPhen1km

4.3 植被指数数据

4.3.1 Index-Data-Base

  • 网址https://www.indexdatabase.de/
      Index-Data-Base(IDB)是一个植被指数数据资料库,而并非含有实际数据的数据库。其提供了一个索引,我们可以用以在特定的植被指数用途、指定特定的遥感平台情况下,对满足要求的植被指数加以索引。

4.3.2 MODIS Vegetation Index Products

4.3.3 LAI_TS_Val

4.3.4 CSIF

5 行政区边界与建筑轮廓、POI、基站数据

5.1 行政区边界数据

5.1.1 DIVA-GIS

  • 网址https://www.diva-gis.org/
      DIVA-GIS是美国加利福尼亚大学一位教授创办的地图制图与地理数据分析软件与网站。其网站“Free Spatial Data”部分具有全球大量GIS数据,包括行政区边界数据、高程数据、人口数据、路网数据等。值得一提的是,在这一网站获取国外数据比较靠谱,国内数据一定需要注意领土问题。

5.1.2 GADM

  • 网址https://gadm.org/data.html
      GADM具有全球386,735个行政区边界的数据,同时可以选择下载全球数据或依据国家单独索引、下载数据。同样的,在这一网站获取国外数据比较靠谱,国内数据一定需要注意领土问题。

5.1.3 OSM

  • 网址https://www.openstreetmap.org/#map=13/39.9118/116.3756
      OSM(OpenStreetMap)是一款创建自由、可编辑世界地图的合作项目。其包含全球行政区数据与路网数据、土地覆盖数据等GIS数据。需要下载时,点击左上角“Export”按钮即可。同样的,在这一网站获取国外数据比较靠谱,国内数据一定需要注意领土问题。

5.2 路网数据

5.2.1 DIVA-GIS

  • 网址https://www.diva-gis.org/
      DIVA-GIS是美国加利福尼亚大学一位教授创办的地图制图与地理数据分析软件与网站。其网站“Free Spatial Data”部分具有全球大量GIS数据,包括行政区边界数据、高程数据、人口数据、路网数据等。值得一提的是,在这一网站获取国外数据比较靠谱,国内数据一定需要注意边界问题。

5.2.2 OSM

  • 网址https://www.openstreetmap.org/#map=13/39.9118/116.3756
      OSM(OpenStreetMap)是一款创建自由、可编辑世界地图的合作项目。其包含全球行政区数据与路网数据、土地覆盖数据等GIS数据。需要下载时,点击左上角“Export”按钮即可。同样的,在这一网站获取国外数据比较靠谱,国内数据一定需要注意边界问题。

5.3 建筑轮廓数据

5.3.1 博文测绘62城市建筑轮廓数据

5.3.2 博文测绘100+城市建筑轮廓数据

5.4 POI数据

5.4.1 Map POI

5.4.2 ArcGIS Online

5.5 移动基站数据

5.5.1 OpenCelliD

6 GPS轨迹与签到数据

6.1 个人GPS轨迹数据

6.1.1 GeoLife GPS Trajectories

6.1.2 GPS Trajectories with transportation mode labels

6.2 个人签到数据

6.2.1 Gowalla

6.2.2 Gowalla Dataset

  • 网址http://www.yongliu.org/datasets
      Gowalla Dataset是在Gowalla基础之上进一步丰富的用户签到数据集。其新增了2010年11月至2010年12月期间用户Facebook签到数据。数据共包含319,063位用户的36,001,959条签到数据。

6.3 出租车、公交车GPS轨迹数据

6.3.1 T-Drive

6.3.2 The epfl/mobility dataset

6.3.3 Smart City Research Group

  • 网址https://www.cse.ust.hk/scrg/
      Smart City Research Group是香港科技大学生产的城市轨迹数据,包括出租车、公交车、手机社交网络数据等。其中,出租车数据为上海市2007年02月20日单日数据,公交车数据为2007年02月23日数据。

6.3.4 The roma/taxi dataset

6.3.5 Urban Data Release

  • 网址https://www.cs.rutgers.edu/~dz220/data.html
      Urban Data Release是新泽西州立罗格斯大学助理教授Desheng Zhang课题组生产的城市数据集,包括深圳市手机CDR数据、智能卡数据与出租车、公交车轨迹数据。

6.3.6 Electric Vehicle Data

  • 网址https://www.cs.rutgers.edu/~dz220/data.html
      Electric Vehicle Data是新泽西州立罗格斯大学助理教授Desheng Zhang课题组生产的电动出租车数据集,包括深圳市单日664辆出租车的1,155,654条GPS数据。

6.3.7 中华人民共和国交通运输部交通智数

  • 网址http://www.mot.gov.cn/sjkf/
      中华人民共和国交通运输部交通智数是中华人民共和国交通运输部下属交通数据分享平台,具有全国多个城市的出租车GPS轨迹数据。

6.3.8 交通线路通达时间预测

  • 网址https://js.dclab.run/v2/cmptDetail.html?id=175
      交通线路通达时间预测是成都一家数据公司主办的数据分析赛事,其提供了成都市2014年08月03日至2014年08月30日1.4万余辆出租车14亿+条GPS记录。报名参赛后即可下载对应数据。

6.3.9 深圳开放数据应用创新大赛

6.4 手机信令数据

6.4.1 Urban Data Release

  • 网址https://www.cs.rutgers.edu/~dz220/data.html
      Urban Data Release是新泽西州立罗格斯大学助理教授Desheng Zhang课题组生产的城市数据集,包括深圳市手机CDR数据、智能卡数据与出租车、公交车轨迹数据。

7 人口、共享单车与地铁数据

7.1 人口数据

7.1.1 WorldPop

  • 网址https://www.worldpop.org/
      WorldPop是英国南安普顿大学(University of Southampton)下属一个致力于人口数据开放获取与应用的组织,其网站提供了全球或地区各类人口相关指标,包括人口数量、人口密度、年龄与性别结构、人口流动等宝贵数据。

7.1.2 GHSL

7.1.3 LandScan

  • 网址https://landscan.ornl.gov/
      LandScan是美国橡树岭国家实验室开发的全球动态人口数据,其空间分辨率为30"。这一数据的下载需要使用教育邮箱注册。

7.1.4 中国公里网格人口分布数据集

  • 网址http://www.geodoi.ac.cn/WebCn/doi.aspx?Id=131
      中国公里网格人口分布数据集是中国科学院地理科学与资源研究所与中国科学院大学联合生产的中国公里格网人口空间分布数据集,空间分辨率为1 km。

7.2 共享单车数据

7.2.1 Bike Share Data Systems

7.2.2 2021数字中国创新大赛

7.2.3 摩拜杯算法挑战赛

7.2.4 摩拜共享单车2017年8月数据集

7.2.5 ttbike-spider

7.3 地铁数据

7.3.1 SODA

  • 网址http://soda.data.sh.gov.cn/competitionData.html
      SODA上海开放数据创新应用大赛是国内一项知名的大数据赛事,每一届都会放出大量数据;其中,地铁数据也是SODA的主要数据之一。但是似乎数据只能在竞赛开启期间(每年07月至10月左右)下载。

8 GDP、经济与社会数据

8.1 GDP数据

8.1.1 G-Econ

  • 网址https://sedac.ciesin.columbia.edu/data/set/spatialecon-gecon-v4
      G-Econ是美国国家航空航天局下属对地观测系统数据与信息中心(Earth Observing System Data and Information System,EOSDIS)的分布式活动存档中心(Distributed Active Archive Centers (DAACs)之一——社会经济数据与应用中心(Socioeconomic Data and Applications Center)下的全球网格化地理经济数据。其包含全球1990年,1995年,2000年,2005年市场汇率与购买力平价对应的GDP数据,空间分辨率为1°。

8.1.2 中国公里网格GDP分布数据集

8.1.3 中国公里格网GDP数据

8.2 综合经济与社会数据

8.2.1 Our World in Data

  • 网址https://ourworldindata.org/
      Our World in Data是一个致力于研究、解决贫穷、疾病、饥饿、气候变化等主要全球问题的公益性组织,其平台提供了经济、环境保护、工业、粮食、医疗、气候等各类数据,十分丰富。

8.2.2 SEDAC

  • 网址https://sedac.ciesin.columbia.edu/data/sets/browse
      SEDAC是美国国家航空航天局下属对地观测系统数据与信息中心(Earth Observing System Data and Information System,EOSDIS)的分布式活动存档中心(Distributed Active Archive Centers (DAACs)之一。其平台含有涉及人口、政策、经济、社会等多方面数据。

9 卫星信息数据

9.1 Space-Track

  • 网址https://www.space-track.org/
      Space-Track是由SAIC公司开发、由美国空军第18太空控制中队提供数据的全球卫星、火箭数据,具有较为详细的太空卫星、火箭箭体数据。

9.2 CelesTrak

  • 网址https://celestrak.com/
      CelesTrak是由T.S. Kelso创立的卫星数据网站,具有较为详细的太空卫星数据。尤其是其可视化平台十分出众。

9.3 UCS Satellite Database

10 其它GIS相关数据

10.1 Kaggle

  • 网址https://www.kaggle.com/datasets
      Kaggle是一个线上的数据科学与机器学习用户交流平台。其具有包括健康、饮食、娱乐、GIS等大量领域的数据。

10.2 Data Mining Lab

  • 网址https://www.kaggle.com/datasets
      Data Mining Lab是电子科技大学Junming Shao教授课题组网站。其网站列举了大量各领域数据,同时还列举了常用的数据处理软件包、算法与代码等。

10.3 World Bank Open Data

  • 网址https://data.worldbank.org/
      World Bank Open Data是世界银行集团(The World Bank)下属全球或地区各类数据开放访问平台,数据十分丰富,涵盖了几乎所有领域。

10.4 中华人民共和国自然资源部政府信息公开

  • 网址http://g.mnr.gov.cn/
      中华人民共和国自然资源部政府信息公开是自然资源部下属开放数据平台,包含土地、环境、地质、资源以及相关政策、法律法规数据等。

欢迎关注公众号:疯狂学习GIS


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
JavaScript
JS自动生成速记符、拼音简写/拼音的声母(例如:“你挚爱的强哥”转换为“NZADQG”)。提取首字母,返回大写形式;提取拼音, 返回首字母大写形式(全拼)。
JS自动生成速记符、拼音简写/拼音的声母(例如:“你挚爱的强哥”转换为“NZADQG”)。提取首字母,返回大写形式;提取拼音, 返回首字母大写形式(全拼)。
17094 0
|
机器学习/深度学习 人工智能 搜索推荐
AIGC工具——文心一格
【1月更文挑战第12天】AIGC工具——文心一格
1065 3
AIGC工具——文心一格
|
5月前
|
机器学习/深度学习 人工智能 并行计算
基于昇腾适配蛋白质序列模型ProteinMPNN
ProteinMPNN是一种基于深度学习的蛋白质序列设计模型,核心目标是解决“逆向折叠问题”(inverse folding problem),即根据给定的蛋白质三维结构,设计出能够折叠成该结构的氨基酸序列。ProteinMPNN在计算和实验测试中都有出色的性能表现,不同位置的氨基酸序列可以在单链或多链之间偶联,从而广泛的应用于当前蛋白质设计上。ProteinMPNN不仅在天然蛋白质序列恢复率上面性能要高于传统的Rosetta方法,并且可以恢复先前设计失败的蛋白质。通过前沿AI技术突破科学研究的效率瓶颈,对于蛋白质工程、药物设计、酶设计等领域有极其重要的意义。
基于昇腾适配蛋白质序列模型ProteinMPNN
|
5月前
|
机器学习/深度学习 人工智能 PyTorch
200行python代码实现从Bigram模型到LLM
本文从零基础出发,逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词,接着加入Positional Encoding实现位置信息编码,再引入Single Head Self-Attention机制计算token间的关系,并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件,最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
302 11
200行python代码实现从Bigram模型到LLM
|
5月前
|
机器学习/深度学习 数据采集 人工智能
WebDancer:从零训练一个 DeepResearch 类智能体
WebDancer 是一款具备 Agentic 能力的智能体,能在开放网页环境中自主提问、搜索、推理并验证答案。它通过多步推理、信息整合与交叉验证解决复杂问题,如医学文献分析或政策追踪。WebDancer 采用 CRAWLQA 和 E2HQA 数据合成策略生成高质量训练数据,并结合 SFT(监督微调)+ RL(强化学习)双阶段训练方法,提升模型在动态环境中的适应性和泛化能力。其核心技术包括 ReAct 行为框架和 DAPO 强化学习算法,确保路径优化与策略稳定性。未来,WebDancer 将接入 Browser 工具链,拓展至代码沙盒、长文本写作等应用场景,进一步向通用智能体演进。
1264 27
|
存储 内存技术
内存条RAM详细指南
内存条(RAM)是电脑中用于临时存储数据和程序的部件,CPU依赖它执行操作。内存条经历了从主内存扩展到读写内存整体的发展,常见类型包括SDRAM和DDR SDRAM。内存容量、存取时间和奇偶校验是衡量其性能的关键指标。在选购时,应考虑类型、容量、速度和品牌,知名品牌的内存条提供更好的可靠性和稳定性。
4578 2
Google Earth Engine(GEE) ——世界人口网格化第4版行政单位中心点与人口数据集
Google Earth Engine(GEE) ——世界人口网格化第4版行政单位中心点与人口数据集
266 1
|
12月前
|
人工智能 JSON 监控
Qwen2.5-Coder-7B-Instruct Lora 微调 SwanLab 可视化记录版
本节我们简要介绍如何基于 transformers、peft 等框架,对Qwen2.5-Coder-7B-Instruct 模型进行Lora微调。使用的数据集是中文法律问答数据集 DISC-Law-SFT,同时使用 SwanLab 监控训练过程与评估模型效果。
1272 4
|
存储 缓存 固态存储
详解电子设备RAM和ROM
详解电子设备RAM和ROM
3095 0
|
存储 数据处理 UED
计算机随机存取存储器(RAM )
【8月更文挑战第4天】
4535 8