《机器学习与数据科学(基于R的统计学习方法)》——2.4 从网络中下载数据集

简介:

本节书摘来异步社区《机器学习与数据科学(基于R的统计学习方法)》一书中的第2章,第2.4节,作者:【美】Daniel D. Gutierrez(古铁雷斯),更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.4 从网络中下载数据集

就像在前面提到的,网络上有很多可供下载的机器学习数据源。其中对公众开放的一种数据类型是政府数据。为了演示怎样从网络中下载数据,如图2-1所示,访问San Francisco Data网站(data.sfgov.org),上面包含了大量的市政数据集。要用到的Parking Meter数据集,包含了多方面的仪表特征。目标是直接从网站上下载CSV文件格式的数据集。为此,我们将使用download.file()指令。这里需要注意的是,并不是网络上提供的所有数据集都以一个很好的结构化格式存在。例如,每一行包含与单次观察相关的多个变量。通常情况下,你在网络上找到的数据需要进行大量的再加工,将它转换成适用于数据分析和机器学习的格式。

120cdb131778d56642de4aafcf51e2c21e247c46

下面的代码定义了一个变量fileURL,并且将数据集的URL(网址)分配给它。URL是从San Francisco Data网站上获取的。下一步,download.file()命令用于下载文件,将它存放在工作目录下的data子目录中。接下来使用list.files()函数来确认下载已经完成。注意相对路径./data的使用,这指的是当前工作目录下的子目录。

> fileURL <- "https://data.sfgov.org/api/views/7egw-qt89/rows. csv?accessType=DOWNLOAD"
> download.file(fileURL, destfile="./data/SFParkingMeters. csv")
> list.files("./data")
[1] "SFParkingMeters.csv"```
下一步是使用read.table()函数将数据集读取到数据框中。然后我们可以使用head()来看看前几行数据,检查数据格式是否正确,同时也能熟悉数据元素:

SFParkingMeters <- read.table("./data/SFParkingMeters.csv", sep=", ", header=TRUE)
head(SFParkingMeters)
POST_ID MS_ID MS_SPACEID CAP_COLOR METER_TYPE SMART_METE ACTIVESENS

1 354-20160 - 0.0 Grey SS Y Y
2 354-21030 - 0.0 Green SS Y Y
3 354-21160 - 0.0 Yellow SS Y Y
4 363-05250 - 0.0 Grey SS N N
5 363-05270 - 0.0 Grey SS N N
6 464-04120 - 0.0 Grey SS Y Y

JURISDICTI ON_OFF_STR OSP_ID STREET_NUM STREETNAME STREET_SEG RATEAREA
1 SFMTA ON 0.0 2016.0 CHESTNUT ST 3977000.0 Area 5
2 SFMTA ON 0.0 2103.0 CHESTNUT ST 3979000.0 Area 5
3 SFMTA ON 0.0 2116.0 CHESTNUT ST 3979000.0 Area 5
4 SFMTA ON 0.0 525.0 COLUMBUS AVE 4295000.0 Area 3
5 SFMTA ON 0.0 527.0 COLUMBUS AVE 4295000.0 Area 3
6 SFMTA ON 0.0 412.0 HAYES ST 6816000.0 Area 5

 SFPARKAREA         LOCATION

1 Marina (37.800798, -122.43687)
2 Marina (37.800522, -122.438067)
3 Marina (37.800589, -122.438525)
4 (37.800053, -122.409985)
5 (37.800088, -122.410035)
6 Civic Center (37.776878, -122.423512)`

相关文章
|
26天前
|
机器学习/深度学习 人工智能 算法
【乐器识别系统】图像识别+人工智能+深度学习+Python+TensorFlow+卷积神经网络+模型训练
乐器识别系统。使用Python为主要编程语言,基于人工智能框架库TensorFlow搭建ResNet50卷积神经网络算法,通过对30种乐器('迪吉里杜管', '铃鼓', '木琴', '手风琴', '阿尔卑斯号角', '风笛', '班卓琴', '邦戈鼓', '卡萨巴', '响板', '单簧管', '古钢琴', '手风琴(六角形)', '鼓', '扬琴', '长笛', '刮瓜', '吉他', '口琴', '竖琴', '沙槌', '陶笛', '钢琴', '萨克斯管', '锡塔尔琴', '钢鼓', '长号', '小号', '大号', '小提琴')的图像数据集进行训练,得到一个训练精度较高的模型,并将其
36 0
【乐器识别系统】图像识别+人工智能+深度学习+Python+TensorFlow+卷积神经网络+模型训练
|
1月前
|
机器学习/深度学习 人工智能 算法
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
昆虫识别系统,使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法(CNN)模型。通过对10种常见的昆虫图片数据集('蜜蜂', '甲虫', '蝴蝶', '蝉', '蜻蜓', '蚱蜢', '蛾', '蝎子', '蜗牛', '蜘蛛')进行训练,得到一个识别精度较高的H5格式模型文件,然后使用Django搭建Web网页端可视化操作界面,实现用户上传一张昆虫图片识别其名称。
188 7
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
|
12天前
|
机器学习/深度学习 人工智能 算法
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习算法入门:从K-means到神经网络
【6月更文挑战第26天】机器学习入门:从K-means到神经网络。文章涵盖了K-means聚类、逻辑回归、决策树和神经网络的基础原理及应用场景。K-means用于数据分组,逻辑回归适用于二分类,决策树通过特征划分做决策,神经网络则在复杂任务如图像和语言处理中大显身手。是初学者的算法导览。
|
1月前
|
机器学习/深度学习 算法 网络安全
机器学习在网络安全威胁检测与防御中有广泛的应用
机器学习在网络安全威胁检测与防御中有广泛的应用
22 1
|
1月前
|
Python
【干货】Python下载网络小说
【干货】Python下载网络小说
22 2
|
1月前
|
机器学习/深度学习 搜索推荐 PyTorch
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
347 2
网络请求和下载,ping baidu Ctrl + C停掉,wegt命令可以在命令行内下载网络文件
网络请求和下载,ping baidu Ctrl + C停掉,wegt命令可以在命令行内下载网络文件
|
23天前
|
Linux Shell 网络性能优化
Wondershaper网络限制脚本源码分析一(下载速度限制篇)
Wondershaper 是一个简单的 Linux 命令行工具,用于自动管理和控制网络接口的上行和下行带宽,旨在为用户提供稳定的网络体验,尤其是在网络拥塞的情况下。它通过 Traffic Control (tc) 工具集实现这一功能,但与直接使用 tc 相比,Wondersbaper 提供了更简洁易用的界面,特别适合没有深入网络管理知识的用户,但它其实就是由一个bash脚本组成,当然里面的思想非常精华。
|
24天前
|
机器学习/深度学习 安全 算法
利用机器学习优化网络安全防御策略
在数字化时代,网络安全威胁日益增多,传统的防御手段已难以应对复杂多变的攻击模式。本文旨在探讨如何通过机器学习技术优化网络安全防御策略,提高防御效率和准确性。文章首先分析当前网络安全面临的挑战,然后介绍机器学习在网络安全中的应用,并通过实际案例展示机器学习如何提升安全防御能力。最后,讨论实施机器学习时需要注意的问题和未来发展趋势。

热门文章

最新文章