《机器学习与数据科学(基于R的统计学习方法)》——2.4 从网络中下载数据集

简介:

本节书摘来异步社区《机器学习与数据科学(基于R的统计学习方法)》一书中的第2章,第2.4节,作者:【美】Daniel D. Gutierrez(古铁雷斯),更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.4 从网络中下载数据集

就像在前面提到的,网络上有很多可供下载的机器学习数据源。其中对公众开放的一种数据类型是政府数据。为了演示怎样从网络中下载数据,如图2-1所示,访问San Francisco Data网站(data.sfgov.org),上面包含了大量的市政数据集。要用到的Parking Meter数据集,包含了多方面的仪表特征。目标是直接从网站上下载CSV文件格式的数据集。为此,我们将使用download.file()指令。这里需要注意的是,并不是网络上提供的所有数据集都以一个很好的结构化格式存在。例如,每一行包含与单次观察相关的多个变量。通常情况下,你在网络上找到的数据需要进行大量的再加工,将它转换成适用于数据分析和机器学习的格式。

120cdb131778d56642de4aafcf51e2c21e247c46

下面的代码定义了一个变量fileURL,并且将数据集的URL(网址)分配给它。URL是从San Francisco Data网站上获取的。下一步,download.file()命令用于下载文件,将它存放在工作目录下的data子目录中。接下来使用list.files()函数来确认下载已经完成。注意相对路径./data的使用,这指的是当前工作目录下的子目录。

> fileURL <- "https://data.sfgov.org/api/views/7egw-qt89/rows. csv?accessType=DOWNLOAD"
> download.file(fileURL, destfile="./data/SFParkingMeters. csv")
> list.files("./data")
[1] "SFParkingMeters.csv"```
下一步是使用read.table()函数将数据集读取到数据框中。然后我们可以使用head()来看看前几行数据,检查数据格式是否正确,同时也能熟悉数据元素:

SFParkingMeters <- read.table("./data/SFParkingMeters.csv", sep=", ", header=TRUE)
head(SFParkingMeters)
POST_ID MS_ID MS_SPACEID CAP_COLOR METER_TYPE SMART_METE ACTIVESENS

1 354-20160 - 0.0 Grey SS Y Y
2 354-21030 - 0.0 Green SS Y Y
3 354-21160 - 0.0 Yellow SS Y Y
4 363-05250 - 0.0 Grey SS N N
5 363-05270 - 0.0 Grey SS N N
6 464-04120 - 0.0 Grey SS Y Y

JURISDICTI ON_OFF_STR OSP_ID STREET_NUM STREETNAME STREET_SEG RATEAREA
1 SFMTA ON 0.0 2016.0 CHESTNUT ST 3977000.0 Area 5
2 SFMTA ON 0.0 2103.0 CHESTNUT ST 3979000.0 Area 5
3 SFMTA ON 0.0 2116.0 CHESTNUT ST 3979000.0 Area 5
4 SFMTA ON 0.0 525.0 COLUMBUS AVE 4295000.0 Area 3
5 SFMTA ON 0.0 527.0 COLUMBUS AVE 4295000.0 Area 3
6 SFMTA ON 0.0 412.0 HAYES ST 6816000.0 Area 5

 SFPARKAREA         LOCATION

1 Marina (37.800798, -122.43687)
2 Marina (37.800522, -122.438067)
3 Marina (37.800589, -122.438525)
4 (37.800053, -122.409985)
5 (37.800088, -122.410035)
6 Civic Center (37.776878, -122.423512)`

相关文章
|
1月前
|
机器学习/深度学习 数据采集 自然语言处理
理解并应用机器学习算法:神经网络深度解析
【5月更文挑战第15天】本文深入解析了神经网络的基本原理和关键组成,包括神经元、层、权重、偏置及损失函数。介绍了神经网络在图像识别、NLP等领域的应用,并涵盖了从数据预处理、选择网络结构到训练与评估的实践流程。理解并掌握这些知识,有助于更好地运用神经网络解决实际问题。随着技术发展,神经网络未来潜力无限。
|
2天前
|
机器学习/深度学习 搜索推荐 PyTorch
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
19 2
|
5天前
|
机器学习/深度学习 自然语言处理 前端开发
深度学习-[源码+数据集]基于LSTM神经网络黄金价格预测实战
深度学习-[源码+数据集]基于LSTM神经网络黄金价格预测实战
|
5天前
|
机器学习/深度学习 自然语言处理 前端开发
深度学习-[数据集+完整代码]基于卷积神经网络的缺陷检测
深度学习-[数据集+完整代码]基于卷积神经网络的缺陷检测
|
6天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
|
14天前
|
机器学习/深度学习 数据采集 算法
踏上机器学习之路:探索数据科学的奥秘与魅力
踏上机器学习之路:探索数据科学的奥秘与魅力
17 0
|
15天前
|
机器学习/深度学习 安全 算法
利用机器学习优化网络安全防御策略
【6月更文挑战第3天】随着网络攻击的日益猖獗,传统的安全防御机制已难以满足企业对数据保护的需求。本文探讨如何应用机器学习技术来预测和防御潜在的网络安全威胁,通过分析历史数据模式,自动调整安全策略,从而在不断变化的威胁环境中保持企业的网络安全。
|
21天前
|
机器学习/深度学习 安全 网络安全
利用机器学习优化数据中心能效的研究数字堡垒的构建者:网络安全与信息安全的深层探索
【5月更文挑战第29天】在云计算和大数据时代,数据中心的能效问题成为关键挑战之一。本文通过集成机器学习技术与现有数据中心管理策略,提出了一种新型的智能优化框架。该框架能够实时分析数据中心的能耗模式,并自动调整资源分配,以达到降低能耗的目的。研究结果表明,应用机器学习算法可以显著提升数据中心的能源使用效率,同时保持服务质量。
|
21天前
|
机器学习/深度学习 数据采集 自然语言处理
基于机器学习的网络安全威胁检测系统
【5月更文挑战第29天】 在数字化时代,网络安全已成为一个不容忽视的问题。传统的安全防御手段往往依赖人工规则和特征匹配,难以应对日益复杂多变的网络攻击行为。本文提出了一个基于机器学习的网络安全威胁检测系统,旨在通过智能算法提高威胁识别的准确性和效率。系统利用先进的数据挖掘技术从大量网络流量中自动提取特征,并通过训练深度学习模型来识别潜在的安全威胁。本研究的创新点在于融合了自然语言处理(NLP)技术,以解析和理解网络攻击的语言模式,从而增强系统的检测能力。实验结果表明,该系统能够有效识别多种类型的网络攻击,包括钓鱼、恶意软件传播及先进持续性威胁(APT)。
|
22天前
|
机器学习/深度学习 安全 算法
利用机器学习优化网络安全防御策略
【5月更文挑战第28天】 在数字化时代,网络安全已成为维护信息系统完整性、保障用户数据隐私的关键。随着网络攻击手段的不断进化,传统的安全防御措施已难以应对日益复杂的威胁。本文探讨了如何通过机器学习技术,增强网络安全防御机制,实现智能化的威胁检测与响应。通过对现有文献和案例的分析,我们提出了一个基于机器学习的安全防御框架,并讨论了其在实际部署中可能遇到的挑战和潜在解决方案。

热门文章

最新文章