Python2 爬虫(一) -- 人生第一条蠕动的爬虫

简介: 这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。Python官网 在官网上下载对应版本的python,我这里下载的是老版本2.7.12 在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。附上python安装教程,因为要配环境变量。(是不是很贴心)安装完成,如下图,我们在cmd

这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。

Python官网
在官网上下载对应版本的python,我这里下载的是老版本2.7.12
在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。

附上python安装教程,因为要配环境变量。(是不是很贴心)

安装完成,如下图,我们在cmd中输入python就能验证我们是否成功安装。
这里写图片描述

在自带IDLE中,我们就可以实现python的第一个helloworld程序了
这里写图片描述

下面如果我们要写爬虫,我们得用到requests,我们有几种安装的办法,这里选择pip安装。安装成功会有提示。

这里写图片描述

安装完成之后,我们就可以开始我们的第一条爬虫了。先爬我们的个人主页

这里写图片描述

上代码

import requests

url = "https://androidwolf.github.io/"  

r = requests.get(url)  
print r.encoding 

r.text.encode('utf-8')

data = r.content   


#print(data)    

filename =  "123.txt"
f = open(filename, 'a')
f.write(data)
f.close()

print "success"

这里写图片描述

第一条爬虫已经蠢蠢蠕动了,是不是很激动。

目录
相关文章
|
10天前
|
数据采集 存储 API
在信息时代,Python爬虫用于自动化网络数据采集,提高效率。
【7月更文挑战第5天】在信息时代,Python爬虫用于自动化网络数据采集,提高效率。基本概念包括发送HTTP请求、解析HTML、存储数据及异常处理。常用库有requests(发送请求)和BeautifulSoup(解析HTML)。基本流程:导入库,发送GET请求,解析网页提取数据,存储结果,并处理异常。应用案例涉及抓取新闻、商品信息等。
30 2
|
14天前
|
数据采集 XML API
Python 爬虫数据抓取(10):LXML
Python 爬虫数据抓取(10):LXML
27 1
|
7天前
|
数据采集 Web App开发 前端开发
Python中好用的爬虫框架
**Scrapy** 是一个强大的Python爬虫框架,适合大规模数据采集,提供高度可定制的爬取流程、内置数据提取工具、自动请求调度、分布式爬取支持、中间件扩展及多种数据存储方式。 **Beautiful Soup** 和 **Requests** 结合使用,便于Python中简单网页的请求和HTML解析。Requests发送HTTP请求,Beautiful Soup解析内容,适合小型项目或数据提取。 **Requests-HTML** 是Requests的扩展,支持HTML解析和CSS选择器,自动处理链接,适合网页解析任务。
|
7天前
|
机器学习/深度学习 数据采集 自然语言处理
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
|
16天前
|
数据采集 前端开发 Java
Python简单爬虫案例
用pyhton从网页中爬取数据,是比较常用的爬虫方式。网页一般由html编写,里面包含大量的标签,我们所需的内容都包含在这些标签之中,除了对python的基础语法有了解之外,还要对html的结构以及标签选择有简单的认知,下面就用爬取fl小说网的案例带大家进入爬虫的世界。
|
16天前
|
数据采集 Python
半小时速通Python爬虫!GitHub开源的Python爬虫入门教程
今天给小伙伴们带来了一篇详细介绍 Python 爬虫入门的教程,从实战出发,适合初学者。 小伙伴们只需在阅读过程紧跟文章思路,理清相应的实现代码,30 分钟即可学会编写简单的 Python 爬虫。
|
16天前
|
数据采集 Python
半小时速通Python爬虫!GitHub开源的Python爬虫入门教程
今天给小伙伴们带来了一篇详细介绍 Python 爬虫入门的教程,从实战出发,适合初学者。 小伙伴们只需在阅读过程紧跟文章思路,理清相应的实现代码,30 分钟即可学会编写简单的 Python 爬虫。
|
17天前
|
数据采集 前端开发 Java
Python简单爬虫案例
用pyhton从网页中爬取数据,是比较常用的爬虫方式。网页一般由html编写,里面包含大量的标签,我们所需的内容都包含在这些标签之中,除了对python的基础语法有了解之外,还要对html的结构以及标签选择有简单的认知,下面就用爬取fl小说网的案例带大家进入爬虫的世界。
|
20天前
|
数据采集 机器学习/深度学习 数据可视化
利用Python进行网络爬虫和数据抓取
在当今数字化时代,数据是无处不在的。从市场趋势到个人偏好,从社交媒体活动到商业智能,数据扮演着关键的角色。然而,访问、处理和利用数据并不总是轻而易举的。幸运的是,Python提供了一套强大而灵活的工具,使得网络爬虫和数据抓取成为可能。本文将深入探讨如何利用Python进行网络爬虫和数据抓取,为您打开数据世界的大门。
|
22天前
|
数据采集 前端开发 JavaScript
python语言通过简单爬虫实例了解文本解析与读写
python|通过一个简单爬虫实例简单了解文本解析与读写