Python2 爬虫(一) -- 人生第一条蠕动的爬虫

简介: 这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。Python官网 在官网上下载对应版本的python,我这里下载的是老版本2.7.12 在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。附上python安装教程,因为要配环境变量。(是不是很贴心)安装完成,如下图,我们在cmd

这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。

Python官网
在官网上下载对应版本的python,我这里下载的是老版本2.7.12
在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。

附上python安装教程,因为要配环境变量。(是不是很贴心)

安装完成,如下图,我们在cmd中输入python就能验证我们是否成功安装。
这里写图片描述

在自带IDLE中,我们就可以实现python的第一个helloworld程序了
这里写图片描述

下面如果我们要写爬虫,我们得用到requests,我们有几种安装的办法,这里选择pip安装。安装成功会有提示。

这里写图片描述

安装完成之后,我们就可以开始我们的第一条爬虫了。先爬我们的个人主页

这里写图片描述

上代码

import requests

url = "https://androidwolf.github.io/"  

r = requests.get(url)  
print r.encoding 

r.text.encode('utf-8')

data = r.content   


#print(data)    

filename =  "123.txt"
f = open(filename, 'a')
f.write(data)
f.close()

print "success"

这里写图片描述

第一条爬虫已经蠢蠢蠕动了,是不是很激动。

目录
相关文章
|
26天前
|
数据采集 存储 XML
Python爬虫定义入门知识
Python爬虫是用于自动化抓取互联网数据的程序。其基本概念包括爬虫、请求、响应和解析。常用库有Requests、BeautifulSoup、Scrapy和Selenium。工作流程包括发送请求、接收响应、解析数据和存储数据。注意事项包括遵守Robots协议、避免过度请求、处理异常和确保数据合法性。Python爬虫强大而灵活,但使用时需遵守法律法规。
|
27天前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
28天前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
1月前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
87 6
|
2月前
|
数据采集 JSON 算法
Python爬虫——基于JWT的模拟登录爬取实战
Python爬虫——基于JWT的模拟登录爬取实战
58 1
Python爬虫——基于JWT的模拟登录爬取实战
|
2月前
|
数据采集 缓存 Java
Python vs Java:爬虫任务中的效率比较
Python vs Java:爬虫任务中的效率比较
|
29天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
|
1月前
|
数据采集 JSON 测试技术
Python爬虫神器requests库的使用
在现代编程中,网络请求是必不可少的部分。本文详细介绍 Python 的 requests 库,一个功能强大且易用的 HTTP 请求库。内容涵盖安装、基本功能(如发送 GET 和 POST 请求、设置请求头、处理响应)、高级功能(如会话管理和文件上传)以及实际应用场景。通过本文,你将全面掌握 requests 库的使用方法。🚀🌟
58 7
|
1月前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
76 6
|
1月前
|
数据采集 Web App开发 JavaScript
爬虫策略规避:Python爬虫的浏览器自动化
爬虫策略规避:Python爬虫的浏览器自动化