Python2 爬虫(一) -- 人生第一条蠕动的爬虫

简介: 这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。Python官网 在官网上下载对应版本的python,我这里下载的是老版本2.7.12 在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。附上python安装教程,因为要配环境变量。(是不是很贴心)安装完成,如下图,我们在cmd

这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。

Python官网
在官网上下载对应版本的python,我这里下载的是老版本2.7.12
在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。

附上python安装教程,因为要配环境变量。(是不是很贴心)

安装完成,如下图,我们在cmd中输入python就能验证我们是否成功安装。
这里写图片描述

在自带IDLE中,我们就可以实现python的第一个helloworld程序了
这里写图片描述

下面如果我们要写爬虫,我们得用到requests,我们有几种安装的办法,这里选择pip安装。安装成功会有提示。

这里写图片描述

安装完成之后,我们就可以开始我们的第一条爬虫了。先爬我们的个人主页

这里写图片描述

上代码

import requests

url = "https://androidwolf.github.io/"  

r = requests.get(url)  
print r.encoding 

r.text.encode('utf-8')

data = r.content   


#print(data)    

filename =  "123.txt"
f = open(filename, 'a')
f.write(data)
f.close()

print "success"

这里写图片描述

第一条爬虫已经蠢蠢蠕动了,是不是很激动。

目录
相关文章
|
2月前
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
3月前
|
数据采集 Web App开发 自然语言处理
新闻热点一目了然:Python爬虫数据可视化
新闻热点一目了然:Python爬虫数据可视化
|
4月前
|
数据采集 数据挖掘 测试技术
Go与Python爬虫实战对比:从开发效率到性能瓶颈的深度解析
本文对比了Python与Go在爬虫开发中的特点。Python凭借Scrapy等框架在开发效率和易用性上占优,适合快速开发与中小型项目;而Go凭借高并发和高性能优势,适用于大规模、长期运行的爬虫服务。文章通过代码示例和性能测试,分析了两者在并发能力、错误处理、部署维护等方面的差异,并探讨了未来融合发展的趋势。
329 0
|
2月前
|
数据采集 监控 数据库
Python异步编程实战:爬虫案例
🌟 蒋星熠Jaxonic,代码为舟的星际旅人。从回调地狱到async/await协程天堂,亲历Python异步编程演进。分享高性能爬虫、数据库异步操作、限流监控等实战经验,助你驾驭并发,在二进制星河中谱写极客诗篇。
Python异步编程实战:爬虫案例
|
3月前
|
数据采集 存储 XML
Python爬虫技术:从基础到实战的完整教程
最后强调: 父母法律法规限制下进行网络抓取活动; 不得侵犯他人版权隐私利益; 同时也要注意个人安全防止泄露敏感信息.
682 19
|
2月前
|
数据采集 存储 JSON
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
|
2月前
|
数据采集 存储 JavaScript
解析Python爬虫中的Cookies和Session管理
Cookies与Session是Python爬虫中实现状态保持的核心。Cookies由服务器发送、客户端存储,用于标识用户;Session则通过唯一ID在服务端记录会话信息。二者协同实现登录模拟与数据持久化。
|
3月前
|
数据采集 存储 Web App开发
处理Cookie和Session:让Python爬虫保持连贯的"身份"
处理Cookie和Session:让Python爬虫保持连贯的"身份"
|
3月前
|
数据采集 Web App开发 前端开发
处理动态Token:Python爬虫应对AJAX授权请求的策略
处理动态Token:Python爬虫应对AJAX授权请求的策略
|
3月前
|
数据采集 网络协议 API
协程+连接池:高并发Python爬虫的底层优化逻辑
协程+连接池:高并发Python爬虫的底层优化逻辑

推荐镜像

更多