Python网络爬虫之爬取糗事百科案例-阿里云开发者社区

开发者社区> 大数据> 正文
登录阅读全文

Python网络爬虫之爬取糗事百科案例

简介: 项目说明 使用Python写网络爬虫之糗事百科示例 使用工具 Python2.7.X、pycharm 使用方法 在pycharm中创建一个ceshi.py文件,撰写代码,运行代码,查看运行结果 操作原理 1.首先先了解正则表达式的使用方法,见:正则表达式 2.找到糗事百科的主页URL:http://www.qiushibaike.com/hot/page/1 可以看出来,链接中page/后面的数字就是对应的页码,记住这一点为编写程序做准备。

项目说明

使用Python写网络爬虫之糗事百科示例

使用工具

Python2.7.X、pycharm

使用方法

在pycharm中创建一个ceshi.py文件,撰写代码,运行代码,查看运行结果

操作原理

1.首先先了解正则表达式的使用方法,见:正则表达式

2.找到糗事百科的主页URL:http://www.qiushibaike.com/hot/page/1

可以看出来,链接中page/后面的数字就是对应的页码,记住这一点为编写程序做准备。

然后,右击查看页面源码:

img_be7c214afea380d0d45e5b1a5d8c9f29.png
网页源码分析-图1
img_f7077b4d5975044ef7a97484fd46f47b.png
网页源码分析-图2

观察发现,每一个段子都用div标记,其中class必为content,我们只需要用正则表达式将其“扣”出来就可以了。

示例代码

img_736b1ecb138b20a28769d139f23c961b.png
代码示例1
img_fa97001c9aa277ee5b73a68d20981656.png
代码示例2

运行结果

img_4de97688ef1bcbc711dfc14881986a95.png
运行结果

参考来源:http://blog.csdn.net/pleasecallmewhy/article/details/8932310

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: