Python3抓取糗百、不得姐

简介: 重要提示1:本文所列程序均基于Python3.6,低于Python3.6的Python版本可能无法运行. 重要提示2:因所抓取的网站可能随时更改展示内容,因此程序也需及时跟进. 重要提示3:本程序仅供学习,不能拿去做坏事.

​点击关注 异步图书,置顶公众号

每天与你分享 IT好书 技术干货 职场知识


重要提示1:本文所列程序均基于Python3.6,低于Python3.6的Python版本可能无法运行.
重要提示2:因所抓取的网站可能随时更改展示内容,因此程序也需及时跟进.
重要提示3:本程序仅供学习,不能拿去做坏事.​

起步

1.安装Python 3.6;
2.安装以下库:

9ccc0ca9gy1frekr4rrr4j20mj01z0sm.jpg

主要思路

整个程序,按照下面的步骤:

1.获取要爬取页面的URL地址(可以是分页地址,可以在程序里面模拟分页);
2.通过requests(一个封装了urllib3的网络库,简化了很多网络请求的东西)下载上面URL地址的内容到内存(以前的方式是保存临时文件);
3.用BeautifulSoup(一个解析HTML的库)来读取第二步中保存在内存中的内容,并解析出我们要的主要内容部分;
4.保存到数据库或展示(特别说明:本示例程序不包含数据库部分),程序最终会输出多条json数据(已经包含了来源网站(自己定义的),创建时间等)

上述部分体现在代码中,就是如下:

首先在Main.py中,定义:

9ccc0ca9gy1frekrd3ltwj20me03x74a.jpg

​用来格式化不得姐获取到的数据,下面还要定义一个Qsyk来处理来自糗事百科的数据:

9ccc0ca9gy1frekrkkj1bj20mg03yweh.jpg

代码中还有一个Kanqu.com的抓取处理,这里就不罗列了,这几个唯一的区别就是:调用common.formatContent时,传递的第二个参数不一样,第二个参数为要抓取的内容(HTML)的class.

CommonGrab中依赖了UserUtils.py中的代码.

下面是CommonGrab的定义,在CommonGrab中主要做了两件事:

  1. 抓取网页内容,保存到内存;
  2. 解析HTML内容(使用BeautifulSoup)
  3. 将数据新增到数据库中.(不新增数据库到数据库中.)

代码如下:

9ccc0ca9gy1freks8agdpj20mj0mbq58.jpg

之后就是把上述的几部分组合起来.

运行

运行部分的代码如下,主要就是调用了上述几部分的代码:

9ccc0ca9gy1frekshnol8j20mh0kp764.jpg

源码下载

CSDN:
https://download.csdn.net/download/dcxy0/9835268
Coding.net:
https://coding.net/u/pruidong/p/Python3GetQsbkBdj/git

文件:

main.py: 运行
UserUtils.py:工具​


本文来源于异步社区,作者:dcxy,作品《Python3抓取糗百、不得姐》,未经授权,禁止转载。

9ccc0ca9gy1frcdobu7f5g20hs01pt93.gif

推荐阅读

2018年5月新书书单(文末福利)

2018年4月新书书单

异步图书最全Python书单

一份程序员必备的算法书单

第一本Python神经网络编程图书

9ccc0ca9gy1fqyf4q8tctj209k09k744.jpg

​长按二维码,可以关注我们哟

每天与你分享IT好文。


在“异步图书”后台回复“关注”,即可免费获得2000门在线视频课程;推荐朋友关注根据提示获取赠书链接,免费得异步e读版图书一本。赶紧来参加哦!

点击阅读原文,查看更多

阅读原文

相关文章
|
1月前
|
存储 缓存 Python
如何使用Python抓取PDF文件并自动下载到本地
如何使用Python抓取PDF文件并自动下载到本地
31 0
|
2月前
|
数据采集 前端开发 JavaScript
利用 Python 抓取数据探索汽车市场趋势
利用 Python 抓取数据探索汽车市场趋势
|
2月前
|
数据采集 数据可视化 数据挖掘
Python爬虫实战:抓取网站数据并生成报表
本文将介绍如何使用Python编写简单而高效的网络爬虫,从指定的网站上抓取数据,并利用数据分析库生成可视化报表。通过学习本文内容,读者将能够掌握基本的爬虫技术和数据处理方法,为日后开发更复杂的数据采集与分析工具打下坚实基础。
|
2月前
|
数据采集 JSON JavaScript
Python爬虫案例:抓取猫眼电影排行榜
python爬取猫眼电影排行榜数据分析,实战。(正则表达式,xpath,beautifulsoup)【2月更文挑战第11天】
65 2
Python爬虫案例:抓取猫眼电影排行榜
|
4月前
|
数据采集 自然语言处理 Python
Python 制作微博抓取 GUI 程序
vPython 制作微博抓取 GUI 程序
|
5天前
|
开发者 索引 Python
实践:如何使用python在网页的表格里抓取信息
实践:如何使用python在网页的表格里抓取信息
|
29天前
|
Python
如何使用Python的Requests库进行网络请求和抓取网页数据?
如何使用Python的Requests库进行网络请求和抓取网页数据?
12 0
|
3月前
|
数据安全/隐私保护 Python
网络连接有问题?学会用Python下载器在eBay上抓取商品
Python下载器是一种利用Python编程语言编写的程序,可以实现从网站上自动下载网页或文件的功能。Python下载器的优点是可以自定义下载的内容、格式、速度和保存位置,还可以处理各种网络异常和错误,提高下载的效率和稳定性。
网络连接有问题?学会用Python下载器在eBay上抓取商品
|
9月前
|
数据采集 算法 Linux
Python 抓取网页乱码原因分析
比如,在 windows 的控制台(gbk)里抓取了一个 utf-8 编码的网站。或者,在 Mac / Linux 的终端(utf-8)里抓取了一个 gbk 编码的网站。因为多数网站采用 utf-8 编码,而不少人又是用 windows,所有这种情况相当常见。
|
4月前
|
数据采集 JavaScript 前端开发
python动态加载内容抓取问题的解决实例
python动态加载内容抓取问题的解决实例
python动态加载内容抓取问题的解决实例

热门文章

最新文章