python3 爬虫之爬取糗事百科

简介: 闲着没事爬个糗事百科的笑话看看python3中用urllib.request.urlopen()打开糗事百科链接会提示以下错误http.client.RemoteDisconnected: Remote end closed connection without respons...

闲着没事爬个糗事百科的笑话看看


python3中用urllib.request.urlopen()打开糗事百科链接会提示以下错误

http.client.RemoteDisconnected: Remote end closed connection without response

但是打开别的链接就正常,很奇怪不知道为什么,没办法改用第三方模块requests,也可以用urllib3模块,还有一个第三方模块就是bs4(beautifulsoup4)


最后经过不懈努力,终于找到了为什么,原因就是没有添加headers,需要添加headers,让网站认为是从浏览器发起的请求,这样就不会报错了。

import urllib.request

url = 'http://www.qiushibaike.com/8hr/page/5/'
 
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-agent':user_agent}

request = urllib.request.Request(url,headers=headers)
html = urllib.request.urlopen(request)
print(html.read().decode())


requests模块安装和使用,这里就不说了

附上官方链接:http://docs.python-requests.org/en/master/

中文文档:http://cn.python-requests.org/zh_CN/latest/

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}


urllib3模块安装和使用,这里也不说了

附上官方链接:https://urllib3.readthedocs.io/en/latest/

>>> import urllib3
>>> http = urllib3.PoolManager()
>>> r = http.request('GET', 'http://httpbin.org/robots.txt')
>>> r.status
200
>>> r.data
'User-agent: *\nDisallow: /deny\n'


bs4模块安装和使用

附上官方链接:https://www.crummy.com/software/BeautifulSoup/


好了,上面三个模块有兴趣的可以自己研究学习下,以下是代码:

爬取糗事百科的段子和图片

import requests
import urllib.request
import re

def get_html(url):
    page = requests.get(url)
    return page.text

def get_text(html,file):
    textre = re.compile(r'content">\n*<span>(.*)</span>')
    textlist = re.findall(textre,html)
    num = 0
    txt = []
    for i in textlist:
        num += 1
        txt.append(str(num)+'.'+i+'\n'*2)
    with open(file,'w',encoding='utf-8') as f:
        f.writelines(txt)

def get_img(html):
    imgre = re.compile(r'<img src="(.*\.JPEG)" alt=',re.IGNORECASE)
    imglist = re.findall(imgre,html)
    x = 0
    for imgurl in imglist:
        x += 1
        urllib.request.urlretrieve(imgurl, '%s.jpg' % x)

html = get_html("http://www.qiushibaike.com/8hr/page/2/")

get_text(html,'a.txt')
get_img(html)

很简单,欢迎大家吐槽,有兴趣的可以加群一块学习(219636001)

目录
相关文章
|
2月前
|
数据采集 Python
用python写爬虫
用python写爬虫
32 6
|
2月前
|
数据采集 Java PHP
为什么用Python做爬虫
为什么用Python做爬虫
54 8
|
数据采集 XML 缓存
python——爬虫
python——爬虫
|
数据采集 存储 JSON
|
数据采集 Web App开发 开发者
【Python】从0开始写爬虫——扒一下狗东
  1. 上一篇我们已经稍微体验了一下用 urllib 和  BeautifulSoup 爬数据的基本操作。现在开始正式准备扒一个网站了。   1)首先确定扒谁? 由于我对狗东恨之入骨(狗贼刘强东老太可恶了,用我的钱,养我的奶茶妹,这种人,人人得而诛之!!!), 所以我们打算扒强东。
1481 0
|
Web App开发 数据采集 Python
|
Web App开发 数据采集 Python
Python——爬虫学习2
BeautifulSoup插件的使用 这个插件需要先使用pip安装(在上一篇中不再赘言),然后再程序中申明引用 from bs4 import BeautifulSoup html=self.requests(url)#调用requests函数把套图地址传入会返回一个response all_a=BeautifulSoup(html.
1130 0
|
数据采集 Python
Python——爬虫学习1
爬虫了解一下 网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 Python的安装 本篇教程采用Python3 来写,所以你需要给你的电脑装上Python3才行。
1268 0
|
数据采集 Web App开发 Python
Python学习(20)--爬虫
Python学习(20)--爬虫 在前几节我们一直在介绍正则表达式,今天我们就使用正则表达式写一个爬虫的小程序。首先什么是爬虫呢?爬虫就是按照一定的规则,自动地获取网络上的信息。下面我们将介绍一个通过爬虫获取网络图片的例子。
2060 0
|
Web App开发 数据采集 iOS开发