你知道我们中国有多少个高校吗,你知道它的排名吗,你知道它在哪个地址吗,如果你不知道,那么下面Python爬虫教你知道!
获取网页
#这个只用到了requests 和 bs4 #爬取大学排名 import requests from bs4 import BeautifulSoup as bs import time def grthtml(url): demo=requests.get(url) demo.encoding=demo.apparent_encoding#编码解码,常用方法 demo=demo.text#返回一个text文本信息 return(demo)
encoding是从http中的header中的charset字段中提取的编码方式,若header中没有charset字段则默认为ISO-8859-1编码模式,则无法解析中文,这是乱码的原因
apparent_encoding会从网页的内容中分析网页编码的方式,所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。
解析网页
def listhtml(ulist,html): soup=bs(html,"html.parser") soup=soup.tbody for tr in soup("tr"): tds=tr("td") ulist.append([tds[0].string,tds[1].string,tds[2].string])
打印信息
def pmhtml(ulist,num): print("2020年中国大学排名") print('{0:^10}\t{1:{3}^7}\t{2:^10}'.format("排名","校名","地址",chr(12288))) for i in ulist[0:num]: print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288)))
主函数
if __name__=="__main__": time.sleep(3) url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2020.html" html=grthtml(url) uinfo=[] listhtml(uinfo,html) num=int(input()) pmhtml(uinfo,num)
看看效果吧
代码进阶
可以思考一下,如果我把所有查找到的信息储存为一个字典,然后自己可以查找,学校,自动就出来它的一系列信息,这样才更方便!这个工作就留给大家了,你们做好了,可以来文章下面打卡留言哟!!!!