关于中文网页爬虫显示乱码的问题 乱码错误
大家好，我在爬去一个中文网页的时候碰到了乱码的问题，试了很久都没成功，请帮我看下问题出在哪里？ 网址： http://www.duxieren.com/shanghaishuping/201511.shtml 编码: UTF-8 系统: windows 7 Python版本： 3 目标： 爬去文章列表 症状：能爬取，但是print出来之后全乱码,， 也尝试了了加encoding = GBK 之类的参数但是无效， 请帮我看看问题出在哪里，多谢了 代码如下 import requests, bs4 web = requests.get('http://www.duxieren.com/shanghaishuping/') soup = bs4.BeautifulSoup(web.text,"html.parser") page = soup.findAll('a',{'class':'archive_article'}) for i in page: print(i.get_text())
写回答
-
我们需要将编码改为GBK才可以：
复制代码 复制代码 import requests
url = 'http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=090200%2C00&funtype=0000&industrytype=00&keyword=python&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9' r = requests.get(url) r.encoding = 'GBK' print r.text 复制代码 复制代码 这样做，无论你是用pycharm还是命令行去运行，得到的都是正常的中文了。
2021-02-22 17:50:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
