在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，怎么办？
下面所说的都是针对python2.7
如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码。
#chardet 需要下载安装
import chardet
#抓取网页html
html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
mychar=chardet.detect(html_1)
#print mychar
bianma=mychar['encoding']
if bianma == 'utf-8' or bianma == 'UTF-8':
#html=html.decode('utf-8','ignore').encode('utf-8')
html=html_1
else :
html =html_1.decode('gb2312','ignore').encode('utf-8')
有以上处理，整个html就不会是乱码。
本文转自 baiying 51CTO博客，原文链接：http://blog.51cto.com/baiying/1162617，如需转载请自行联系原作者
