开发者社区> 技术小牛人> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

python爬虫学习小程序

简介:
+关注继续查看
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
#coding:utf-8
#-------------------------------------------------------------------------------
# Name:        模块1
# Purpose:
#
# Author:      mrwang
#
# Created:     18/04/2014
# Copyright:   (c) mrwang 2014
# Licence:     <your licence>
#-------------------------------------------------------------------------------
import urllib
def main():
    url = 'http://xxxxxxx.xx'
    html = urllib.urlopen(url)
    # print html.read() #读取内容
    # print html.read().decode('gbk').encode('utf-8') #乱码解决
    # print html.read().decode('gbk', 'ignore').encode('utf-8') #一个页面多个编码 加ignore 忽略无法显示的字符
    # print html.info() #查看网页头部信息
    '''
    Connection: close
    Date: Fri, 18 Apr 2014 03:13:46 GMT
    Server: Microsoft-IIS/6.0
    MicrosoftOfficeWebServer: 5.0_Pub
    pragma: no-cache
    cache-control: private
    Content-Length: 50853
    Content-Type: text/html
    Expires: Thu, 17 Apr 2014 03:13:44 GMT
    Set-Cookie: web%5Fid=9952508807; path=/
    Set-Cookie: ASPSESSIONIDQCTQRBQA=NJFIJEBAIFPPLGFKELICDDEL; path=/
    Cache-control: no-cache
    '''
    # print html.getcode() #返回访问状态码
    # print html.geturl() #返回网页
    # urllib.urlretrieve(url, "c:\\abc.txt") #下载网页
    # html.close() #关闭连接
    '''
    urllib.urlretrieve 方法使用
    1 传入网址
    2 传入本地保存路径文件名
    3 一个函数调用,我们可以任意定义这个函数,但是这个函数一定要有三个参数
        参数1 到目前为止传递的数据块数量
        参数2 每个数据块的大小,单位byte,字节
        参数3 获取的文件的大小 有时候会返回-1
    '''
    urllib.urlretrieve(url, 'C://a.html', callback)
def callback(a, b, c):
    '''
    @参数a 到目前为止传递的数据块数量
    @参数b 每个数据块的大小,单位byte,字节
    @参数c 获取的文件的大小 有时候会返回-1
    '''
    down_progress = 100.0 * * / c
    if down_progress > 100:
        down_progress = 100
    print "%.2f%%" % down_progress, #后面加上 , 就不会换行
    '''
    0.00% 16.11% 32.22% 48.33% 64.44% 80.55% 96.66% 100.00%
    '''
if __name__ == '__main__':
    main()
本文转自    拖鞋崽      51CTO博客,原文链接:http://blog.51cto.com/1992mrwang/1398011

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python爬虫学习:Cookie 和 Session 的区别是什么?
Cookie意为“甜饼”,是由W3C组织提出,最早由Netscape社区发展的一种机制。目前Cookie已经成为标准,所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。
0 0
爬虫学习:pyquery的使用
pyquery:一个类似jquery的python库,pyquery 允许我们对 xml 文档进行 jquery 查询。API 尽可能地类似于 jquery。pyquery 使用 lxml 进行快速 xml 和 html 操作,熟悉jquery的朋友快来学习python中的pyquery。
0 0
爬虫学习:Beautiful Soup的使用
一个强大的解析工具——Beautiful Soup,只需简单的几段代码就可以完成网页中某个信息的提取,一起来见识一下它的强大之处叭!
0 0
爬虫学习:XPath的使用
熟知XPath的使用来进行HTML信息锁定并获取
0 0
爬虫学习:正则表达式
爬虫学习需要熟知正则表达式的正确使用
0 0
Python爬虫在学习中整理的一些小技巧
如果你对工作不满意或对生活不满意,请不用抱怨,因为毫无用处,你只有努力提升技能,努力的完善自己,不断地向前奔跑,才会越来越好的!
0 0
Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程
昨天有小伙伴找我,新浪新闻的国内新闻页,其他部分都是静态网页可以抓到,但是在左下方的最新新闻部分,不是静态网页,也没有json数据,让我帮忙抓一下。
1203 0
Python学习,多进程了解一下!学爬虫不会用多进程能行吗?
python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。
1096 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Python第五讲——关于爬虫如何做js逆向的思路
立即下载
Python 脚本速查手册
立即下载
给运维工程师的Python实战课
立即下载