开发者社区> 余二五> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Python学习笔记五(Python urllib模块)

简介:
+关注继续查看

Python urllib模块提供了一个从指定的URL地址获取网页数据,然后对其进行分析处理,获取想要的数据。
1.查看urllib模块提供的urlopen函数。

1
2
3
help(urllib.urlopen)
urlopen(url, data=None, proxies=None)
Create a file-like object for the specified URL to read from.

创建一个类文件对象为指定的url来读取。

参数url表示远程数据的路径,一般是http或者ftp路径。
参数data表示以get或者post方式提交到url的数据。
参数proxies表示用于代理的设置。

Python通过urlopen函数来获取html数据,下面通过函数getUrl()将百度首页显示到显示器上面。

1
2
3
4
5
6
7
#encoding:utf-8
import urllib
def getUrl(url):
    page = urllib.urlopen(url)
    html = page.read()
    print html
getUrl('http://www.baidu.com')

urlopen返回一个类文件对象,它提供了如下方法
1)read() , readline() , readlines(),fileno()和close(): 这些方法的使用与文件对象完全一样。
2)info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息。
3)getcode():返回Http状态码,如果是http请求,200表示请求成功完成;404表示网址未找到。
4)geturl():返回请求的url地址。

urlopen方法实例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/python
#encoding:utf-8
import urllib
baidu = urllib.urlopen('http://www.baidu.com')
print 'http header:\n',baidu.info()
print 'http status:',baidu.getcode()
print 'url:',baidu.geturl()
for line in baidu:
    print line,
baidu.close()
########output########
#http header:
#http status: 200
#url: http://www.baidu.com
#baidu home page

2.查看urllibe模块提供的urlretrieve函数。

1
2
help(urllib.urlretrieve)
urlretrieve(url, filename=None, reporthook=None, data=None)

urlretrieve方法直接将远程数据下载到本地。
参数finename指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)
参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度。
参数data指post到服务器的数据,该方法返回一个包含两个元素的(filename, headers)元组,filename表示保存到本地的路径,header表示服务器的响应头。
urlretrieve方法下载文件实例,可以显示下载进度。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/usr/bin/python
#encoding:utf-8
import urllib
import os
def Schedule(a,b,c):
    '''''
    a:已经下载的数据块
    b:数据块的大小
    c:远程文件的大小
   '''
    per = 100.0 * * / c
    if per > 100 :
        per = 100
    print '%.2f%%' % per
url = 'http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'
#local = url.split('/')[-1]
local = os.path.join('/data/software','Python-2.7.5.tar.bz2')
urllib.urlretrieve(url,local,Schedule)
######output######
#0.00%
#0.07%
#0.13%
#0.20%
#....
#99.94%
#100.00%

通过上面的练习可以知道,urlopen可以轻松获取远端html页面信息,然后通过python正则对所需要的数据进行分析,匹配出想要用的数据,在利用urlretrieve将数据下载到本地。对于访问受限或者对连接数有限制的远程url地址可以采用proxies(代理的方式)连接,如果远程数据量过大,单线程下载太慢的话可以采用多线程下载,这个就是传说中的爬虫。










本文转自 sfzhang 51CTO博客,原文链接:http://blog.51cto.com/sfzhang88/1226591,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python中的常用模块(下)
Python中的常用模块
16 0
Python中的常用模块(上)
Python中的常用模块
17 0
14、python常用模块
常用模块 认识模块 什么是模块 什么是模块?    常见的场景:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名字加上.py的后缀。    但其实import加载的模块分为四个通用类别:   1 使用python编写的代码(.
1022 0
python之常用模块
模块,用一堆代码实现了某个功能的代码的集合。  类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合。而对于一个复杂的功能来,可能需要多个函数才能完成(函数又可以在不同的.py文件中),n个 .py 文件组成的代码集合就称为模块。
1243 0
+关注
20377
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载