|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
|
#coding:utf-8
#-------------------------------------------------------------------------------
# Name: 模块1
# Purpose:
#
# Author: mrwang
#
# Created: 18/04/2014
# Copyright: (c) mrwang 2014
# Licence: <your licence>
#-------------------------------------------------------------------------------
import
urllib
def
main():
url
=
'http://xxxxxxx.xx'
html
=
urllib.urlopen(url)
# print html.read() #读取内容
# print html.read().decode('gbk').encode('utf-8') #乱码解决
# print html.read().decode('gbk', 'ignore').encode('utf-8') #一个页面多个编码 加ignore 忽略无法显示的字符
# print html.info() #查看网页头部信息
'''
Connection: close
Date: Fri, 18 Apr 2014 03:13:46 GMT
Server: Microsoft-IIS/6.0
MicrosoftOfficeWebServer: 5.0_Pub
pragma: no-cache
cache-control: private
Content-Length: 50853
Content-Type: text/html
Expires: Thu, 17 Apr 2014 03:13:44 GMT
Set-Cookie: web%5Fid=9952508807; path=/
Set-Cookie: ASPSESSIONIDQCTQRBQA=NJFIJEBAIFPPLGFKELICDDEL; path=/
Cache-control: no-cache
'''
# print html.getcode() #返回访问状态码
# print html.geturl() #返回网页
# urllib.urlretrieve(url, "c:\\abc.txt") #下载网页
# html.close() #关闭连接
'''
urllib.urlretrieve 方法使用
1 传入网址
2 传入本地保存路径文件名
3 一个函数调用，我们可以任意定义这个函数，但是这个函数一定要有三个参数
参数1 到目前为止传递的数据块数量
参数2 每个数据块的大小，单位byte，字节
参数3 获取的文件的大小 有时候会返回-1
'''
urllib.urlretrieve(url,
'C://a.html'
, callback)
def
callback(a, b, c):
'''
@参数a 到目前为止传递的数据块数量
@参数b 每个数据块的大小，单位byte，字节
@参数c 获取的文件的大小 有时候会返回-1
'''
down_progress
=
100.0
*
a
*
b
/
c
if
down_progress >
100
:
down_progress
=
100
print
"%.2f%%"
%
down_progress,
#后面加上 , 就不会换行
'''
0.00% 16.11% 32.22% 48.33% 64.44% 80.55% 96.66% 100.00%
'''
if
__name__
=
=
'__main__'
:
main()
本文转自 拖鞋崽 51CTO博客，原文链接:http://blog.51cto.com/1992mrwang/1398011
|
python爬虫学习小程序
2017-11-05
1012
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
13天前
|
Python
容器
Python学习的自我理解和想法（9）
这是我在B站跟随千锋教育学习Python的第9天，主要学习了赋值、浅拷贝和深拷贝的概念及其底层逻辑。由于开学时间紧张，内容较为简略，但希望能帮助理解这些重要概念。赋值是创建引用，浅拷贝创建新容器但元素仍引用原对象，深拷贝则创建完全独立的新对象。希望对大家有所帮助，欢迎讨论。
108
68
68
|
5天前
|
Python
Python学习的自我理解和想法（10）
这是我在千锋教育B站课程学习Python的第10天笔记，主要学习了函数的相关知识。内容包括函数的定义、组成、命名、参数分类（必须参数、关键字参数、默认参数、不定长参数）及调用注意事项。由于开学时间有限，记录较为简略，望谅解。通过学习，我理解了函数可以封装常用功能，简化代码并便于维护。若有不当之处，欢迎指正。
39
19
19
|
3天前
|
数据采集
存储
缓存
|
4天前
|
数据采集
Web App开发
监控
|
13天前
|
数据采集
JSON
API
如何利用Python爬虫淘宝商品详情高级版（item_get_pro）API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口（item_get_pro），获取商品的详细信息，包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容，强调了数据获取的合规性和安全性。
66
13
13
|
16天前
|
存储
索引
Python
Python学习的自我理解和想法（6）
这是我在B站千锋教育学习Python的第6天笔记，主要学习了字典的使用方法，包括字典的基本概念、访问、修改、添加、删除元素，以及获取字典信息、遍历字典和合并字典等内容。开学后时间有限，内容较为简略，敬请谅解。
42
10
10
|
19天前
|
程序员
Python
Python学习的自我理解和想法（3）
这是学习Python第三天的内容总结，主要围绕字符串操作展开，包括字符串的提取、分割、合并、替换、判断、编码及格式化输出等，通过B站黑马程序员课程跟随老师实践，非原创代码。
40
11
11
|
16天前
|
Python
|
14天前
|
存储
安全
索引
Python学习的自我理解和想法（8）
这是我在B站千锋教育学习Python的第8天，主要内容是元组。元组是一种不可变的序列数据类型，用于存储一组有序的元素。本文介绍了元组的基本操作，包括创建、访问、合并、切片、遍历等，并总结了元组的主要特点，如不可变性、有序性和可作为字典的键。由于开学时间紧张，内容较为简略，望见谅。
38
4
4
|
16天前
|
存储
索引
Python
Python学习的自我理解和想法（4）
今天是学习Python的第四天，主要学习了列表。列表是一种可变序列类型，可以存储任意类型的元素，支持索引和切片操作，并且有丰富的内置方法。主要内容包括列表的入门、关键要点、遍历、合并、判断元素是否存在、切片、添加和删除元素等。通过这些知识点，可以更好地理解和应用列表这一强大的数据结构。
38
5
5