|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
|
#coding:utf-8
#-------------------------------------------------------------------------------
# Name: 模块1
# Purpose:
#
# Author: mrwang
#
# Created: 18/04/2014
# Copyright: (c) mrwang 2014
# Licence: <your licence>
#-------------------------------------------------------------------------------
import
urllib
def
main():
url
=
'http://xxxxxxx.xx'
html
=
urllib.urlopen(url)
# print html.read() #读取内容
# print html.read().decode('gbk').encode('utf-8') #乱码解决
# print html.read().decode('gbk', 'ignore').encode('utf-8') #一个页面多个编码 加ignore 忽略无法显示的字符
# print html.info() #查看网页头部信息
'''
Connection: close
Date: Fri, 18 Apr 2014 03:13:46 GMT
Server: Microsoft-IIS/6.0
MicrosoftOfficeWebServer: 5.0_Pub
pragma: no-cache
cache-control: private
Content-Length: 50853
Content-Type: text/html
Expires: Thu, 17 Apr 2014 03:13:44 GMT
Set-Cookie: web%5Fid=9952508807; path=/
Set-Cookie: ASPSESSIONIDQCTQRBQA=NJFIJEBAIFPPLGFKELICDDEL; path=/
Cache-control: no-cache
'''
# print html.getcode() #返回访问状态码
# print html.geturl() #返回网页
# urllib.urlretrieve(url, "c:\\abc.txt") #下载网页
# html.close() #关闭连接
'''
urllib.urlretrieve 方法使用
1 传入网址
2 传入本地保存路径文件名
3 一个函数调用，我们可以任意定义这个函数，但是这个函数一定要有三个参数
参数1 到目前为止传递的数据块数量
参数2 每个数据块的大小，单位byte，字节
参数3 获取的文件的大小 有时候会返回-1
'''
urllib.urlretrieve(url,
'C://a.html'
, callback)
def
callback(a, b, c):
'''
@参数a 到目前为止传递的数据块数量
@参数b 每个数据块的大小，单位byte，字节
@参数c 获取的文件的大小 有时候会返回-1
'''
down_progress
=
100.0
*
a
*
b
/
c
if
down_progress >
100
:
down_progress
=
100
print
"%.2f%%"
%
down_progress,
#后面加上 , 就不会换行
'''
0.00% 16.11% 32.22% 48.33% 64.44% 80.55% 96.66% 100.00%
'''
if
__name__
=
=
'__main__'
:
main()
本文转自 拖鞋崽 51CTO博客，原文链接:http://blog.51cto.com/1992mrwang/1398011
|
python爬虫学习小程序
2017-11-05
984
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
8天前
|
存储
Shell
区块链
怎么把Python脚本打包成可执行程序？
该文档介绍了如何将Python脚本及其运行环境打包成EXE可执行文件，以便在不具备Python环境的计算机上运行。首先确保Python脚本能够正常运行，然后通过安装PyInstaller并使用`--onefile`参数将脚本打包成独立的EXE文件。此外，还提供了去除命令行窗口和指定可执行文件图标的详细方法。这些步骤帮助用户轻松地将Python程序分发给最终用户。
15
3
3
|
13天前
|
小程序
前端开发
Java
SpringBoot+uniapp+uview打造H5+小程序+APP入门学习的聊天小项目
JavaDog Chat v1.0.0 是一款基于 SpringBoot、MybatisPlus 和 uniapp 的简易聊天软件，兼容 H5、小程序和 APP，提供丰富的注释和简洁代码，适合初学者。主要功能包括登录注册、消息发送、好友管理及群组交流。
36
0
1
|
3天前
|
Python
探索Python编程的奥秘：打造你的第一个程序
【9月更文挑战第8天】本文将带你进入Python编程的世界，通过一个有趣的项目——制作一个简单的猜数字游戏，让你快速入门。我们不仅会分享代码编写的步骤，还会讲解每一行代码的含义和作用，确保即使是编程新手也能跟上节奏。文章末尾附有完整代码，方便读者实践和学习。
19
12
12
|
3天前
|
数据采集
机器学习/深度学习
搜索推荐
Python爬虫技术基础与应用场景详解
本文介绍了爬虫技术的基本概念、原理及应用场景，包括数据收集、价格监测、竞品分析和搜索引擎优化等。通过一个实战案例展示了如何使用Python爬取电商网站的商品信息。强调了在使用爬虫技术时需遵守法律法规和道德规范，确保数据抓取的合法性和合规性。
11
2
2
|
7天前
|
算法
程序员
Linux
Python编程入门：构建你的第一个程序
【9月更文挑战第4天】编程是现代技术发展的基石，而Python作为一门简洁、易学且功能强大的编程语言，已成为众多初学者的首选。本文将引导你通过一个简单的Python程序，探索编程世界的奥秘，并了解如何利用Python实现基本的算法逻辑。无论你是完全的新手还是希望巩固基础的开发者，这篇文章都将为你提供一个清晰的学习路径。从安装Python环境开始，到编写第一个程序，我们将一步步揭开编程的神秘面纱。
11
3
3
|
12天前
|
Python
Python编程入门：构建你的第一个程序
【8月更文挑战第31天】本文是面向初学者的Python编程指南，将引导读者通过实际案例学习Python基础。我们将一起编写一个简单的程序来展示如何运用变量、控制结构和函数等概念。文章末尾附有完整代码示例供参考和实践。
17
1
1
|
20天前
|
程序员
测试技术
开发工具
豆瓣评分7.9！世界级讲师耗时5年整理出的Python学习手册！
Python是一门流行的开源编程语言，广泛用于各个领域的独立程序与脚本化应用中。它不仅免费、可移植、功能强大，同时相对简单，而且使用起来充满乐趣。从软件业界的任意一角到来的程序员，都会发现Python着眼于开发者的生产效率以及软件质量，因此无论你的项目是大还是小，选择Python都将带来战略性的优势。
今天给小伙伴们分享的这份手册讲述了完整的Python语言，力争满足“语言”和“原理”两个方面的需求，并拥有足够的深度以便实用。废话不多说，下面展示给大家。
26
1
1
|
20天前
|
数据采集
数据可视化
Ruby
GitHub星标破万！Python学习教程（超详细），真的太强了！
Python 是一门初学者友好的编程语言，想要完全掌握它，你不必花上太多的时间和精力。
Python 的设计哲学之一就是简单易学，体现在两个方面：
1. 语法简洁明了：相对 Ruby 和 Perl，它的语法特性不多不少，大多数都很简单直接，不玩儿玄学。
2. 切入点很多：Python 可以让你可以做很多事情，科学计算和数据分析、爬虫、Web 网站、游戏、命令行实用工具等等等等，总有一个是你感兴趣并且愿意投入时间的。
44
2
2
|
11天前
|
小程序
Python
Python 编程入门：打造你的第一个程序
【8月更文挑战第31天】
在数字化时代，编程已成为一项宝贵的技能。本文将通过一个简单示例引导初学者步入Python编程的世界。我们将从基础语法开始，逐步构建一个小程序，并在此过程中探索编程的逻辑思维与问题解决策略。无论你是科技爱好者还是职场新人，这篇文章都将为你开启编程之旅提供助力。
11
0
0
|
11天前
|
程序员
Python
Python 编程入门：打造你的第一个程序
【8月更文挑战第31天】编程初学者常常在起步时感到迷茫。本文将通过浅显易懂的方式，带领读者从零开始，一步步构建他们的第一个 Python 程序。我们将探索 Python 的安装、基础语法，并通过一个实际的项目——简易计算器，来巩固学习成果。无论你的背景如何，这篇文章都将为你打开编程世界的大门，让你轻松上手，享受编程的乐趣。
14
0
0
热门文章
最新文章
1
阿里20亿小程序繁星计划你最需要知道的几个问题（0325更新）
2
小程序审核常见驳回类型
3
基于容器服务快速搭建小程序后端服务
4
微信小程序前端(纯前端)如何解密手机号？
5
客观解析开发小程序该选择模板还是定制开发？
6
微信小程序图片放大预览效果的实现，轮播图点击放大预览
7
阐述“羊了个羊”游戏APP小程序系统开发逻辑方案（源码部署哦）
8
支付宝小程序开发说明
9
基于Taro的微信小程序分享图片功能实践
10
微信小程序把玩（二十二）action-sheet组件
1
Python爬虫技术与数据可视化：Numpy、pandas、Matplotlib的黄金组合
269
2
静态代理IP对反爬虫策略的应对，以及静态ip对爬虫的助力
41
3
【专栏】随着技术发展，Scrapy将在网络爬虫领域持续发挥关键作用
76
4
【专栏】网络爬虫与数据抓取的基础知识，包括爬虫的工作原理、关键技术和不同类型
636
5
Golang爬虫代理接入的技术与实践
76
6
高德地图爬虫实践：Java多线程并发处理策略
206
7
SOCKS5代理IP：为什么它是网络爬虫的首选？
57
8
【AI大模型应用开发】【LangChain系列】实战案例2：通过URL加载网页内容 - LangChain对爬虫功能的封装
313
9
Python爬虫面试：requests、BeautifulSoup与Scrapy详解
86
10
探秘Python爬虫技术：王者荣耀英雄图片爬取
114