最近在学习python爬虫,便将一些自己认为有用的东西记录了下来,没有先后顺序,并不是学习python的入门教程,仅供参考
Python 标识符
类的私有变量、私有方法以两个下划线作为前缀
以单下划线开头 _foo 的代表不能直接访问的类属性,需通过类提供的接口进行访问,不能用 from xxx import * 而导入;
以双下划线开头的 __foo 代表类的私有成员;以双下划线开头和结尾的 __foo__ 代表 Python 里特殊方法专用的标识,如 __init__() 代表类的构造函数。
Python 保留字符
下面的列表显示了在Python中的保留字。这些保留字不能用作常数或变数,或任何其他标识符名称。
所有 Python 的关键字只包含小写字母。
and
|
exec
|
not
|
assert
|
finally
|
or
|
break
|
for
|
pass
|
class
|
from
|
print
|
continue
|
global
|
raise
|
def
|
if
|
return
|
del
|
import
|
try
|
elif
|
in
|
while
|
else
|
is
|
with
|
except
|
lambda
|
yield
|
多行语句
Python语句中一般以新行作为为语句的结束符。
但是我们可以使用斜杠( \)将一行的语句分为多行显示,如下所示:total = item_one + \
item_two + \
item_three
语句中包含 [], {} 或 () 括号就不需要使用多行连接符。如下实例:days = ['Monday', 'Tuesday', 'Wednesday',
'Thursday', 'Friday']
Python 引号
Python 可以使用引号( ' )、双引号(" )、三引号(
''' 或""" ) 来表示字符串,引号的开始与结束必须的相同类型的。
其中三引号可以由多行组成,编写多行文本的快捷语法,常用于文档字符串,在文件的特定地点,被当做注释。word = 'word'
sentence = "这是一个句子。"
paragraph = """这是一个段落。
包含了多个语句"""
Python注释
python中单行注释采用 # 开头。
#!/usr/bin/python
# -*- coding: UTF-8 -*-
# 文件名:test.py
# 第一个注释
print "Hello, Python!"; # 第二个注释
输出结果:
Hello, Python!
注释可以在语句或表达式行末:
name = "Madisetti" # 这是一个注释
python 中多行注释使用三个单引号(''')或三个双引号(""")。
#!/usr/bin/python
# -*- coding: UTF-8 -*-
# 文件名:test.py
'''
这是多行注释,使用单引号。
这是多行注释,使用单引号。
这是多行注释,使用单引号。
'''
"""
这是多行注释,使用双引号。
这是多行注释,使用双引号。
这是多行注释,使用双引号。
"""
网络
异步
-
treq - 类似于requests的API(基于twisted)。
- aiohttp - asyncio的HTTP客户端/服务器(PEP-3156)。
网络爬虫框架
功能齐全的爬虫
- grab - 网络爬虫框架(基于pycurl/multicur)。
- scrapy - 网络爬虫框架(基于twisted),不支持Python3。
- pyspider - 一个强大的爬虫系统。
- cola - 一个分布式爬虫框架。
其他
- portia - 基于Scrapy的可视化爬虫。
- restkit - Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立的对象。
- demiurge - 基于PyQuery的爬虫微框架。
HTML/XML解析器
通用
清理
文本处理
用于解析和操作简单文本的库。
通用
转换
字符编码
Slug化
通用解析器
人的名字
电话号码
用户代理字符串
特定格式文件处理
解析和处理特定文本格式的库。
通用
- tablib - 一个把数据导出为XLS、CSV、JSON、YAML等格式的模块。
- textract - 从各种文件中提取文本,比如 Word、PowerPoint、PDF等。
- messytables - 解析混乱的表格数据的工具。
- rows - 一个常用数据接口,支持的格式很多(目前支持CSV,HTML,XLS,TXT – 将来还会提供更多!)。
Office
PDF
Markdown
YAML
CSS
ATOM/RSS
SQL
HTTP
微格式
可移植的执行体- pefile - 一个多平台的用于解析和处理可移植执行体(即PE)文件的模块。
PSD- psd-tools - 将Adobe Photoshop PSD(即PE)文件读取到Python数据结构。
自然语言处理
处理人类语言问题的库。
浏览器自动化与仿真
-
selenium - 自动化真正的浏览器(Chrome浏览器,火狐浏览器,Opera浏览器,IE浏览器)。
-
Ghost.py - 对PyQt的webkit的封装(需要PyQT)。
-
Spynner - 对PyQt的webkit的封装(需要PyQT)。
-
Splinter - 通用API浏览器模拟器(selenium web驱动,Django客户端,Zope)。
多重处理
异步
异步网络编程库
队列
云计算
电子邮件
电子邮件解析库
网址和网络地址操作
解析/修改网址和网络地址库。
-
furl - 一个小的Python库,使得操纵URL简单化。
-
purl - 一个简单的不可改变的URL以及一个干净的用于调试和操作的API。
-
urllib.parse - 用于打破统一资源定位器(URL)的字符串在组件(寻址方案,网络位置,路径等)之间的隔断,为了结合组件到一个URL字符串,并将“相对URL”转化为一个绝对URL,称之为“基本URL”。
-
tldextract - 从URL的注册域和子域中准确分离TLD,使用公共后缀列表。
网页内容提取
提取网页内容的库。
WebSocket
用于WebSocket的库。
DNS解析
- dnsyo - 在全球超过1500个的DNS服务器上检查你的DNS。
- pycares - c-ares的接口。c-ares是进行DNS请求和异步名称决议的C语言库。
计算机视觉
代理服务器
- shadowsocks – 一个快速隧道代理,可帮你穿透防火墙(支持TCP和UDP,TFO,多用户和平滑重启,目的IP黑名单)。
- tproxy - tproxy是一个简单的TCP路由代理(第7层),基于Gevent,用Python进行配置。
其他Python工具列表
参考: