开发者社区> auqbllxiu> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

lxml模块常用方法整理总结

简介: lxml模块常用方法整理总结
+关注继续查看

Element结构

<tag attrib >text</tag>tail
eg:
<span width="200px">标签内的文本</span>标签后的文本

lxml函数接口

lxml模块常用体系结构:

lxml.etree

class
XMLParser
XMLPullParser
HTMLParser
HTMLPullParser
XPath

function
Comment(text=None)
Element(_tag, attrib=None, nsmap=None, **_extra)
ElementTree(element=None, file=None, parser=None)

# 解析字符串
HTML(text, parser=None, base_url=None)
XML(text, parser=None, base_url=None)
fromstring(text, parser=None, base_url=None)
parse(source, parser=None, base_url=None)

# 序列化
tostring(element_or_tree, encoding=None, method="xml", xml_declaration=None, pretty_print=False, with_tail=True, standalone=None, doctype=None, exclusive=False, inclusive_ns_prefixes=None, with_comments=True, strip_text=False, )
tounicode(element_or_tree, method="xml", pretty_print=False, with_tail=True, doctype=None)

# 默认解析器lxml.etree.XMLParser
get_default_parser()
set_default_parser(parser=None)

# 修剪
strip_attributes(tree_or_element, *attribute_names)
strip_elements(tree_or_element, with_tail=True, *tag_names)
strip_tags(tree_or_element, *tag_names)


lxml.etree._Element
https://lxml.de/api/lxml.etree._Element-class.html

addnext(self, element)
getnext(self)
addprevious(self, element)
getprevious(self)

append(self, element)
insert(self, index, element)
clear(self, keep_tail=False)
remove(self, element)
replace(self, old_element, new_element)

extend(self, elements)
find(self, path, namespaces=None)
findall(self, path, namespaces=None)
findtext(self, path, default=None, namespaces=None)

getchildren(self)
getparent(self)
getroottree(self)
index(self, child, start=None, stop=None)

makeelement(self, _tag, attrib=None, nsmap=None, **_extra)

# 属性操作
items(self)
keys(self)
get(self, key, default=None)
set(self, key, value)
values(self)

# 选择器
cssselect(...)
xpath(self, _path, namespaces=None, extensions=None, smart_strings=True, **_variables)

# 属性
attrib get(), set(), keys(), values() and items()
base
tag
tail
text


lxml.etree.ElementTree
__init__(self, element=None, file=None)
find(self, path, namespaces=None)
findall(self, path, namespaces=None)
findtext(self, path, default=None, namespaces=None)
getiterator(self, tag=None)
getroot(self)
iter(self, tag=None)
iterfind(self, path, namespaces=None) source code
parse(self, source, parser=None) source code
write(self, file_or_filename, encoding=None, xml_declaration=None, default_namespace=None, method=None) source code
write_c14n(self, file)



lxml.http
https://lxml.de/api/lxml.html-module.html
class
HTMLParser
HtmlComment
HtmlElement

function
document_fromstring(html, parser=None, ensure_head_body=False, **kw) source code
fragment_fromstring(html, create_parent=False, base_url=None, parser=None, **kw)
Element(args, *kw)
parse(filename_or_url, parser=None, base_url=None, **kw)
open_in_browser(doc, encoding=None)
fromstring(html, base_url=None, parser=None, **kw)
tostring(doc, pretty_print=False, include_meta_content_type=False, encoding=None, method='html', with_tail=True, doctype=None)


lxml.html.html5parser:
class
HTMLParser
function
fromstring(html, guess_charset=None, parser=None)

class HtmlElement(_Element)
cssselect(self, expr, translator='html')
set(self, key, value=None)

示例代码

平时用的多的是html文档处理,所以下面具体看下html相关内容

1、element <-> string 之间转换

from lxml import html

text = '<div><span><p>内容</p></span></div>'

# 文档方式 会补全body等标签
root1 = html.document_fromstring(text)
print(html.tostring(root1, encoding="unicode"))
# <html><body><div><span><p>内容</p></span></div></body></html>

# 片段方式
root2 = html.fragment_fromstring(text)
print(html.tostring(root2, encoding="unicode"))
# <div><span><p>内容</p></span></div>

另一个解析示例

from lxml.etree import ParserError
from lxml import html, etree

content = '<p>你好</p><p>世界</p><p></p>'

# 默认只能解析单个标签元素,如果是多个就自动添加一个包裹元素
try:
tree = html.fragment_fromstring(html=content)
except ParserError:
tree = html.fragment_fromstring(html=content, create_parent=True)

# 第三个p标签变成了自闭和标签
print(html.tostring(tree, method="xml", encoding='unicode'))
# <div><p>你好</p><p>世界</p><p/></div>

print(html.tostring(tree, method="html", encoding='unicode'))
# <div><p>你好</p><p>世界</p><p></p></div>

# 只提取其中文本 <class 'str'>
print(html.tostring(tree, method="text", encoding='unicode'))
# 你好世界

# 等价于(类型不一样),lxml.etree._ElementUnicodeResult继承自unicode
print(tree.xpath('string(.)'))
# 你好世界

2、助手函数

# 为了方便查看结果,统一使用输出函数
def log_html(element):
print(html.tostring(element, encoding='unicode', pretty_print=True))


# 在浏览器中打开(调试用)
html.open_in_browser(root)

3、创建元素


# 创建元素 添加属性
root = html.Element('div', {'width': '23px'})
root.text = "根元素"
root.tail = "元素后面的文本"
root.base = "www.baidu.com"

log_html(root)
# <div width="23px" xml:base="www.baidu.com">根元素</div>元素后面的文本

# 获取属性 attrib是一个字典
print(root.attrib)
# {'width': '23px', '{http://www.w3.org/XML/1998/namespace}base': 'www.baidu.com'}
print(root.text) # 元素文本
print(root.tag) # div
print(root.tail) # 元素后面的文本
print(root.base) # None


# 元素属性
print(root.keys())
# ['width']

print(root.values())
# ['23px']

print(root.items())
# [('width', '23px')]

root.set('height', '300px')
print(root.get('height'))
# 300px

root.attrib.pop('height')

4、修改元素增加、删除、替换

# 创建元素
root = html.Element('div')

# 添加子节点
p = html.Element('p')

# 追加一个元素
root.append(p)

# 追加多个元素
root.extend([html.Element('span1'), html.Element('span2')])

# 插入元素
root.insert(0, html.Element('span3'))
root.insert(2, html.Element('span4'))
# log_html(root)
"""
<div>
<span3></span3>
<p></p>
<span4></span4>
<span1></span1>
<span2></span2>
</div>
"""

# 选择并移除节点
root.remove(root.xpath("//span1")[0])
root.remove(root.cssselect("span2")[0])
root.remove(root.xpath("//span3")[0])

# 替换节点
root.replace(root.xpath("//span4")[0], html.Element('span5'))

# 添加兄弟节点
p.addprevious(html.Element('span', text='前面'))
p.addnext(html.Element('span', text='后面'))
log_html(root)
"""
<div>
<span text="前面"></span>
<p></p>
<span text="后面"></span>
<span5></span5>
</div>
"""

# 清除所有内容
root.clear()
log_html(root)
# <div></div>

# 添加注释
tag = html.HtmlComment("注释")
root.append()
log_html(root)
# <div><!--注释--></div>

print(tag.text) # 注释

5、元素查找

# 创建元素
text = '<div><p>p中的内容<span>span1的内容</span><span width="200px">span2的内容</span></p></div>'
root = html.fragment_fromstring(text)

# css 或 xpath查询元素
print(root.cssselect('span'))
# [<Element span>, <Element span>]

print(root.xpath('//span'))
# [<Element span >, <Element span >]

# 查找子元素
print(root.find('.//span'))
# <Element span at>

print(root.findall('.//span'))
# [<Element span at>, <Element span at>]

print(root.findtext('.//span'))
# span1的内容

# 子元素
print(root.getchildren())
# [<Element p at >]

# 父元素
span = root.xpath('//span[@width="200px"]')[0]
print(span.getparent())
# <Element p at>

# 兄弟元素
print(span.getnext())
# None

print(span.getprevious().text)
# span1的内容

# 获取根元素
print(log_html(span.getroottree()))
"""
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd";>
<html><body><div><p>p中的内容<span>span1的内容</span>
<span width="200px">span2的内容</span></p></div></body></html>
"""

# 查找子元素位置
print(span.getparent().index(span))
# 1

6、etree提供的功能函数


from lxml import html, etree

# 创建元素
text = '<div><p width="200px">p中的内容<span width="200px">span的内容</span></p>p后的内容</div>'
root = html.fragment_fromstring(text)

# 移除属性
etree.strip_attributes(root, ['width'])
log_html(root)
# <div><p>p中的内容<span>span的内容</span>span后的内容</p></div>

# 元素和子元素
# etree.strip_elements(root, ['p'], with_tail=True)
# log_html(root)
# <div></div>

# 移除元素标签,保留子元素
etree.strip_tags(root, ['p'])
log_html(root)
# <div>p中的内容<span>span的内容</span>p后的内容</div>

参考

https://lxml.de/api/

            </div>

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
lxml模块常用方法整理总结
lxml模块常用方法整理总结
0 0
Python 页面解析:Beautiful Soup库的使用
简称BS4(其中 4 表示版本号)是一个 Python 中常用的页面解析库,它可以从 HTML 或 XML 文档中快速地提取指定的数据。相比于之前讲过的lxml库,更加简单易用,不像正则和 XPath 需要刻意去记住很多特定语法,尽管那样会效率更高更直接。对大多数 Python 使用者来说,好用会比高效更重要。库为第三方库,需要我们通过pipBS4解析页面时需要依赖文档解析器,所以还需要一个文档解析器。Python 自带了一个文档解析库, 但是其解析速度稍慢,所以我们结合上篇内容(
0 0
如何美观地打印 Python 对象?这个标准库可以简单实现
使用 pprint 模块的 pprint() 替代 print(),可以解决如下痛点: • 设置合适的行宽度,作适当的换行 • 设置打印的缩进、层级,进行格式化打印 • 判断对象中是否出现无限循环,并优化打印内容 1、简单使用
0 0
python爬虫——Beautiful Soup库(数据解析)模块讲解
python爬虫——Beautiful Soup库(数据解析)模块讲解
0 0
使用python BeautifulSoup库修改文档树
使用python BeautifulSoup库修改文档树
0 0
python爬虫BeautifulSoup模块解析数据入门
python爬虫BeautifulSoup模块解析数据入门
0 0
python BeautifulSoup遍历文档树
python BeautifulSoup遍历文档树
0 0
Python 技术篇-python生成html源码功能实现演示,html代码自动生成技巧,列表生成式的灵活应用
Python 技术篇-python生成html源码功能实现演示,html代码自动生成技巧,列表生成式的灵活应用
0 0
Python读取excel三大常用模块到底谁最快,附上详细使用代码
之前分享过python调用过ppt和word,作为一家人的excel当然要整整齐齐的安排上
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Python第五讲——关于爬虫如何做js逆向的思路
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载