AI 助理
备案控制台
开发者社区 彭世瑜的博客 文章 正文

lxml模块常用方法整理总结

2021-11-25 687
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： lxml模块常用方法整理总结

Element结构

<tag attrib >text</tag>tail
eg:
<span width="200px">标签内的文本</span>标签后的文本

lxml函数接口

lxml模块常用体系结构：

lxml.etree
    class
        XMLParser
        XMLPullParser   
        HTMLParser
        HTMLPullParser
        XPath
    function
        Comment(text=None)
        Element(_tag, attrib=None, nsmap=None, **_extra)
        ElementTree(element=None, file=None, parser=None)
        # 解析字符串
        HTML(text, parser=None, base_url=None)
        XML(text, parser=None, base_url=None)
        fromstring(text, parser=None, base_url=None)
        parse(source, parser=None, base_url=None)
        # 序列化
        tostring(element_or_tree, encoding=None, method="xml", xml_declaration=None, pretty_print=False, with_tail=True, standalone=None, doctype=None, exclusive=False, inclusive_ns_prefixes=None, with_comments=True, strip_text=False, )
        tounicode(element_or_tree, method="xml", pretty_print=False, with_tail=True, doctype=None)
        # 默认解析器lxml.etree.XMLParser
        get_default_parser() 
        set_default_parser(parser=None)
        # 修剪
        strip_attributes(tree_or_element, *attribute_names)
        strip_elements(tree_or_element, with_tail=True, *tag_names)
        strip_tags(tree_or_element, *tag_names)
lxml.etree._Element
    https://lxml.de/api/lxml.etree._Element-class.html
    addnext(self, element)
    getnext(self)
    addprevious(self, element)  
    getprevious(self)
    append(self, element)
    insert(self, index, element)
    clear(self, keep_tail=False)
    remove(self, element)
    replace(self, old_element, new_element)
    extend(self, elements)  
    find(self, path, namespaces=None)
    findall(self, path, namespaces=None)    
    findtext(self, path, default=None, namespaces=None)
    getchildren(self)
    getparent(self)
    getroottree(self)   
    index(self, child, start=None, stop=None)
    makeelement(self, _tag, attrib=None, nsmap=None, **_extra)
    # 属性操作
    items(self)
    keys(self)
    get(self, key, default=None)
    set(self, key, value)
    values(self)
    # 选择器
    cssselect(...)
    xpath(self, _path, namespaces=None, extensions=None, smart_strings=True, **_variables)
    # 属性
    attrib get(), set(), keys(), values() and items()
    base
    tag
    tail
    text
lxml.etree.ElementTree
    __init__(self, element=None, file=None)
    find(self, path, namespaces=None)
    findall(self, path, namespaces=None)
    findtext(self, path, default=None, namespaces=None)     
    getiterator(self, tag=None)
    getroot(self)
    iter(self, tag=None)
    iterfind(self, path, namespaces=None)   source code
    parse(self, source, parser=None)    source code
    write(self, file_or_filename, encoding=None, xml_declaration=None, default_namespace=None, method=None) source code
    write_c14n(self, file)
lxml.http
    https://lxml.de/api/lxml.html-module.html
    class
        HTMLParser
        HtmlComment
        HtmlElement
    function
        document_fromstring(html, parser=None, ensure_head_body=False, **kw)    source code
        fragment_fromstring(html, create_parent=False, base_url=None, parser=None, **kw)
        Element(*args, **kw)
        parse(filename_or_url, parser=None, base_url=None, **kw)
        open_in_browser(doc, encoding=None)
        fromstring(html, base_url=None, parser=None, **kw)
        tostring(doc, pretty_print=False, include_meta_content_type=False, encoding=None, method='html', with_tail=True, doctype=None)
lxml.html.html5parser:
    class   
        HTMLParser
    function
        fromstring(html, guess_charset=None, parser=None)
class HtmlElement(_Element)
    cssselect(self, expr, translator='html')
    set(self, key, value=None)

示例代码

平时用的多的是html文档处理，所以下面具体看下html相关内容

1、element <-> string 之间转换

from lxml import html
text = '<div><span><p>内容</p></span></div>'
# 文档方式 会补全body等标签
root1 = html.document_fromstring(text)
print(html.tostring(root1, encoding="unicode"))
# <html><body><div><span><p>内容</p></span></div></body></html>
# 片段方式
root2 = html.fragment_fromstring(text)
print(html.tostring(root2, encoding="unicode"))
# <div><span><p>内容</p></span></div>

另一个解析示例

from lxml.etree import ParserError
from lxml import html, etree
content = '<p>你好</p><p>世界</p><p></p>'
# 默认只能解析单个标签元素，如果是多个就自动添加一个包裹元素
try:
    tree = html.fragment_fromstring(html=content)
except ParserError:
    tree = html.fragment_fromstring(html=content, create_parent=True)
# 第三个p标签变成了自闭和标签
print(html.tostring(tree, method="xml", encoding='unicode'))
# <div><p>你好</p><p>世界</p><p/></div>
print(html.tostring(tree, method="html", encoding='unicode'))
# <div><p>你好</p><p>世界</p><p></p></div>
# 只提取其中文本 <class 'str'>
print(html.tostring(tree, method="text", encoding='unicode'))
# 你好世界
# 等价于（类型不一样），lxml.etree._ElementUnicodeResult继承自unicode
print(tree.xpath('string(.)'))
# 你好世界

2、助手函数

# 为了方便查看结果，统一使用输出函数
def log_html(element):
    print(html.tostring(element, encoding='unicode', pretty_print=True))
# 在浏览器中打开（调试用）
html.open_in_browser(root)

3、创建元素

# 创建元素 添加属性
root = html.Element('div', {'width': '23px'})
root.text = "根元素"
root.tail = "元素后面的文本"
root.base = "www.baidu.com"
log_html(root)
# <div width="23px" xml:base="www.baidu.com">根元素</div>元素后面的文本
# 获取属性 attrib是一个字典
print(root.attrib)  
# {'width': '23px', '{http://www.w3.org/XML/1998/namespace}base': 'www.baidu.com'}
print(root.text)    # 元素文本
print(root.tag)     # div
print(root.tail)    # 元素后面的文本
print(root.base)   # None
# 元素属性
print(root.keys())
# ['width']
print(root.values())
# ['23px']
print(root.items())
# [('width', '23px')]
root.set('height', '300px')
print(root.get('height'))
# 300px
root.attrib.pop('height')

4、修改元素增加、删除、替换

# 创建元素
root = html.Element('div')
# 添加子节点
p = html.Element('p')
# 追加一个元素
root.append(p)
# 追加多个元素
root.extend([html.Element('span1'), html.Element('span2')])
# 插入元素
root.insert(0, html.Element('span3'))
root.insert(2, html.Element('span4'))
# log_html(root)
"""
<div>
    <span3></span3>
    <p></p>
    <span4></span4>
    <span1></span1>
    <span2></span2>
</div>
"""
# 选择并移除节点
root.remove(root.xpath("//span1")[0])
root.remove(root.cssselect("span2")[0])
root.remove(root.xpath("//span3")[0])
# 替换节点
root.replace(root.xpath("//span4")[0], html.Element('span5'))
# 添加兄弟节点
p.addprevious(html.Element('span', text='前面'))
p.addnext(html.Element('span', text='后面'))
log_html(root)
"""
<div>
<span text="前面"></span>
<p></p>
<span text="后面"></span>
<span5></span5>
</div>
"""
# 清除所有内容
root.clear()
log_html(root)
# <div></div>
# 添加注释
tag = html.HtmlComment("注释")
root.append()
log_html(root)
# <div><!--注释--></div>
print(tag.text)  # 注释

5、元素查找

# 创建元素
text = '<div><p>p中的内容<span>span1的内容</span><span width="200px">span2的内容</span></p></div>'
root = html.fragment_fromstring(text)
# css 或 xpath查询元素
print(root.cssselect('span'))
# [<Element span>, <Element span>]
print(root.xpath('//span'))
# [<Element span >, <Element span >]
# 查找子元素
print(root.find('.//span'))
# <Element span at>
print(root.findall('.//span'))
# [<Element span at>, <Element span at>]
print(root.findtext('.//span'))
# span1的内容
# 子元素
print(root.getchildren())
# [<Element p at >]
# 父元素
span = root.xpath('//span[@width="200px"]')[0]
print(span.getparent())
# <Element p at>
# 兄弟元素
print(span.getnext())
# None
print(span.getprevious().text)
# span1的内容
# 获取根元素
print(log_html(span.getroottree()))
"""
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div><p>p中的内容<span>span1的内容</span>
<span width="200px">span2的内容</span></p></div></body></html>
"""
# 查找子元素位置
print(span.getparent().index(span))
# 1

6、etree提供的功能函数

from lxml import html, etree
# 创建元素
text = '<div><p width="200px">p中的内容<span width="200px">span的内容</span></p>p后的内容</div>'
root = html.fragment_fromstring(text)
# 移除属性
etree.strip_attributes(root, ['width'])
log_html(root)
# <div><p>p中的内容<span>span的内容</span>span后的内容</p></div>
# 元素和子元素
# etree.strip_elements(root, ['p'], with_tail=True)
# log_html(root)
# <div></div>
# 移除元素标签，保留子元素
etree.strip_tags(root, ['p'])
log_html(root)
# <div>p中的内容<span>span的内容</span>p后的内容</div>

参考

https://lxml.de/api/

文章标签：
API
编程达人
目录
相关文章
布客飞龙
|
6月前
readability-lxml 源码解析（一）
readability-lxml 源码解析（一）
布客飞龙
40 0
布客飞龙
|
6月前
|
容器
readability-lxml 源码解析（四）：总结
readability-lxml 源码解析（四）：总结
布客飞龙
69 0
Carl_奕然
|
Python
Python3，2行代码，多种方法，直接把网页内容转换成PDF文档和图片。
Python3，2行代码，多种方法，直接把网页内容转换成PDF文档和图片。
Carl_奕然
215 0
龙大吉
|
6月前
|
XML 数据采集 自然语言处理
请解释Python中的BeautifulSoup库以及它的主要用途。
BeautifulSoup是Python的HTML/XML解析库，用于数据提取和网页抓取。它简化了查找、访问和修改文档元素及属性的过程。主要用途包括Web Scraping、数据清洗、自动化测试、内容生成、网站开发和与其他库集成，如Requests和Scrapy，广泛应用于多个领域。
龙大吉
48 8
龙大吉
|
6月前
|
XML 数据采集 自然语言处理
请解释Python中的BeautifulSoup库以及它的主要用途。
请解释Python中的BeautifulSoup库以及它的主要用途。
龙大吉
143 0
小白学大数据
|
11月前
|
数据采集 JavaScript 前端开发
python动态加载内容抓取问题的解决实例
python动态加载内容抓取问题的解决实例
小白学大数据
97 1
python动态加载内容抓取问题的解决实例
极客李华
|
6月前
|
XML 数据格式 Python
python中request请求库与BeautifulSoup解析库的用法
python中request请求库与BeautifulSoup解析库的用法
极客李华
59 0
小白学大数据
|
数据采集 数据安全/隐私保护 Python
Beautifulsoup解析库使用实际案例
Beautifulsoup解析库使用实际案例
小白学大数据
105 1
EXI-小洲
|
数据采集 前端开发 Python
Python beautifulsoup4解析 数据提取 基本使用
文章目录 Python beautifulsoup4解析 数据提取 使用介绍&常用示例 前言 二、from bs4 import BeautifulSoup 1.pip install beautifulsoup4 2.Beautiful用法介绍 2.1 解析html源码创建创建Beautifulsoup对象 2.2 beautiful对象的常用属性和方法 2.3 find、find_all、CSS选择器 根据条件提取元素 3.常用代码 4.对象类型介绍 总结
EXI-小洲
175 2
Python beautifulsoup4解析 数据提取 基本使用
以山河作礼
|
XML 前端开发 数据格式
Python高阶教程—BeautifulSoup详讲
BeautifulSoup简介： Beautiful Soup 简称 BS4（其中 4 表示版本号）BeautifulSoup是一个Python库，用于从HTML和XML文件中提取数据。它提供了一些简单的方式来遍历文档树和搜索文档树中的特定元素。 BeautifulSoup可以解析HTML和XML文档，并将其转换为Python对象，使得我们可以使用Python的操作来进行数据提取和处理。它还可以处理不完整或有误的标记，并使得标记更加容易阅读。
以山河作礼
414 0