AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

python网络编程学习笔记（8）：XML生成与解析（DOM、ElementTree）

2012-10-17 969
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 转载请注明：@小五义http://www.cnblogs.com/xiaowuyi xml.dom篇     DOM是Document Object Model的简称，XML 文档的高级树型表示。该模型并非只针对 Python，而是一种普通XML 模型。

转载请注明：@小五义http://www.cnblogs.com/xiaowuyi

xml.dom篇

    DOM是Document Object Model的简称，XML 文档的高级树型表示。该模型并非只针对 Python，而是一种普通XML 模型。Python 的 DOM 包是基于 SAX 构建的，并且包括在 Python 2.0 的标准 XML 支持里。

一、xml.dom的简单介绍

１、主要方法：

minidom.parse(filename)：加载读取XML文件

doc.documentElement：获取XML文档对象

node.getAttribute(AttributeName)：获取XML节点属性值

node.getElementsByTagName(TagName)：获取XML节点对象集合

node.childNodes ：返回子节点列表。

node.childNodes[index].nodeValue：获取XML节点值

node.firstChild：访问第一个节点，等价于pagexml.childNodes[0]

返回Node节点的xml表示的文本：

doc = minidom.parse(filename)

doc.toxml('UTF-8')

访问元素属性：

Node.attributes["id"]
a.name #就是上面的 "id"
a.value #属性的值 
２、举例说明

例１：文件名：book.xml

<?xml version="1.0" encoding="utf-8"?>
<info>
   <intro>Book message</intro>
    <list id='001'>
        <head>bookone</head>
        <name>python check</name>
        <number>001</number>
        <page>200</page>
    </list>

    <list id='002'>
        <head>booktwo</head>
        <name>python learn</name>
        <number>002</number>
        <page>300</page>
    </list>

</info>

 

（１）创建ＤＯＭ对象

import xml.dom.minidom
dom1=xml.dom.minidom.parse('book.xml')

 

（２）获取根字节

root=dom1.documentElement #这里得到的是根节点
print root.nodeName,',',root.nodeValue,',',root.nodeType

返回结果为：

info , None , 1

其中:

info是指根节点的名称root.nodeName

None是指根节点的值root.nodeValue

１是指根节点的类型root.nodeType,更多节点类型如下表：

 

NodeType

Named Constant

1

ELEMENT_NODE

2

ATTRIBUTE_NODE

3

TEXT_NODE

4

CDATA_SECTION_NODE

5

ENTITY_REFERENCE_NODE

6

ENTITY_NODE

7

PROCESSING_INSTRUCTION_NODE

8

COMMENT_NODE

9

DOCUMENT_NODE

10

DOCUMENT_TYPE_NODE

11

DOCUMENT_FRAGMENT_NODE

12

NOTATION_NODE

（3）子元素、子节点的访问

Ａ、返回root子节点列表

import xml.dom.minidom
dom1=xml.dom.minidom.parse('book.xml')
root=dom1.documentElement
#print root.nodeName,',',root.nodeValue,',',root.nodeType
print root.childNodes

运行结果为：

[<DOM Text node "u'\n   '">, <DOM Element: intro at 0x124ef58>, <DOM Text node "u'\n    '">, <DOM Element: list at 0x1254058>, <DOM Text node "u'\n\n    '">, <DOM Element: list at 0x1254418>, <DOM Text node "u'\n\n'">]

Ｂ、获取XML节点值，如返回根节点下第二个子节点intro的值和名字，添加下面一句

print root.childNodes[1].nodeName,root.childNodes[1].nodeValue

 

运行结果为：

intro None

Ｃ、访问第一个节点

print root.firstChild.nodeName

运行结果为：

#text

Ｄ、获取已经知道的元素名字的值，如要获取intro后的book message可以使用下面的方法：

import xml.dom.minidom
dom1=xml.dom.minidom.parse('book.xml')
root=dom1.documentElement
#print root.nodeName,',',root.nodeValue,',',root.nodeType
node= root.getElementsByTagName('intro')[0]
for node in node.childNodes:
    if node.nodeType in (node.TEXT_NODE,node.CDATA_SECTION_NODE):
        print node.data

 

这种方法的不足之处是需要对类型进行判断，使用起来不是很方便。运行结果是：

Book message

二、ＸＭＬ解析

对上面的xml进行解析

方法1 代码如下：

#@小五义 http://www.cnblogs.com/xiaowuyi
#xml 解析

import xml.dom.minidom
dom1=xml.dom.minidom.parse('book.xml')
root=dom1.documentElement
book={}
booknode=root.getElementsByTagName('list')
for booklist in booknode:
    print '='*20
    print 'id:'+booklist.getAttribute('id')
    for nodelist in  booklist.childNodes:
        if nodelist.nodeType ==1:
            print nodelist.nodeName+':',
        for node in nodelist.childNodes:
            print node.data

运行结果为：

====================
id:001
head: bookone
name: python check
number: 001
page: 200
====================
id:002
head: booktwo
name: python learn
number: 002
page: 300

方法二：

代码：

#@小五义 http://www.cnblogs.com/xiaowuyi
#xml 解析 

import xml.dom.minidom
dom1=xml.dom.minidom.parse('book.xml')
root=dom1.documentElement
book={}
booknode=root.getElementsByTagName('list')
for booklist in booknode:
    print '='*20
    print 'id:'+booklist.getAttribute('id')
    print 'head:'+booklist.getElementsByTagName('head')[0].childNodes[0].nodeValue.strip()
    print 'name:'+booklist.getElementsByTagName('name')[0].childNodes[0].nodeValue.strip()
    print 'number:'+booklist.getElementsByTagName('number')[0].childNodes[0].nodeValue.strip()
    print 'page:'+booklist.getElementsByTagName('page')[0].childNodes[0].nodeValue.strip()

        运行结果与方法一一样。比较上面的两个方法，方法一根据xml的树结构进行了多次循环，可读性上不及方法二，方法直接对每一个节点进行操作，更加清晰。为了更加方法程序的调用，可以使用一个list加一个字典进行存储，具体见方法3：

#@小五义 http://www.cnblogs.com/xiaowuyi
#xml 解析

import xml.dom.minidom
dom1=xml.dom.minidom.parse('book.xml')
root=dom1.documentElement
book=[]
booknode=root.getElementsByTagName('list')
for booklist in booknode:
    bookdict={}
    bookdict['id']=booklist.getAttribute('id')
    bookdict['head']=booklist.getElementsByTagName('head')[0].childNodes[0].nodeValue.strip()
    bookdict['name']=booklist.getElementsByTagName('name')[0].childNodes[0].nodeValue.strip()
    bookdict['number']=booklist.getElementsByTagName('number')[0].childNodes[0].nodeValue.strip()
    bookdict['page']=booklist.getElementsByTagName('page')[0].childNodes[0].nodeValue.strip()
    book.append(bookdict)
print book

运行结果为：

[{'head': u'bookone', 'page': u'200', 'number': u'001', 'id': u'001', 'name': u'python check'}, {'head': u'booktwo', 'page': u'300', 'number': u'002', 'id': u'002', 'name': u'python learn'}]

该列表里包含了两个字典。

三、建立ＸＭＬ文件

这里用方法三得到的结果，建立一个xml文件。

# -*- coding: cp936 -*-
#@小五义 http://www.cnblogs.com/xiaowuyi
#xml 创建 

import xml.dom
def create_element(doc,tag,attr):
    #创建一个元素节点
    elementNode=doc.createElement(tag)
    #创建一个文本节点
    textNode=doc.createTextNode(attr)
    #将文本节点作为元素节点的子节点
    elementNode.appendChild(textNode)
    return elementNode

dom1=xml.dom.getDOMImplementation()#创建文档对象，文档对象用于创建各种节点。
doc=dom1.createDocument(None,"info",None)
top_element = doc.documentElement# 得到根节点
books=[{'head': u'bookone', 'page': u'200', 'number': u'001', 'id': u'001', 'name': u'python check'}, {'head': u'booktwo', 'page': u'300', 'number': u'002', 'id': u'002', 'name': u'python learn'}]
for book in books:
    sNode=doc.createElement('list')
    sNode.setAttribute('id',str(book['id']))
    headNode=create_element(doc,'head',book['head'])
    nameNode=create_element(doc,'name',book['name'])
    numberNode=create_element(doc,'number',book['number'])
    pageNode=create_element(doc,'page',book['page'])
    sNode.appendChild(headNode)
    sNode.appendChild(nameNode)
    sNode.appendChild(pageNode)
    top_element.appendChild(sNode)# 将遍历的节点添加到根节点下
xmlfile=open('bookdate.xml','w')
doc.writexml(xmlfile,addindent=' '*4, newl='\n', encoding='utf-8')
xmlfile.close()

运行后生成bookdate.xml文件，该文件与book.xml一样。

 xml.etree.ElementTree篇

依然使用例1的例子，对xml进行解析分析。

1、加载XML

方法一：直接加载文件

import xml.etree.ElementTree
root=xml.etree.ElementTree.parse('book.xml')

方法二：加载指定字符串

import xml.etree.ElementTree
root = xml.etree.ElementTree.fromstring(xmltext)

这里xmltext是指定的字符串。

２、获取节点

方法一 利用getiterator方法得到指定节点

book_node=root.getiterator("list")

方法二 利用getchildren方法得到子节点,如例１中，要得到list下面子节点head的值：

#@小五义 http://www.cnblogs.com/xiaowuyi
import xml.etree.ElementTree
root=xml.etree.ElementTree.parse('book.xml')
book_node=root.getiterator("list")
for node in book_node:
    book_node_child=node.getchildren()[0]
    print book_node_child.tag+':'+book_node_child.text

运行结果为：

head:bookone
head:booktwo

方法三 使用find和findall方法

 find方法找到指定的第一个节点：

# -*- coding: cp936 -*-
#@小五义 http://www.cnblogs.com/xiaowuyi 
import xml.etree.ElementTree
root=xml.etree.ElementTree.parse('book.xml')
book_find=root.find('list')
for note in book_find:
    print note.tag+':'+note.text

 

运行结果：

head:bookone
name:python check
number:001
page:200

findall方法将找到指定的所有节点：

# -*- coding: cp936 -*-
#@小五义 http://www.cnblogs.com/xiaowuyi 
import xml.etree.ElementTree
root=xml.etree.ElementTree.parse('book.xml')
book=root.findall('list')
for book_list in book:
    for note in book_list:
        print note.tag+':'+note.text

 

运行结果：

head:bookone
name:python check
number:001
page:200
head:booktwo
name:python learn
number:002
page:300

３、对book.xml进行解析的实例

# -*- coding: cp936 -*-
#@小五义 http://www.cnblogs.com/xiaowuyi 
import xml.etree.ElementTree
root=xml.etree.ElementTree.parse('book.xml')
book=root.findall('list')
for book_list in book:
    print '='*20
    if  book_list.attrib.has_key('id'):
        print "id:"+book_list.attrib['id']
    for note in book_list:
        print note.tag+':'+note.text
print '='*20

 

运行结果为：

====================
id:001
head:bookone
name:python check
number:001
page:200
====================
id:002
head:booktwo
name:python learn
number:002
page:300
====================

 

注意：

当要获取属性值时，如list id=’001’,用attrib方法。

当要获取节点值时，如<head>bookone</head>中的bookone用text方法。

当要获取节点名时，用tag方法。

文章标签：
云解析DNS
Python
数据格式
XML
JavaScript
测试技术
机器学习/深度学习
存储
关键词：
网络解析
Python网络
Python解析
Python XML
Python网络编程
小五义
目录
相关文章
光明顶阳顶天
|
12月前
|
JavaScript 前端开发 Go
CSS 与 JS 对 DOM 解析和渲染的影响
【10月更文挑战第16天】CSS 和 JS 会在一定程度上影响 DOM 解析和渲染，了解它们之间的相互作用以及采取适当的优化措施是非常重要的。通过合理的布局和加载策略，可以提高网页的性能和用户体验，确保页面能够快速、流畅地呈现给用户。在实际开发中，要根据具体情况进行权衡和调整，以达到最佳的效果。
光明顶阳顶天
345 57
Quan_Chen
|
7月前
|
存储 Java 文件存储
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录—— logback.xml 配置文件解析
本文解析了 `logback.xml` 配置文件的详细内容，包括日志输出格式、存储路径、控制台输出及日志级别等关键配置。通过定义 `LOG_PATTERN` 和 `FILE_PATH`，设置日志格式与存储路径；利用 `&lt;appender&gt;` 节点配置控制台和文件输出，支持日志滚动策略（如文件大小限制和保存时长）；最后通过 `&lt;logger&gt;` 和 `&lt;root&gt;` 定义日志级别与输出方式。此配置适用于精细化管理日志输出，满足不同场景需求。
Quan_Chen
1813 1
奔跑的数据
|
5月前
|
机器学习/深度学习 数据采集 JavaScript
用深度学习提升DOM解析——自动提取页面关键区块
本文介绍了一次二手车数据爬虫事故的解决过程，从传统XPath方案失效到结合深度学习语义提取的成功实践。面对懂车帝平台的前端异步渲染和复杂DOM结构，通过Playwright动态渲染、代理IP隐藏身份，以及BERT模型对HTML块级语义识别，实现了稳定高效的字段提取。此方法抗结构变化能力强，适用于复杂网页数据采集，如二手车、新闻等领域。架构演进从静态爬虫到动态爬虫再到语义解析，显著提升效率与稳定性。
奔跑的数据
184 13
用深度学习提升DOM解析——自动提取页面关键区块
蓝易云
|
7月前
|
XML JavaScript Android开发
【Android】网络技术知识总结之WebView,HttpURLConnection,OKHttp,XML的pull解析方式
本文总结了Android中几种常用的网络技术，包括WebView、HttpURLConnection、OKHttp和XML的Pull解析方式。每种技术都有其独特的特点和适用场景。理解并熟练运用这些技术，可以帮助开发者构建高效、可靠的网络应用程序。通过示例代码和详细解释，本文为开发者提供了实用的参考和指导。
蓝易云
203 15
奔跑的数据
|
6月前
|
机器学习/深度学习 数据采集 存储
深度学习在DOM解析中的应用：自动识别页面关键内容区块
本文探讨了如何通过深度学习模型优化东方财富吧财经新闻爬虫的性能。针对网络请求、DOM解析与模型推理等瓶颈，采用代理复用、批量推理、多线程并发及模型量化等策略，将单页耗时从5秒优化至2秒，提升60%以上。代码示例涵盖代理配置、TFLite模型加载、批量预测及多线程抓取，确保高效稳定运行，为大规模数据采集提供参考。
奔跑的数据
142 0
游客44yag4ft7nckq
|
XML Web App开发 JavaScript
XML DOM 解析器
XML DOM 解析器
游客44yag4ft7nckq
100 3
游客44yag4ft7nckq
|
XML Web App开发 JavaScript
XML DOM 解析器
XML DOM 解析器
游客44yag4ft7nckq
95 1
游客44yag4ft7nckq
|
JavaScript
DOM 节点列表长度（Node List Length）
DOM 节点列表长度（Node List Length）
游客44yag4ft7nckq
119 6
游客44yag4ft7nckq
|
12月前
|
JavaScript
HTML DOM 节点树
HTML DOM 节点是指在 HTML 文档对象模型中，文档中的所有内容都被视为节点。整个文档是一个文档节点，每个 HTML 元素是元素节点，元素内的文本是文本节点，属性是属性节点，注释是注释节点。DOM 将文档表示为节点树，节点之间有父子和同胞关系。
游客44yag4ft7nckq
183 3
游客44yag4ft7nckq
|
12月前
|
JavaScript
HTML DOM 节点
HTML DOM（文档对象模型）将HTML文档视为节点树，其中每个部分都是节点：文档本身是文档节点，HTML元素是元素节点，元素内的文本是文本节点，属性是属性节点，注释是注释节点。节点间存在父子及同胞关系，形成层次结构。
游客44yag4ft7nckq
147 3

热门文章

最新文章

  • 1
    唯品会item_search - 按关键字搜索 VIP 商品接口深度分析及 Python 实现
  • 2
    Python爬虫技术：从基础到实战的完整教程
  • 3
    5分钟学会用Python爬取知乎热榜：从零开始的实战指南
  • 4
    唯品会 item_get - 获得 VIP 商品详情接口深度分析及 Python 实现
  • 5
    Python神技：用列表推导式让你的代码更优雅
  • 6
    告别 os.path 的繁琐：拥抱 Python 的 pathlib
  • 7
    Python字典：高效数据管理的瑞士军刀
  • 8
    VVICitem_search - 根据关键词取关键词取商品列表接口深度分析及 Python 实现
  • 9
    淘宝商品详情接口（item_get）企业级全解析：参数配置、签名机制与 Python 代码实战
  • 10
    （Python基础）新时代语言！一起学习Python吧！（一）：认识Python、Py解释器作用；编写第一个Python程序；Python中的基本数据结构
  • 1
    TCP/UDP网络编程
    75
  • 2
    Python中常用网络编程模块
    170
  • 3
    Java 网络编程
    75
  • 4
    网络编程、网络编程的三要素、TCP/UDP通信、三次握手和四次挥手
    145
  • 5
    JavaSE基础精选-网络编程
    71
  • 6
    网络编程技术文章
    69
  • 7
    【Linux 网络】网络编程套接字 -- 详解
    344
  • 8
    Python进阶---网络编程
    114
  • 9
    2024年最全BATJ真题突击：Java基础+JVM+分布式高并发+网络编程+Linux(1)，2024年最新意外的惊喜
    181
  • 10
    Python 网络编程实战：构建高效的网络应用
    194

    • 相关课程

    更多
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • 网络管理者必知-2分钟了解新出台的《网络安全法》
  • XML入门
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计

    • 相关电子书

    更多
  • Deep Dive：应用交付网络架构设计
  • Deep Dive：跨地域网络架构设计
  • Session：更加安全、可靠的数据中心网络产品更新

    • 推荐镜像

    更多
  • DNS
    • 下一篇
    阿里云oss简介和如何对接使用