AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

C#解析HTML DOM解析类 HtmlParser.Net 下载

2017-09-03 1459
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
全局流量管理 GTM，标准版 1个月
公共DNS（含HTTPDNS解析），每月1000万次HTTP解析
云解析 DNS，旗舰版 1个月
简介：

背景：

HTMLParser原本是一个在sourceforge上的一个Java开源项目，使用这个Java类库可以用来线性地或嵌套地解析HTML文本。他的 功能强大和开源等特性吸引了大量Web信息提取的工作者。然而，许多.net开发者朋友一直在寻找一种能在.net中使用的HTMLParser类库，笔 者将介绍Winista.HTMLParser类库，对比于其他原本数量就非常少的.net版HTMLParser类库，Winista的版本的类库结构 可以说更接近于原始Java版本。
该类库目前分为Utltimate、Pro、Lite和Community四个版本，前三个版本都是收费的。只有Community版本可以免费下载并查看所有的源码。

（一）Filter类
Filter一看就知道，肯定是对结果进行过滤，取得需要的内容。HTMLParser在org.htmlparser.filters包之内一共界说了16个差别的Filter，也可以分为几类。
判定类Filter：
TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter
逻辑运算Filter：
AndFilter
NotFilter
OrFilter
XorFilter
其他Filter：
NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter

所有的Filter类都实现了org.htmlparser.NodeFilter接口。这个接口只有一个主要函数：
boolean accept (Node node);
各个子类分别实现这个函数，用于判定输入的Node是否相符这个Filter的过滤条件，假如相符，返回true，不然返回false。

（二）判定类Filter
2.1 TagNameFilter
TabNameFilter是最轻易理解的一个Filter，凭据Tag的名字进行过滤。

下面是用于测试的HTML文件：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>新灵感网站自动更新系统-www.xinlg.com</title>< /head>
<html xmlns="http://www.w3.org/1999/xhtml">
<body >
<div id="top_main">
<div id="logoindex">
<!--这是注释-->
新灵感网站自动更新系统-www.xinlg.com
<a href="http://www.xinlg.com">新灵感网站自动更新系统-www.xinlg.com</a>
</div>
新灵感网站自动更新系统-www.xinlg.com
</div>
</body>
</html>
测试源代码：（这里只列出了Main函数，全部源代码请参考 HTMLParser使用入门（2）- Node内容，自己添加import局部）
public static void main(String[] args) {

try{
Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );

// 这里是控制测试的局部，后面的例子修改的就是这个地方。
NodeFilter filter = new TagNameFilter ("DIV");
NodeList nodes = parser.extractAllNodesThatMatch(filter);

if(nodes!=null) {
for (int i = 0; i < nodes.size(); i++) {
Node textnode = (Node) nodes.elementAt(i);

message("getText:"+textnode.getText());
message("=================================================");
}
}
}
catch( Exception e ) {
e.printStackTrace();
}
}
输出结果：
getText:div id="top_main"
=================================================
getText:div id="logoindex"
=================================================
可以看出文件中两个Div节点都被取出了。下面可以针对这两个DIV节点进行操纵.

2.2 HasChildFilter
下面让我们看看HasChildFilter。方才看到这个Filter的时候，我想虽然地认为这个Filter返回的是有Child的Tag。直接初始化了一个
NodeFilter filter = new HasChildFilter();
结果挪用NodeList nodes = parser.extractAllNodesThatMatch(filter);的时候HasChildFilter内部直接产生 NullPointerException。读了一下HasChildFilter的源代码，才发觉，实际HasChildFilter是返回有相符条件的子节点的节点，需要另外一个Filter作为过滤子节点的参数。缺省的结构函数虽然可以初始化，但是由于子节点的Filter是null，所以使用的时候产生了Exception。从这点来看，HTMLParser的源代码还有很多可以优化的的地方。呵呵。

修改源代码：
NodeFilter innerFilter = new TagNameFilter ("DIV");
NodeFilter filter = new HasChildFilter(innerFilter);
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:body
=================================================
getText:div id="top_main"
=================================================
可以看到，输出的是两个有DIV子Tag的Tag节点。（body有子节点DIV "top_main"，"top_main"有子节点"logoindex"。

注重HasChildFilter还有一个结构函数：
public HasChildFilter (NodeFilter filter, boolean recursive)
假如recursive是false，则只对第一级子节点进行过滤。好比前面的例子，body和top_main都是在第一级的子节点里就有DIV节点，所以匹配上了。假如我们用下面的要领挪用：
NodeFilter filter = new HasChildFilter( innerFilter, true );
输出结果：
getText:html xmlns="http://www.w3.org/1999/xhtml"
=================================================
getText:body
=================================================
getText:div id="top_main"
=================================================
可以看到输出结果中多了一个html xmlns="http://www.w3.org/1999/xhtml"，这个是整个HTML页面的节点（根节点），虽然这个节点下直接没有DIV节点，但是它的子节点body下面有DIV节点，所以它也被匹配上了。

2.3 HasAttributeFilter
HasAttributeFilter有3个结构函数：
public HasAttributeFilter ();
public HasAttributeFilter (String attribute);
public HasAttributeFilter (String attribute, String value);
这个Filter可以匹配出包括制命名字的属性，或者制定属性为指定值的节点。还是用例子说明比较轻易。

挪用要领1:
NodeFilter filter = new HasAttributeFilter();
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：

什么也没有输出。

挪用要领2:
NodeFilter filter = new HasAttributeFilter( "id" );
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:div id="top_main"
=================================================
getText:div id="logoindex"
=================================================

挪用要领3:
NodeFilter filter = new HasAttributeFilter( "id", "logoindex" );
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:div id="logoindex"
=================================================

很简单吧。呵呵

2.4 其他判定列Filter
HasParentFilter和HasSiblingFilter的效用与HasChildFilter类似，大众自己试一下就应该了解了。

IsEqualFilter的结构函数参数是一个Node：
public IsEqualFilter (Node node) {
mNode = node;
}
accept函数也很简单：
public boolean accept (Node node) {
return (mNode == node);
}
不需要过多说明了。


（三）逻辑运算Filter
前面介绍的都是简单的Filter，只能针对某种简单类型的条件进行过滤。HTMLParser支持对付简单类型的Filter进行组合，从而实现纷乱的条件。原理和一般编程语言的逻辑运算是一样的。
3.1 AndFilter
AndFilter可以把两种Filter进行组合，只有同时满足条件的Node才会被过滤。
测试源代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new AndFilter(filterID, filterChild);
输出结果：
getText:div id="logoindex"
=================================================

3.2 OrFilter
把前面的AndFilter换成OrFilter
测试源代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new OrFilter(filterID, filterChild);
输出结果：
getText:div id="top_main"
=================================================
getText:div id="logoindex"
=================================================

3.3 NotFilter
把前面的AndFilter换成NotFilter
测试源代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new NotFilter(new OrFilter(filterID, filterChild));
输出结果：
getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
=================================================
getText:

=================================================
getText:head
=================================================
getText:meta http-equiv="Content-Type" content="text/html; charset=gb2312"
=================================================
getText:title
=================================================
getText:新灵感网站自动更新系统-www.xinlg.com
=================================================
getText:/title
=================================================
getText:/head
=================================================
getText:

=================================================
getText:html xmlns="http://www.w3.org/1999/xhtml"
=================================================
getText:

=================================================
getText:body
=================================================
getText:

=================================================
getText:

=================================================
getText:

=================================================
getText:这是注释
=================================================
getText:
新灵感网站自动更新系统-www.xinlg.com

=================================================
getText:a href="http://www.xinlg.com"
=================================================
getText:新灵感网站自动更新系统-www.xinlg.com
=================================================
getText:/a
=================================================
getText:

=================================================
getText:/div
=================================================
getText:
新灵感网站自动更新系统-www.xinlg.com

=================================================
getText:/div
=================================================
getText:

=================================================
getText:/body
=================================================
getText:

=================================================
getText:/html
=================================================
getText:

=================================================

除了前面3.2中输出的几个Tag，其余的Tag都在这里了。


3.4 XorFilter
把前面的AndFilter换成NotFilter
测试源代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new XorFilter(filterID, filterChild);
输出结果：
getText:div id="top_main"
=================================================

（四）其他Filter：
4.1 NodeClassFilter
这个Filter用于判定节点类型是否是某个特定的Node类型。在HTMLParser使用入门（2）- Node内容中我们已经了解了Node的差别类型，这个Filter就可以针对类型进行过滤。
测试源代码：
NodeFilter filter = new NodeClassFilter(RemarkNode.class);
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:这是注释
=================================================
可以看到只有RemarkNode（注释）被输出了。

4.2 StringFilter
这个Filter用于过滤显示字符串中包括制定内容的Tag。注重是可显示的字符串，不可显示的字符串中的内容（例如注释，链接等等）不会被显示。
修改一下例子源代码：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>新灵感网站自动更新系统-title-www.xinlg.com</title>& lt;/head>
<html xmlns="http://www.w3.org/1999/xhtml">
<body >
<div id="top_main">
<div id="logoindex">
<!--这是注释 新灵感网站自动更新系统-www.xinlg.com -->
新灵感网站自动更新系统-字符串1-www.xinlg.com
<a href="http://www.xinlg.com">新灵感网站自动更新系统-链接文本-www.xinlg.com</a>
</div>
新灵感网站自动更新系统-字符串2-www.xinlg.com
</div>
</body>
</html>

测试源代码：
NodeFilter filter = new StringFilter("www.xinlg.com");
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:新灵感网站自动更新系统-title-www.xinlg.com

=================================================
getText:
新灵感网站自动更新系统-字符串1-www.xinlg.com

=================================================
getText:新灵感网站自动更新系统-链接文本-www.xinlg.com

=================================================
getText:
新灵感网站自动更新系统-字符串2-www.xinlg.com
=================================================
可以看到包括title，两个内容字符串和链接的文本字符串的Tag都被输出了，但是注释和链接Tag自己没有输出。

4.3 LinkStringFilter
这个Filter用于判定链接中是否包括某个特定的字符串，可以用来过滤出指向某个特定网站的链接。
测试源代码：
NodeFilter filter = new LinkStringFilter("www.xinlg.com");
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:a href="http://www.xinlg.com"
=================================================

4.4 其他几个Filter
其他几个Filter也是凭据字符串对差别的域进行判定，与前面这些的区别主要就是支持正则表达式。这个不在本文的讨论范畴以内，大众可以自己实验一下。




本文转自黄聪博客园博客，原文链接：http://www.cnblogs.com/huangcong/p/5142919.html，如需转载请自行联系原作者

文章标签：
云解析DNS
C#
JavaScript
Java
开发者
关键词：
云解析DNS html
解析HTML
HTML下载
C#解析
云解析DNS下载
老朱教授
目录
相关文章
光明顶阳顶天
|
4月前
|
JavaScript 前端开发 Go
CSS 与 JS 对 DOM 解析和渲染的影响
【10月更文挑战第16天】CSS 和 JS 会在一定程度上影响 DOM 解析和渲染，了解它们之间的相互作用以及采取适当的优化措施是非常重要的。通过合理的布局和加载策略，可以提高网页的性能和用户体验，确保页面能够快速、流畅地呈现给用户。在实际开发中，要根据具体情况进行权衡和调整，以达到最佳的效果。
光明顶阳顶天
85 1
TENGZO
|
2月前
|
数据可视化 数据挖掘 BI
团队管理者必读：高效看板类协同软件的功能解析
在现代职场中，团队协作的效率直接影响项目成败。看板类协同软件通过可视化界面，帮助团队清晰规划任务、追踪进度，提高协作效率。本文介绍看板类软件的优势，并推荐五款优质工具：板栗看板、Trello、Monday.com、ClickUp 和 Asana，助力团队实现高效管理。
TENGZO
71 2
卓伊凡
|
5天前
|
前端开发
【2025优雅草开源计划进行中01】-针对web前端开发初学者使用-优雅草科技官网-纯静态页面html+css+JavaScript可直接下载使用-开源-首页为优雅草吴银满工程师原创-优雅草卓伊凡发布
【2025优雅草开源计划进行中01】-针对web前端开发初学者使用-优雅草科技官网-纯静态页面html+css+JavaScript可直接下载使用-开源-首页为优雅草吴银满工程师原创-优雅草卓伊凡发布
卓伊凡
24 1
【2025优雅草开源计划进行中01】-针对web前端开发初学者使用-优雅草科技官网-纯静态页面html+css+JavaScript可直接下载使用-开源-首页为优雅草吴银满工程师原创-优雅草卓伊凡发布
小白学大数据
|
4天前
|
数据采集 前端开发 API
SurfGen爬虫：解析HTML与提取关键数据
SurfGen爬虫：解析HTML与提取关键数据
小白学大数据
42 6
小王老师呀
|
3月前
|
XML 数据采集 数据格式
Python 爬虫必备杀器，xpath 解析 HTML
【11月更文挑战第17天】XPath 是一种用于在 XML 和 HTML 文档中定位节点的语言，通过路径表达式选取节点或节点集。它不仅适用于 XML，也广泛应用于 HTML 解析。基本语法包括标签名、属性、层级关系等的选择，如 `//p` 选择所有段落标签，`//a[@href=&#39;example.com&#39;]` 选择特定链接。在 Python 中，常用 lxml 库结合 XPath 进行网页数据抓取，支持高效解析与复杂信息提取。高级技巧涵盖轴的使用和函数应用，如 `contains()` 用于模糊匹配。
小王老师呀
90 7
大树营养快线
|
3月前
|
XML JavaScript 前端开发
如何解析一个 HTML 文本
【10月更文挑战第23天】在实际应用中，根据具体的需求和场景，我们可以灵活选择解析方法，并结合其他相关技术来实现高效、准确的 HTML 解析。随着网页技术的不断发展，解析 HTML 文本的方法也在不断更新和完善，
大树营养快线
98 5
lqj_本人
|
3月前
|
JavaScript API 开发工具
＜大厂实战场景＞ ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念，然后详细介绍了使用 `http` 和 `html` 库的步骤，包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例，展示了如何从 URL 获取 HTML 并提取特定信息，如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
lqj_本人
156 1
龙大吉
|
4月前
|
存储 Java API
详细解析HashMap、TreeMap、LinkedHashMap等实现类，帮助您更好地理解和应用Java Map。
【10月更文挑战第19天】深入剖析Java Map：不仅是高效存储键值对的数据结构，更是展现设计艺术的典范。本文从基本概念、设计艺术和使用技巧三个方面，详细解析HashMap、TreeMap、LinkedHashMap等实现类，帮助您更好地理解和应用Java Map。
龙大吉
96 3
游客44yag4ft7nckq
|
4月前
|
XML 数据格式
HTML 实例解析
本文介绍了HTML中常见元素的使用方法，包括`&lt;p&gt;`、`&lt;body&gt;`和`&lt;html&gt;`等。详细解析了这些元素的结构和作用，并强调了正确使用结束标签的重要性。此外，还提到了空元素的使用及大小写标签的规范。
游客44yag4ft7nckq
29 1
AIweker
|
4月前
|
XML 前端开发 数据格式
Beautiful Soup 解析html | python小知识
在数据驱动的时代，网页数据是非常宝贵的资源。很多时候我们需要从网页上提取数据，进行分析和处理。Beautiful Soup 是一个非常流行的 Python 库，可以帮助我们轻松地解析和提取网页中的数据。本文将详细介绍 Beautiful Soup 的基础知识和常用操作，帮助初学者快速入门和精通这一强大的工具。【10月更文挑战第11天】
AIweker
114 2

热门文章

最新文章

  • 1
    【Azure Developer】.NET Aspire 项目本地调试遇 Grpc.Core.RpcException 异常( Error starting gRPC call ... )
  • 2
    yum install -y net-snmp-devel 安装不成功 zabbix项目安装，Errors during downloading metadata for repository ‘extras-common’:问题解决方案-优雅草卓伊凡
  • 3
    高性能网络SIG双月度动态： 三年磨一剑，virtio-net AF_XDP 完成 Linux 主线零拷贝支持
  • 4
    RT-DETR改进策略【Neck】| ArXiv 2023，基于U - Net v2中的的高效特征融合模块：SDI（Semantics and Detail Infusion）
  • 5
    RT-DETR改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络，加强细节特征的提取和融合
  • 6
    YOLOv11改进策略【Neck】| ArXiv 2023，基于U - Net v2中的的高效特征融合模块：SDI（Semantics and Detail Infusion）
  • 7
    YOLOv11改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络，加强细节特征的提取和融合
  • 8
    超好看的404提示页面HTML源码
  • 9
    【01】完成新年倒计时页面-蛇年新年快乐倒计时领取礼物放烟花html代码优雅草科技央千澈写采用html5+div+CSS+JavaScript-优雅草卓伊凡-做一条关于新年的代码分享给你们-为了C站的分拼一下子
  • 10
    可爱狗狗的404动画HTML源码
  • 1
    JavaScript 与 DOM 交互的基础及进阶技巧，涵盖 DOM 获取、修改、创建、删除元素的方法，事件处理，性能优化及与其他前端技术的结合，助你构建动态交互的网页应用
    87
  • 2
    虚拟 DOM 如何提高应用的性能？
    56
  • 3
    虚拟 DOM 是如何避免频繁重绘的？
    46
  • 4
    判断哪些数据的变化需要触发虚拟 DOM 的更新
    102
  • 5
    js中DOM的基础方法
    120
  • 6
    .js的dom元素操作
    80
  • 7
    除了事件委托，还有哪些处理大量 DOM 元素的方法？
    55
  • 8
    写一个使用事件委托处理大量 DOM 元素的案例
    57
  • 9
    在跨平台虚拟 DOM 框架中处理动画效果
    123
  • 10
    跨平台的虚拟 DOM 实现方式
    75

    • 相关课程

    更多
  • HTML基础入门学习
  • HTML5 新特性教程
  • 零基础学前端HTML+CSS
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计

    • 相关电子书

    更多
  • 阿里云HBase产品体系架构及特性解析
  • ECS块存储产品全面解析
  • 天猫HTML5互动技术实践

    • 相关实验场景

    更多
  • 通过云拨测对指定服务器进行Ping/DNS监测
  • Html5和Webpack3：Webpack5的常见用法
  • Html5和Webpack2：Webpack5打包JS和样式表
  • Html5和Webpack1：Webpack5打包工具介绍
  • HTML及前端框架

    • 推荐镜像

    更多
  • DNS
  • NTP
  • kali-security
    • 下一篇
    PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型