c#采集网页用得几个函数

简介: 代码 public  string GetHtmlSource(string Url, string charset)        {            if (charset == "" || charset == null) charset = "gb2312";        ...
img_405b18b4b6584ae338e0f6ecaf736533.gif 代码
public    string  GetHtmlSource( string  Url,  string  charset)
        {
            
if  (charset  ==   ""   ||  charset  ==   null ) charset  =   " gb2312 " ;
            
string  text1  =   "" ;
            
try
            {
                HttpWebRequest request1 
=  (HttpWebRequest)WebRequest.Create(Url);
                HttpWebResponse response1 
=  (HttpWebResponse)request1.GetResponse();
                Stream stream1 
=  response1.GetResponseStream();
                StreamReader reader1 
=   new  StreamReader(stream1, Encoding.GetEncoding(charset));
                text1 
=  reader1.ReadToEnd();
                stream1.Close();
                response1.Close();
            }
            
catch  (Exception exception1)
            {
            }
            
return  text1;
        }

 
public   string  SniffwebCode( string  code,  string  wordsBegin,  string  wordsEnd)
        {
            
string  NewsTitle  =   "" ;
            Regex regex1 
=   new  Regex( ""   +  wordsBegin  +   @" (?<title>[\s\S]+?) "   +  wordsEnd  +   "" , RegexOptions.Compiled  |  RegexOptions.IgnoreCase);
            
for  (Match match1  =  regex1.Match(code); match1.Success; match1  =  match1.NextMatch())
            {
                NewsTitle 
=  match1.Groups[ " title " ].ToString();
            }
            
return  NewsTitle;

        }

public  ArrayList SniffwebCodeReturnList( string  code,  string  wordsBegin,  string  wordsEnd)
        {
            ArrayList urlList 
=   new  ArrayList();
            
// string NewsTitle = "";
            Regex regex1  =   new  Regex( ""   +  wordsBegin  +   @" (?<title>[\s\S]+?) "   +  wordsEnd  +   "" , RegexOptions.Compiled  |  RegexOptions.IgnoreCase);
            
for  (Match match1  =  regex1.Match(code); match1.Success; match1  =  match1.NextMatch())
            {
                urlList.Add(match1.Groups[
" title " ].ToString());
            }
            
return  urlList;

        }

 

目录
相关文章
|
JavaScript 前端开发 Java
javascript实现像java、c#之类的sleep暂停的函数功能
javascript实现像java、c#之类的sleep暂停的函数功能
70 0
|
1月前
|
C# Python
使用wxpython开发跨平台桌面应用,对wxpython控件实现类似C#扩展函数处理的探究
【10月更文挑战第30天】使用 `wxPython` 开发跨平台桌面应用时,可以通过创建辅助类来模拟 C# 扩展函数的功能。具体步骤包括:1. 创建辅助类 `WxWidgetHelpers`;2. 在该类中定义静态方法,如 `set_button_color`;3. 在应用中调用这些方法。这种方法提高了代码的可读性和可维护性,无需修改 `wxPython` 库即可为控件添加自定义功能。但需要注意显式调用方法和避免命名冲突。
|
4月前
|
Linux C#
【Azure App Service】C#下制作的网站,所有网页本地测试运行无误,发布至Azure之后,包含CHART(图表)的网页打开报错,错误消息为 Runtime Error: Server Error in '/' Application
【Azure App Service】C#下制作的网站,所有网页本地测试运行无误,发布至Azure之后,包含CHART(图表)的网页打开报错,错误消息为 Runtime Error: Server Error in '/' Application
|
6月前
|
开发框架 .NET 程序员
掌握C#语言的精髓:基础知识与实用技能详解(数据类型与变量+ 条件与循环+函数与模块+LINQ+异常+OOP)
掌握C#语言的精髓:基础知识与实用技能详解(数据类型与变量+ 条件与循环+函数与模块+LINQ+异常+OOP)
34 0
|
7月前
|
数据采集 API C#
网页解析高手:C#和HtmlAgilityPack教你下载视频
使用C#和HtmlAgilityPack解析小红书网页,下载其视频内容。文章涵盖了解析网页、获取视频链接、C#实现、HtmlAgilityPack简化解析、代理IP确保下载稳定及多线程提高下载效率。提供的代码示例展示了如何设置代理和多线程下载视频。实验结果显示,该方法能有效、高效地下载小红书视频。
142 5
网页解析高手:C#和HtmlAgilityPack教你下载视频
|
7月前
|
网络安全 C#
C# HttpWebRequest 获取 HTTPS 网页内容
C# HttpWebRequest 获取 HTTPS 网页内容
778 0
|
7月前
|
API C# 数据安全/隐私保护
C# 实现网页内容保存为图片并生成压缩包
C# 实现网页内容保存为图片并生成压缩包
|
7月前
|
存储 C#
C#基础语法(数组和函数)
C#基础语法(数组和函数)
69 1
|
7月前
|
运维 编译器 C#
C# 9.0中的本地函数属性:深化函数级别的控制
【1月更文挑战第17天】C# 9.0引入了本地函数属性的概念,允许开发者在本地函数上应用属性,从而进一步细化对函数行为的控制。这一新特性不仅增强了代码的可读性和可维护性,还为函数级别的编程提供了更多的灵活性。本文将探讨C# 9.0中本地函数属性的用法、优势以及可能的应用场景,帮助读者更好地理解并应用这一新功能。
C#基础之Main函数
C#基础之Main函数
108 0