ASP.NET视频采集站核心技术分析(附送对付搜索引擎蜘蛛的贱招)

简介:

很多站长都是从做“垃圾站”起家了。什么是“垃圾站”?说白了就是采集别人的数据存入自己的数据库,加以聚合、整理、归类,或增加自己的一些小修改,然后自己做一个节目,成为自己的网站。一直以来最流行的“垃圾站”多是文章内的,因为文章内比较容易采集,而且数据量大,有利于搜索引擎。前两三年开始有人做视频采集站,甚至还有了一些很完善的视频采集系统(如马克思CMS,非常专业),也让一些站长发了一笔横财。可是随着用马克思的人越来越多,越晚开始做的站就越没搞头了,呵呵。解决方法其实也简单,就是趁现在视频采集站还不够泛滥,自己写视频采集站,不用别人做的通用系统,只需要稍微做一点SEO,搜索引擎就会照顾你咯~ o(∩_∩)o。

     下面以采集土豆为例,谈谈如何以最简单粗暴的方式采集视频。

      成功案例:http://www.kangxiyoulaile.com/( 康熙又来了)

     自从Youtube出来之后,视频采集站就根本不需要采集视频了——它只需要采集Flash播放器参数即可。

     比如以下这个视频,我们只需要采集到它的参数“K1hf2uocE1Y”就可以了。当然,为了显得更专业,我们还要采集视频的相关信息,比如视频名字、视频时长、观看次数、网友评论、内容简介等等,这都是举一反三的事了,^_^,通通都存入我们自己的数据库中!

     既然是做垃圾站,那么一定要有自己的分类。我们就把这作为起点吧!用土豆搜索功能!

搜索“康熙来了”+日期,就可以得到某日期内的“康熙来了”节目,如“康熙来了20090720”,我们就来到了http://so.tudou.com/isearch.do?kw=%BF%B5%CE%F5%C0%B4%C1%CB20090720

      明白了吧?我们定期让程序打开http://so.tudou.com/isearch.do?kw=%BF%B5%CE%F5%C0%B4%C1%CB + ‘当前日期’ 就可以了达到自动采集的效果了。

 

      如何用ASP.NET获取HTML呢?这是一个没有技术含量的问题。我们直接给代码。

/// <summary>
/// 获取网页内容
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
public static string GetHtml(string url)
{
string result = "";
try
{
WebRequest request = WebRequest.Create(url);
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("GBK"));
result = reader.ReadToEnd();
}
catch
{
result = "";
}
return result;
}

      接下来,我们分析得到的HTML。现在这个年代,大家都采用div+css,这也让我们的采集变得很容易。嘿嘿,仔细想想,土豆在采用div+css来做界面的时候,肯定会为每一个“节目”单独做一个css的class吧? 嗯,这就对了!分析源文件后,果然,我们发现在搜索节目列表中,每一个节目都采用了“pack pack_video_card”这个css的class。

     我们应该怎么做呢? 将整个源文件作为一个字符串,然后以“<div class="pack pack_video_card">” 作为分隔符,将字符串切割到一个字符串数组中。这样,在得到的字符串数组中,除了第一个字符串不是视频以外,其他的每一个字符串都包含我们需要的视频信息!

     代码如下:

string[] list=html.Split(new string[]{"<div class=\"pack pack_video_card\">"},StringSplitOptions.RemoveEmptyEntries);

      加一些简单的控制条件,然后从每一个字符串片段中提取信息放入类里。

      如采集视频缩略图:

           foreach (string s in list)
{
               begin = s.IndexOf("src")+5;
end = s.IndexOf("</a>")-4;
v.ImgUrl = s.Substring(begin, end - begin + 1);

                         …………

                         }

        

      有了这样的基础,就可以进一步封装成一些函数,便于快速采集了。如:

/// <summary>
/// 获取两个日期段之间的所有视频实体
/// </summary>
/// <param name="beginDate"></param>
/// <param name="endDate"></param>
/// <param name="everydayMax">每天的最大视频数</param>
/// <returns></returns>
public static List<Video> GetVideoByDate(DateTime beginDate, DateTime endDate,int everydayMax)
{
ByDateVideoList = new List<Video>();
DateTime dt = beginDate;
    while (dt <= endDate)
{
ByDateVideoList.AddRange(GetTopVideo(GetTudouString(dt.ToString("yyyyMMdd")),everydayMax));
dt = dt.AddDays(1);
}
return ByDateVideoList;
}

       

       还有一个小细节。土豆网采用的是GBK编码,我们如果也采用GBK编码,搜索引擎就会发现重复数据太大,所以我们必须要修改编码。假设我们的网站使用UTF8编码,如何将采集到的GBK编码数据转换成UTF8进行展示呢? 参考以下函数:

     

public static string ConvertEncoding(Encoding oldEncoding, Encoding newEncoding, string oldString)
{
byte[] oldBytes = oldEncoding.GetBytes(oldString);
byte[] newsBytes = Encoding.Convert(oldEncoding, newEncoding, oldBytes);
char[] newChars = new char[newEncoding.GetCharCount(newsBytes, 0, newsBytes.Length)];
newEncoding.GetChars(newsBytes, 0, newsBytes.Length, newChars, 0);
string newString = new string(newChars);
return newString;
}
     最后,很重要了!做一个简单的URL Rewrite,方便搜索引擎搜录。按照Google排PR的原则,离根目录越近、地址越短、get参数越少的地址更容易收录并靠前。
我们可以这样来做,在Global.asax.cs里这样写
  protected void Application_BeginRequest(object sender, EventArgs e)
        {
            robot();

            string Id = Request.Path.Substring(Request.Path.LastIndexOf('/') + 1);
            if (Id.Length==16)
            {
                Server.Transfer("~/V.aspx?Id=" + Id.Substring(0,11));
            }
        }
     这样,原本是 http://www.kangxiyoulaile.com/v.aspx?id=3IPFQqeKtKc 的地址就可以通过
http://www.kangxiyoulaile.com/3IPFQqeKtKc.aspx  来访问。把网站上所有带参数形式的内部链接都改成后者,就可以瞒过搜索引擎了。
    我们还可以贱一点,做一些针对搜索引擎的优化。例如以下代码是判断搜索引擎蜘蛛访问的。我们大可以在判断到访问者是搜索引擎蜘蛛之后,对页面数据做一些更改。。嘿嘿。。由于这招太贱了,以下不演示具体细节。稍微改改下面的代码你就可以……
 

  /// <summary>
        /// 判断蜘蛛是否来过
        /// </summary>
        /// <returns></returns>
        protected bool robot()
        {
            bool brtn = false;
            string king_robots = "mailto:Baiduspider+@Baidu%7CGooglebot@Google%7Cia_archiver@Alexa%7CIAArchiver@Alexa%7CASPSeek@ASPSeek%7CYahooSeeker@Yahoo%7Csohu-search@Sohu%7Chelp.yahoo.com/help/us/ysearch/slurp@Yahoo%7Csohu-search@SOHU%7CMSNBOT@MSN";
            string ls_spr;

            ls_spr = Request.ServerVariables["http_user_agent"].ToString();
            char[] delimiterChars = { '|' };
            char[] x = { '@' };
            string[] I1 = king_robots.Split(delimiterChars);

            for (int i = 0; i < I1.Length; i++)
            {
                string[] spider = I1[i].Split(x);
                if (ls_spr.IndexOf(spider[0].ToString()) > -1)
                {
                    brtn = true;
                    logrobots(spider[1].ToString()+"|"+Request.Path+"|");
                    break;
                }
            }
            return brtn;
        }

好了!关键的技术都分析完了,我们点到为止吧,靠大家自己了!o(∩_∩)o



本文转自 流牛木马 博客园博客,原文链接:http://www.cnblogs.com/azure/archive/2009/07/30/KangXiLaiLe_CAIJI_TUDOU_KANGXIYOULAILE_DEMO.html,如需转载请自行联系原作者

相关文章
|
12天前
|
机器学习/深度学习 人工智能 Cloud Native
洞察.NET 技术的前沿应用
【7月更文挑战第4天】**洞察.NET技术前沿:.NET Core跨平台崛起,云原生与AI应用深化。ML.NET、TensorFlow.NET助力机器学习,Xamarin与MAUI统一跨平台UI。Azure云服务支持下,.NET引领软件开发新趋势。**
25 5
|
10天前
|
存储 运维
使用Visual Studio分析.NET Dump
使用Visual Studio分析.NET Dump
|
12天前
|
人工智能 物联网 开发工具
.NET技术:多元语言、丰富库与跨平台能力引领软件开发新纪元。
`【7月更文挑战第4天】.NET技术:多元语言、丰富库与跨平台能力引领软件开发新纪元。从企业应用、云服务到游戏开发,其角色日益凸显。随着微软的持续创新与社区合作,未来.NET将在物联网、AI等领域拓宽应用,开发者应把握趋势,共创未来。`
14 0
|
12天前
|
人工智能 开发框架 Devops
.NET技术概览:** 本文探讨了.NET的核心特性,包括多语言支持、Common Language Runtime、丰富的类库和跨平台能力,强调其在企业级、Web、移动及游戏开发中的应用。
【7月更文挑战第4天】.NET技术概览:** 本文探讨了.NET的核心特性,包括多语言支持、Common Language Runtime、丰富的类库和跨平台能力,强调其在企业级、Web、移动及游戏开发中的应用。此外,讨论了.NET如何通过性能优化、DevOps集成、AI与ML支持以及开源策略应对未来挑战,为开发者提供强大工具,共创软件开发新篇章。
20 3
|
12天前
|
人工智能 前端开发 开发工具
**.NET技术概览:** 本文探讨.NET的核心优势
【7月更文挑战第4天】**.NET技术概览:** 本文探讨了.NET的核心优势,如统一开发平台、Visual Studio的强大工具、跨平台能力及丰富的类库。它在现代应用中的创新应用包括企业级、Web、移动、云服务和游戏开发。同时,面对性能优化、容器化、AI集成等挑战,.NET正寻求未来机遇,通过开源社区持续发展。开发者应抓住这些趋势,利用.NET推动软件创新。
20 1
|
12天前
|
人工智能 前端开发 Devops
NET技术在现代开发中的影响力日益增强,本文聚焦其核心价值,如多语言支持、强大的Visual Studio工具、丰富的类库和跨平台能力。
【7月更文挑战第4天】**.NET技术在现代开发中的影响力日益增强,本文聚焦其核心价值,如多语言支持、强大的Visual Studio工具、丰富的类库和跨平台能力。实际应用涵盖企业系统、Web、移动和游戏开发,以及云服务。面对性能挑战、容器化、AI集成及跨平台竞争,.NET持续创新,开发者应关注技术趋势,提升技能,并参与社区,共同推进技术发展。**
12 1
|
12天前
|
机器学习/深度学习 人工智能 开发者
.NET 技术:为开发带来新机遇
【7月更文挑战第4天】**.NET技术开启软件开发新篇章,通过跨平台革命(.NET Core, Xamarin, .NET MAUI)、云服务与微服务(Azure, DevOps, Docker)及AI集成(ML.NET, 认知服务, TensorFlow)为开发者创造新机遇。开源社区的繁荣与性能提升使.NET更具竞争力,推动智能应用的创新与发展。开发者需紧跟潮流,利用这些工具和框架构建高效、创新的解决方案。**
9 1
|
12天前
|
人工智能 前端开发 开发工具
.NET技术探析:优势、创新应用及挑战。
【7月更文挑战第4天】**.NET技术探析:优势、创新应用及挑战。本文分三部分展开,阐述了.NET作为统一多语言开发平台的核心优势,如强大的Visual Studio工具、跨平台能力与丰富的类库;探讨了其在企业级、Web、移动及游戏开发中的创新角色;并指出面临性能优化、容器化、AI集成等挑战及未来开源社区驱动的发展机遇。通过理解与应对,开发者可借助.NET推动软件开发进步。**
15 0
|
19天前
|
JSON 开发框架 前端开发
技术经验分享:ASP.NETCoreMVC打造一个简单的图书馆管理系统(修正版)(七)学生信息增删
技术经验分享:ASP.NETCoreMVC打造一个简单的图书馆管理系统(修正版)(七)学生信息增删
11 0
|
19天前
|
XML 机器学习/深度学习 移动开发
技术笔记:log4net使用详解
技术笔记:log4net使用详解
17 0