统计个人博客园文章数据(WPF4 版)-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

统计个人博客园文章数据(WPF4 版)

简介:

每当需要整理博客文章数据时总感觉很繁琐。虽然有许多功能强大的统计工具(例如,谷歌分析),但是仅限于加载该工具时至今的数据。对于早期未加入统计范围的博文来说就显得很不准确了。博客园管理页面中虽然也有博文详细信息,但要提取出来也很麻烦,总不能每页复制->粘贴到Excel 吧。

     看了老赵一篇关于 《按月统计博客园单个用户的发文数量》的文章后,于是决定也从“随笔档案”下手做一个自动抓取博文信息的工具,欢迎大家多多交流探讨!

工作原理

     博客园的随笔档案是按每月博文进行归总的页面,例如“http://www.cnblogs.com/gnielee/archive/2010/04.html” 会列出我在2010年4月写过的所有文章。浏览该页面的HTML 代码会看到类似下面的代码片段(代码格式在本文中调整过)。

<div class="entrylistPosttitle">
<
a id="ArchiveMonth1_Days_Entries_ctl00_TitleUrl" class="entrylistItemTitle"
href="http://www.cnblogs.com/gnielee/archive/2010/04/17/microsoft-research-rex-tool.html">
Microsoft Rex 正则表达式工具</a>
</
div> <div class="entrylistPostSummary">
&nbsp;摘要: <img src="http://images.cnblogs.com/cnblogs_com/gnielee/200730/o_channel9.jpg" class="desc_img"/> 这里都是摘要内容… …
<a href='http://www.cnblogs.com/gnielee/archive/2010/04/17/microsoft-research-rex-tool.html'>阅读全文</a></div> <div class="entrylistItemPostDesc">
posted @ <a href=http://www.cnblogs.com/gnielee/archive/2010/04/17/microsoft-research-rex-tool.html
Title = "permalink">2010-04-17 09:42</a>
Gnie 阅读(1574) | <a href=http://www.cnblogs.com/gnielee/archive/2010/04/17/microsoft-research-rex-tool.html#FeedBack
Title = "comments, pingbacks, trackbacks">评论 (35)</a>
&nbsp;<a href="http://www.cnblogs.com/gnielee/admin/EditPosts.aspx?postid=1714077">编辑</a>
</
div>

     看到这些代码后心中有稍许安慰。在<div class="entrylistPosttitle"> 中有我想要的博文“标题”和“链接地址”数据,在<div class="entrylistItemPostDesc"> 中有博文的“阅读量”和“评论量”。注,以上HTML 代码不一定实用所有博客园主题,大家可按各自主题设置自行调整正则表达式对比模式,接下来要做的就是将这些数据提取出来。

整理HTML 数据

首先通过WebClient 按月获取到随笔档案的HTML 代码,并针对标题中的一些特殊字符串(例如,&amp;)进行替换:

private string GetHtmlCode(string strUid, string strMonth)
{
    WebClient client = new WebClient();
    client.Encoding = Encoding.GetEncoding("UTF-8");
    string url = String.Format("http://www.cnblogs.com/{0}/archive/{1}.html", strUid, strMonth);
    string htmlCode = client.DownloadString(url);
    htmlCode = htmlCode.Replace("&amp;", "&");
    htmlCode = htmlCode.Replace("&lt;", "<");
    htmlCode = htmlCode.Replace("&gt;", ">");
    return htmlCode;
}

创建一个Article 类保存博文相关数据:

public class Article
{
    public string Title { get; set; }
    public  Url { get; set; }
    public int Read { get; set; }
    public int Comment { get; set; }
}

通过正则表达式比对,获取“标题”、“链接”、“阅读量”、“评论量”数据,并存入blogInfo 中:

ObservableCollection<Article> blogInfo = new ObservableCollection<Article>();
private void GetBlogData(string strDate, string strPattern)
{
    MatchCollection matchCollection = Regex.Matches(GetHtmlCode(urlText.Text.Trim(), strDate), 
strPattern, RegexOptions.IgnoreCase); foreach (Match match in matchCollection) { blogInfo.Add(new Article() { Title = match.Groups["title"].Value.Trim(), Url = new match.Groups["address"].Value.Trim()), Read = Convert.ToInt32(match.Groups["read"].Value.Trim()), Comment = Convert.ToInt32(match.Groups["comment"].Value.Trim()) }); } }

     最后,通过一个Button 事件触发以上方法,其中比较费事的就是正则表达式的定义regexPattern,将所有取到的数据与DataGrid 列表进行Binding。

private void goBtn_Click(object sender, RoutedEventArgs e)
{
    blogInfo.Clear();
    DateTime fromDate = Convert.ToDateTime(fromDatePicker.Text.Trim());
    DateTime toDate = Convert.ToDateTime(toDatePicker.Text.Trim()).Add(new TimeSpan(30, 0, 0, 0));
    if (toDate < fromDate)
    {
        MessageBox.Show("ToDate can't earlier than FromDate");
    }
    else
    {
        string datePattern;
        string regexPattern = @"<div class=""entrylistPosttitle""><a id=""[\w]+"" class=""entrylistItemTitle"" href=""(?<address>\S+)"">(?<title>[\x00-\xff\S]+?)</a></div>[\S\s]+?"
                            + @"<div class=""entrylistItemPostDesc"">[\S\s]+?\((?<read>\d+)\)[\S\s]+?\((?<comment>\d+)\)";
        while (fromDate <= toDate)
        {
            datePattern = fromDate.ToString("yyyy/MM");
            GetBlogData(datePattern, regexPattern);
            fromDate = fromDate.Add(new TimeSpan(30, 0, 0, 0));
        }
                
        int readCount = 0, commentCount = 0;
        foreach (Article blogList in blogInfo)
        {
            readCount += blogList.Read;
            commentCount += blogList.Comment;
        }
        sumLabel.Content = String.Format("Article: {0}    Read: {1}    Comment: {2}", 
            blogInfo.Count.ToString(),readCount.ToString(),commentCount.ToString());
                
        dataGrid.DataContext = blogInfo;
    }
}

     数据的抓取速度取决于随笔档案的数量和当时的网速。有时我这里上博客园很慢,那就别指望取到数据了。以下是软件截图,其中还添加了将数据导出Excel 的功能。

CnblogsData

ToExcel

相关参考

1. .NET Framework 4 Regular Expression Language Elements

2. WPF 4 DataGrid 控件(基本功能篇)

3. WPF 4 DataGrid 控件(自定义样式篇

4. WPF 4 DataGrid 控件(进阶篇一) 

源码下载

     软件本身主要涉及WPF4 的两个新控件:DatePicker、DataGrid,感兴趣的朋友可以下载源代码研究,或者再加以完善,欢迎大家拍砖交流。





本文转自Gnie博客园博客,原文链接:http://www.cnblogs.com/gnielee/archive/2010/04/21/blog-statistics-by-wpf4.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章
最新文章
相关文章