NodeJS写个爬虫，把文章放到kindle中阅读

var http = require("http");

var url = "http://www.alloyteam.com/";
var data = "";

// 创建一个请求
var req = http.request(url, function(res){
    // 设置显示编码
    res.setEncoding("utf8");
    // 数据是 chunked 发送，意思就是一段一段发送过来的
    // 我们使用 data 给他们串接起来
    res.on('data', function(chunk){
        data += chunk;
    });
    // 响应完毕时间出发，输出 data
    res.on('end', function(){
        // dealData(data);
        console.log(data);
    });
});

// 发送请求
req.end();

// function dealData
var reg = /<ul\s+class="articlemenu">\s+<li>\s+<a[^>]*>.*?<\/a>\s+<a href="(.*?)"[^>]*>(.*?)<\/a>[\s\S]*?<div\s+class="text">([\s\S]*?)<\/div>/g;
var res = [];
while(match = reg.exec(data)) {
    res.push({
        "url": match[1],
        "title": match[2],
        "excerpt": match[3]
    });
}

reg.exec(data);

[{
    "url: url,
    "title": title,
    "excerpt" excerpt
}];

var excerpt = excerpt.replace(/(<.*?>)((.*?)(<.*?>))?/g, "$3");

excerpt = excerpt.slice(0, 120);

[title](url)
> excerpt

var str = "";
for(var i = 0, len = data.length; i < len; i++){
    str += "[" + data[i].title + "](" + data[i].url + ")\n" + data[i].excerpt.replace("\n\s*\n?", ">\n") + "\n\n";
}

fs.writeFile('index.md', str, function (err) {
    if (err) throw err;
    console.log('数据已保存～');
});

node spider.js