网络爬虫（2）：存储

目前我想到的存储方案有两种：单文件单页面存储和单文件多页面存储。

单文件单页面存储就是一个页面存储在一个文件中，文件名称可以使用页面编号doc_id。这种方案查找的时候容易定位，直接使用文件名就可以，缺点是会产生大量琐碎的文件，管理、冗余和查询感觉都不太方便。

单文件多页面存储即一个文件存储多个页面，写满一个文件后，自动开始写下一个。每个文件有一个编号store_file_id，在查找某一个页面的时候，通过页面的编号doc_id，可以找到对应的store_file_id及页面在文件中的位置position，然后就能找个这个页面。每个文件的大小是可以定制的，默认200M一个。一个页面的数据不会分在两个文件中，只会在一个页面写入完成后，才会发生写新文件的操作，所以存储实际的大小会是200M多几十K。

目前采用的就是单文件多页面的存储方式。其中的每个页面又按以下格式存放数据：

1. doc_id：页面文档编号，unsigned int，该页面的url的md5签名。
2. timestamp：页面的抓取时间，time_t类型。
3. is_analyzed：该页面是否已经分析，bool（short）类型。
4. url_length：该页面url的长度，unsigned int。
5. url：该页面的url，长度为url_length的char数组。
6. domain_length：域名的长度，unsigned int，类似url_length。
7. domain：域名，长度为domain_length的char数组，类似url。
8. response_length：响应的长度，unsigned int，类似url_length。
9. response：响应的内容，长度为response_length的char数组，类似url。

存储格式图示如下（单一存储文件）：

store模块中的主要函数如下：

/*
 * 初始化文件存储，在调用store_page方法前，必须先调用此方法。
 *     @store_path               存储路径
 *     @store_file_max_length    存储文件的最大长度，单位是字节
 */
extern int initial_store(char* store_path, unsigned long store_file_max_length);
/*
 * 关闭文件存储
 */
extern int close_store();
/*
 * 将页面存储到磁盘
 *     @page    要储存的页面
 */
extern int store_page(page* page);
/*
 * 取得下一个未分析的页面
 *     @page   用于存在数据的页面
 *     @return 成功返回0，出错返回－1，没有未分析的页面，返回1
 */
extern int get_page_to_parse(page* page);

initial_store和close_store这对方法用于开始和结束。initial_store会根据给出的store_path自动计算出下一个要写入的文件的编号和位置。close_store负责关闭文件指针，这两个函数在主程序中出现，且只出现一次：initial_store在出程序的开始，close_store在主程序的结束。

store_page和get_page_to_parse这对方法用于写入和读出。store_page将给出的page结构体写入文件，同时负责新存储文件的创建等。get_page_to_parse则负责读取下一个要分析的页面，存储在page指针中。get_page_to_parse还会将这次读取给出的文件在磁盘中标记为已分析。

这里的分析的含义仅指提取页面中的url。

本文转自冬冬博客园博客，原文链接：http://www.cnblogs.com/yuandong/archive/2008/06/24/Web_Spider_Store.html，如需转载请自行联系原作者