提高 SNAP 网页预览图的采集速度

简介:

前言:
从写第一篇关于snap随笔的时候,我就有对此深入研究的想法,而上回和Kai.Ma 讨论了一下思路;也看到很多朋友的留言提到的采集服务,我还是决定把这些想法验证一下,看看采集速度,到底可以解决多少的问题.

思路:
首先要解决的问题是, webbrowser 运行在STA 模式下,每次采集都进行了构造和释放,所以首先避免这点,再就是,既然它是只能依靠主STA模式的线程运行的话,那就模拟多页面浏览器的机制,构造足够多的实例,让它们同步执行,然后及时地给它们派发消息,那么只要服务器带宽和内存都足够的情况下,它们可以最大程度降低并发采集所带来的性能问题.

测试 10 次结果:
目前刚出的测试结果:
输入:3百多个页面的链接,通过google搜索的,范围大
输出:250 个页面预览图 (平均)
耗时:5分钟 (平均)
内存占用: 255兆(峰值)
并发:50
无法访问的页面数:79页(平均)
处理速度(250-79):1页/1.75秒(平均)

硬件配置:
操作系统:Windows Vista Ultimate 6000
CPU:1.73 pm
内存:1GB
硬盘:60GB+80GB
显卡:ATI X700(256)
带宽: 网通 ADSL (200K/秒)下载

运行状态:



这类采集有几个问题是硬伤:
1.我只知道通过webbrowser来实现页面图
2.目标网站的连接下载页面速度

在服务稳定之后,将开放源码.并研究多机负载和一个站点的实例。




本文转自suifei博客园博客,原文链接:http://www.cnblogs.com/Chinasf/archive/2006/12/30/607545.html,如需转载请自行联系原作者

相关文章
|
9月前
|
数据可视化 前端开发 搜索推荐
数据可视化大屏百度地图GPS轨迹位置感知状态开发实战案例解析(百度地图jsAPI,包含缩放控件、点线覆盖物、弹窗、标注图标分类功能)
数据可视化大屏百度地图GPS轨迹位置感知状态开发实战案例解析(百度地图jsAPI,包含缩放控件、点线覆盖物、弹窗、标注图标分类功能)
184 0
|
8月前
UE4模型预览面板的冷知识
UE4模型预览面板的冷知识
40 1
UE4模型预览面板的冷知识
|
10月前
|
Java 数据库
通过窗口看世界之 界面制作如此简单-带你制作旅游观光系统界面-----效果图展示
通过窗口看世界之 界面制作如此简单-带你制作旅游观光系统界面-----效果图展示
93 0
|
定位技术 API 开发工具
百度地图开发-显示地图默认界面 03
百度地图开发-显示地图默认界面 03
229 0
百度地图开发-显示地图默认界面 03
|
定位技术 开发工具 Android开发
百度地图开发-显示实时位置信息 04
百度地图开发-显示实时位置信息 04
171 0
百度地图开发-显示实时位置信息 04
SwiftU—使用Group在多个模拟器中预览视图
SwiftU—使用Group在多个模拟器中预览视图
97 0
SwiftU—使用Group在多个模拟器中预览视图
|
编解码
根据用户浏览页面的设备和屏幕的分辨率,在页面上显示不同的页面和不同大小的图片
根据用户浏览页面的设备和屏幕的分辨率,在页面上显示不同的页面和不同大小的图片
109 0
根据用户浏览页面的设备和屏幕的分辨率,在页面上显示不同的页面和不同大小的图片
如何利用ps工具,裁量咱的素材小图标和如何获取到大小合适的素材图标呢(各自图标素材集中于一张png图片上)
如何利用ps工具,裁量咱的素材小图标和如何获取到大小合适的素材图标呢(各自图标素材集中于一张png图片上)
143 0
如何利用ps工具,裁量咱的素材小图标和如何获取到大小合适的素材图标呢(各自图标素材集中于一张png图片上)
|
定位技术
openlayers控制地图显示范围
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/gisdoer/article/details/83108903 openlaye...
2783 0