开发者社区> 问答> 正文

国内有比较好用的数据采集软件吗?

听说梦蝶数据还不错,数据爬取30秒就可以上手,有人有更多的了解吗?

展开
收起
梦蝶数据 2019-04-08 16:22:13 2517 0
2 条回答
写回答
取消 提交回答
  • 可以试试简数采集,可视化点选设置采集规则,容易上手~

    2022-05-26 18:03:15
    赞同 展开评论 打赏
  • 熊猫采集就挺好啊,我写论文需要收集数据,就是用熊猫采集的。熊猫采集软件虽然操作简便,但也兼顾通用性、复杂性。可以适用各种特殊场合,力求满足用户各种特殊要求。软件针对常规应用做了大量简化操作和智能化的自动辅助功能,同时一并保留了复杂情况下的操作设置通道。同样,这些复杂操作依旧不需要使用正则表达式技术,系统也尽可能的做了操作优化,例如对于post页面的post变量可以实现自动取值。 为了方便采集软件使用新手能顺利操作,同时也为了提高采集项目设置的效率,软件帮助用户实现一些采集设置的自动设置工作,例如可以自动为用户找到分页(翻页)链接所在,并自动设置好分页(翻页)链接参数;可以分离参考页面的框架内容和核心内容;自动实现分页内容的合并整理;等等。只是一些关键性的设置操作必须要由自己来决定。 很多网站都针对采集行为作了各种干扰措施,传统的采集工具都是依赖分析网页源码,利用正则表达式技术从网页源码中抽取特殊内容。而熊猫则完全不同,利用的是仿浏览器解析技术,因此这些反采集的干扰措施对熊猫基本无效。

    软件机器人是目前比较前沿的软件数据对接技术,即能采集客户端软件数据,也能采集网站网站中的软件数据。 常见的是博为小帮软件机器人,产品设计原则为“所见即所得”,即不需要软件厂商配合的情况下,采集软件界面上的数据,输出的结果是结构化的数据库或者excel表。 如果只需要界面上的业务数据,或者遇到软件厂商不配合/倒闭、数据库分析困难的情况下, 利用软件机器人采集数据更可取,尤其是详情页数据的采集功能比较有特色。 值得一提的是,小帮软件机器人的使用门槛很低与费用相对低,即使没有IT背景的业务人员也能使用,大大拓展了使用的人群。 软件机器人的技术特点如下: ①无需原软件厂商配合;②兼容性强,可采集汇聚Windows平台各种软件系统数据;③输出结构化数据;④即配即用,实施周期短、简单高效;⑤配置简单,不用编程,每个人都可以DIY一个软件机器人;⑥价格相对人工和接口,降低不少。 缺点:采集软件数据的实时性有一定限制。

    目前来说,只用过捷豹数据采集软件,是一款不错的软件,客服很热情,最近新了,功能全面。

    此答案来源于网络,希望对您有所帮助。

    2019-09-18 19:44:32
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
新一代自动化渗透平台的设计与实现 立即下载
《云上奥运:云端奥林匹克》报告 立即下载
搜狗商业云平台实践与思考 立即下载