介绍
Java SpringBoot自动化网页爬虫，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台功能根据需要可定制化开发。
特性
- 支持Xpath/JsonPath/css选择器/正则提取/混搭提取
- 支持JSON/XML/二进制格式、支持代理
- 支持多数据源/SQL select/selectInt/selectOne/insert/update/delete
- 支持爬取JS动态渲染(或ajax)的页面
- 支持自动保存至数据库/文件
- 常用字符串、日期、文件、加解密等函数
- 支持插件扩展(自定义执行器，自定义方法）
- 任务监控,任务日志
- 支持HTTP接口
- 支持Cookie自动管理
- 支持自定义函数、sql脚本
项目截图
爬虫列表，可以定义为定时/手动提取方式
以获取中国气象台网页天气数据为例，添加流程，定义变量、输出项、提取表达式：
爬取流程定义完成后，点击开始测试，网页数据爬取成功。
提取到的数据可以选择保存到数据库，只需建立数据连接、表结构，对应好输出字段与表字段无需任何开发。
同时支持动态网页数据爬取，平台引入selenium插件，模拟浏览器运行获取浏览器页面的特定内容。
