phpcms自带采集功能 需注意

简介: phpcms自带采集功能 需注意

参考 http://down.chinaz.com/try/201203/1732_1.htm

需要注意的是

(1)这个示例我是没采集到内容 他说是网页复杂还有可能是人家做了限制,我找的简答的

问题网页有可能是太复杂了,找个简单的网址

我这里找了个简单的

简单的是可以出来的

(2)phpcms默认发布时间是当前时间 如果你想抓过来的时间是当时的那个时间,需要自己配置

然后我这配置了一个发布时间,它的时间默认的是当前时间戳,如果要采集发布时间是要自己配置的

配置好点击测试 成功采集到网址 就可查看内容

测试成功就可以 点击【采集网址】->【采集内容】

 

发布内容的时候

选择对应的字段

 

点击提交就可看到导入成功

 

涉及到的表

v9_collection_history 存储采集的表  如果提示 可以清除这个表

我的规则

eyJsYXN0ZGF0ZSI6IjE1ODE2NDcwOTAiLCJzb3VyY2VjaGFyc2V0IjoidXRmLTgiLCJzb3VyY2V0eXBlIjoiMyIsInVybHBhZ2UiOiJodHRwOlwvXC8xMjcuMC4wLjFcL2dvbmdhblwvIiwicGFnZXNpemVfc3RhcnQiOiIxIiwicGFnZXNpemVfZW5kIjoiMTAiLCJwYWdlX2Jhc2UiOiIiLCJwYXJfbnVtIjoiMSIsInVybF9jb250YWluIjoiIiwidXJsX2V4Y2VwdCI6IiIsInVybF9zdGFydCI6IjwhLS1oYXZlTmV4dFBhZ2UtLT5cdCIsInVybF9lbmQiOiI8ZGl2IGNsYXNzPVwicGFnZVwiIHN0eWxlPVwidGV4dC1hbGlnbjpjZW50ZXI7IFwiPiIsInRpdGxlX3J1bGUiOiI8c3BhbiBzdHlsZT1cImxpbmUtaGVpZ2h0OjQwcHg7XCI+PHN0cm9uZz5bXHU1MTg1XHU1YmI5XTxcL3N0cm9uZz48XC9zcGFuPiIsInRpdGxlX2h0bWxfcnVsZSI6IiIsImF1dGhvcl9ydWxlIjoiIiwiYXV0aG9yX2h0bWxfcnVsZSI6IiIsImNvbWVmb3JtX3J1bGUiOiIiLCJjb21lZm9ybV9odG1sX3J1bGUiOiIiLCJ0aW1lX3J1bGUiOiI8c3BhbiBzdHlsZT1cImxpbmUtaGVpZ2h0OjQwcHg7XCI+PHN0cm9uZz5bXHU1MTg1XHU1YmI5XTxcL3N0cm9uZz48XC9zcGFuPiIsInRpbWVfaHRtbF9ydWxlIjoiIiwiY29udGVudF9ydWxlIjoiPGhyPjxcL2Rpdj5bXHU1MTg1XHU1YmI5XTwhLS1cdTRlZTVcdTRlMGJcdTY2MmZcdTVlOTVcdTkwZThcdTUxODVcdTViYjktLT4iLCJjb250ZW50X2h0bWxfcnVsZSI6IiIsImNvbnRlbnRfcGFnZV9zdGFydCI6IiIsImNvbnRlbnRfcGFnZV9lbmQiOiIiLCJjb250ZW50X3BhZ2VfcnVsZSI6IjEiLCJjb250ZW50X3BhZ2UiOiIxIiwiY29udGVudF9uZXh0cGFnZSI6IiIsImRvd25fYXR0YWNobWVudCI6IjAiLCJ3YXRlcm1hcmsiOiIwIiwiY29sbF9vcmRlciI6IjEiLCJjdXN0b21pemVfY29uZmlnIjoie1wiMFwiOntcIm5hbWVcIjpcIlxcdTUzZDFcXHU1ZTAzXFx1NjVmNlxcdTk1ZjRcIixcImVuX25hbWVcIjpcImludGltZVwiLFwicnVsZVwiOlwiXFx1NWY1NVxcdTUxNjVcXHU2NWY2XFx1OTVmNFxcdWZmMWFbXFx1NTE4NVxcdTViYjldXFx1NWY1NVxcdTUxNjVcXHU0ZWJhXCIsXCJodG1sX3J1bGVcIjpcIjxwKFtePl0qKT4oLiopPFxcXC9wPlt8XVxcclxcbjxhKFtePl0qKT4oLiopPFxcXC9hPlt8XVxcclxcbjxzY3JpcHQoW14+XSopPiguKik8XFxcL3NjcmlwdD5bfF1cXHJcXG48aWZyYW1lKFtePl0qKT4oLiopPFxcXC9pZnJhbWU+W3xdXFxyXFxuPHRhYmxlKFtePl0qKT4oLiopPFxcXC90YWJsZT5bfF1cXHJcXG48c3BhbihbXj5dKik+KC4qKTxcXFwvc3Bhbj5bfF1cXHJcXG48YihbXj5dKik+KC4qKTxcXFwvYj5bfF1cXHJcXG48aW1nKFtePl0qKT5bfF1cXHJcXG48b2JqZWN0KFtePl0qKT4oLiopPFxcXC9vYmplY3Q+W3xdXFxyXFxuPGVtYmVkKFtePl0qKT4oLiopPFxcXC9lbWJlZD5bfF1cXHJcXG48cGFyYW0oW14+XSopPiguKik8XFxcL3BhcmFtPlt8XVxcclxcbjxkaXYoW14+XSopPlt8XVxcclxcbjxcXFwvZGl2Plt8XVxcclxcbjwhLS0oW14+XSopLS0+W3xdXFxyXFxuXCJ9fSJ9

保存成txt文件

目录
相关文章
|
5月前
|
C++
spdlog 日志库部分源码说明——日志格式设定,DIY你自己喜欢的调试信息,你能调试的远比你想象的还要丰富
spdlog 日志库部分源码说明——日志格式设定,DIY你自己喜欢的调试信息,你能调试的远比你想象的还要丰富
309 6
|
5月前
|
存储 安全 PHP
安全开发-PHP应用&文件管理模块&显示上传&黑白名单类型过滤&访问控制&文件管理模块&包含&上传&遍历&写入&删除&下载&安全
安全开发-PHP应用&文件管理模块&显示上传&黑白名单类型过滤&访问控制&文件管理模块&包含&上传&遍历&写入&删除&下载&安全
|
5月前
|
JavaScript 前端开发 Java
信息打点-JS架构&框架识别&泄漏提取&API接口枚举&FUZZ&插件项目
信息打点-JS架构&框架识别&泄漏提取&API接口枚举&FUZZ&插件项目
|
6月前
|
数据建模 Linux Android开发
Mstar 9632方案调试杂项临时笔记
Mstar 9632方案调试杂项临时笔记
264 0
|
6月前
WP-AutoPostPro WordPress自动采集发布插件
WP-AutoPostPro 是目前最好用的WordPress自动采集发布插件,最大的特点是可以采集来自于任何网站的内容并自动发布到你的WordPress站点。真正做到可以采集任何网站的内容并自动发布,采集过程完全自动进行无需人工干预,并提供内容过滤、HTML标签过滤、关键词替换、自动链接、自动标签、自动下载远程图片到本地服务器、自动添加文章前缀后缀、并且可以使用微软翻译引擎将采集的文章自动翻译为各种语言进行发布。
202 0
|
监控 API
一个获取阿里云ASO上监控数据的脚本
一个获取阿里云ASO上监控数据的脚本
479 1
|
小程序 PHP
[微擎]多系统共用accesstoken修复wifi小程序文本敏感词汇检测+图片检测原生php(可用)
[微擎]多系统共用accesstoken修复wifi小程序文本敏感词汇检测+图片检测原生php(可用)
|
SQL Java 关系型数据库
从系统报表页面导出20w条数据到本地只用了4秒,我是如何做到的
最近有个学弟找到我,跟我描述了以下场景: 他们公司内部管理系统上有很多报表,报表数据都有分页显示,浏览的时候速度还可以。但是每个报表在导出时间窗口稍微大一点的数据时,就异常缓慢,有时候多人一起导出时还会出现堆溢出。 他知道是因为数据全部加载到jvm内存导致的堆溢出。所以只能对时间窗口做了限制。以避免因导出过数据过大而引起的堆溢出。最终拍脑袋定下个限制为:导出的数据时间窗口不能超过1个月。
|
数据可视化 前端开发 API
漏刻有时数据可视化大屏常见问题(11):调整api地址解除根目录安装权限适应子目录安装
漏刻有时数据可视化大屏常见问题(11):调整api地址解除根目录安装权限适应子目录安装
96 0
|
JavaScript 前端开发 开发者
网站流量日志埋点收集 —埋点代码编写—src 属性直接引入|学习笔记
快速学习网站流量日志埋点收集—埋点代码编写—src 属性直接引入
156 0
网站流量日志埋点收集 —埋点代码编写—src 属性直接引入|学习笔记
下一篇
无影云桌面