• 关于

    采集程序是什么

    的搜索结果

问题

用网站云 挂采集软件  刷流量的软件可以吗

ap9248i2b 2019-12-01 20:12:34 5696 浏览量 回答数 1

问题

现在做什么站适合个人站长

陈雷雷 2019-12-01 19:48:09 1244 浏览量 回答数 2

问题

Linux下如何应用程序的实时性?

杨冬芳 2019-12-01 20:20:06 848 浏览量 回答数 1

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

问题

如何用PHP采集淘宝店铺的销售数据等,或者其他方式获取? 400 报错

爱吃鱼的程序员 2020-06-04 13:12:26 0 浏览量 回答数 1

问题

等待备案这段时间写的根据关键词自动采集的程序

云代维 2019-12-01 21:22:57 6609 浏览量 回答数 13

回答

Re大家看看这个站是用什么程序做的 要采集这个站的内容吗?

老任 2019-12-02 01:01:05 0 浏览量 回答数 0

回答

用框架页应该会好点在子框架中请求采集url 每次id不同###### 顺便再加段JS var _waitTime = 2; //秒 setTimeout(function(){ self.location.href="http://index.php/?id=$nextId"; },_waitTime*1000);######谢谢,这个可以算补充,请问不知道是否还有其他方法能有效解决的!###### 引用来自“西门飞”的答案 用框架页应该会好点在子框架中请求采集url 每次id不同 请问用框架的区别是什么? ######这样子页面就不会卡住了?######主页面无刷新###### 其实很多时候不一定是技术问题,可能是网络问题,不要用PHP采集,你可以用C#做个客户端工具去采集,会好很多,灵活性也大很多 ######恩,对方的网络等都有可能产生问题!可惜偶不会C#,不然也用其他的来写了!###### 有多种可能会让你卡住。 建议使用定时执行,而不是一次疯狂执行到底。 ######恩,就是想少花点时间,就一直在执行 = =!###### 卡住的原因很多,主要可能有以下几个原因 : 1、浏览器内存容量占用问题,当一个页面不停不停的增加内容时,浏览器有可能因渲染引擎的问题而卡住 。比如你打开一个大型的JS程序,里面不停的加截图片等资源 。 2、采集远程文件时候,对方进行了限制。有些服务器为了防止 非正常用户访问,会对访问者进行拦截,比如有些页面,用户停留时间才十几MS,或一个用户有几十个HTTP请求,那么服务器会暂停返回数据 。 3、所写的采集程序挂了。 具体 是哪一个原因 ,可以写log跟一下 ######感谢,之前没有具体用log来记录,用log来记录的话能否给个思路,是怎么记录程序执行到哪步出问题的。

kun坤 2020-06-08 19:22:08 0 浏览量 回答数 0

问题

关于日志服务采集配置的问题

apple201808 2019-12-01 20:59:09 2029 浏览量 回答数 2

回答

ReRe青岛1M带宽512M内存1核cpu瓶颈在哪里?求分析 引用第4楼搞莫得于2014-09-04 14:34发表的 Re青岛1M带宽512M内存1核cpu瓶颈在哪里?求分析 : 你这是什么程序啊,CPU和网络使用率这么低,磁盘这么高. 应该是采集站

老云 2019-12-02 00:20:41 0 浏览量 回答数 0

回答

楼主您好, 如果您的文章是从mysql数据库里的文件调取出来的,可能需要将版权信息添加到mysql数据表中的内容喔。 如2楼所说,建议是将版权信息添加到程序的模版文件中,这样或许修改一个模版的文件,就可以整站显示版权信息了。如现在这个页面左下角的“© 2009-2016 Aliyun.com 版权所有” ------------------------- 回 4楼(文王之典) 的帖子 您好, 请问您使用的网站程序是什么呢? 网上搜索了一下,如dedecms有防采集的设置。

dongshan8 2019-12-02 02:10:47 0 浏览量 回答数 0

问题

什么是日志库?

轩墨 2019-12-01 21:50:32 1453 浏览量 回答数 0

问题

我应该这种情况在北京能找什么样工作。? 报错

优选2 2020-06-04 21:20:26 1 浏览量 回答数 1

问题

关于FTP上传非常恼人的问题跪求解决办法

淹死的鱼120 2019-12-01 21:55:15 9499 浏览量 回答数 5

问题

爬虫数据管理【问答合集】

马铭芳 2019-12-01 20:19:58 63181 浏览量 回答数 22

回答

回1楼vpsmm的帖子 程序用的就是火车头采集器,开12个进程向数据库写入数据,结合查看nginx的状态监控(localhost/status),监控显示连接数一直在20个左右浮动,但网站页面打开就是空白大半天 ------------------------- Re我的阿里云为什么20个左右的并发连接就挂了 我经过测试发现只有读写数据库的才会空白,普通htm文件打开很快,看来是数据库链接设置的问题了

fm911 2019-12-02 02:02:56 0 浏览量 回答数 0

回答

难道 阿里云 主机没有任何限制吗?——有限制,具体见下 如有没有流量限制??——根据带宽,默认5M带宽理论峰值640KB/s,你可以算一下一个月最大带宽开销是多少 并发连接数 限制??——与你购买的云主机性能(内存,带宽)以及你的环境配置都有关系,配置好的话连接数就高了 还有 阿里云主机 买完就是全部配置好的吗?和虚拟主机一样?——不是,环境需要自己配置,除非你在购买的时候勾选了安装phpwind8.5 买来就可以 直接上传自己的网站程序 绑定域名 就运行了??——见上条,域名绑定方法随各系统不同而不同 还是说所有的东西都要自己配置啊??——还是见上条 还有你们的 空间 对网站有什么限制啊?如什么样的网站可以放什么样的网站不能放??——同上,都在国内了,这个问题多说多问都无益 API采集 的 淘宝客 程序 支持吗??——应该是支持的吧,划给你的硬件资源是独享的 这些都没有说清楚啊。 买完了不让用 那不白忙活了。。。 怎么连个 在线客服都没有啊??

axel 2019-12-02 02:24:09 0 浏览量 回答数 0

问题

【精品回答】移动数据分析

montos 2020-04-08 22:02:50 8 浏览量 回答数 1

问题

Android共享文件的Runtime权限

sunny夏筱 2019-12-01 20:58:02 5548 浏览量 回答数 0

问题

服务器上过段时间就不能连外网,必须重启才有效,怎么回事呢

守候12345 2019-12-01 21:02:37 2372 浏览量 回答数 2

问题

【精品问答】DataHub

montos 2020-04-08 14:45:22 2 浏览量 回答数 1

问题

云服务器简介

爷们儿 2019-12-01 21:54:32 7421 浏览量 回答数 2

回答

更换服务器~100个是单服务器最大的负荷了你用的是镶嵌式的,要选择服务器机组的那种~刀片式服务器~然后oracl数据库支持分开安装。同步处理~ 你肯定买的是架式服务器~######装ORACLE服务器是刀片式的,6核至强 24G的内存 应该不是服务器瓶颈######oracl装在独立的一台服务器上的话,只支持小形企业和地、市级企业运行 你说的情况,可以理解你的数据量非常庞大,,有可能是省、国家级的数据量了~~ 让你单位给你单独开个服务器房间,更换服务器机柜然后购买刀片式服务器做服务器阵列机组~######数据量倒不会太大,一天1G不到,问题是很多存储过程的逻辑很复杂,一条线程调用存储过程,要等待很久才会返回,直接导致工作线程速度很慢,数据进入速度太快,工作异常状态频繁出现。######必须要实时的存入数据库吗?不能先缓存到服务器,然后让服务器慢慢去处理吗?或者直接将数据记入日志,然后sqlload?######回复 @xinzaibing : 我想到一个蛋疼的方式:数据写文件,文件内容定期入库,程序定期读取数据库计算的结果缓存到内存中。不知道你具体需求,瞎琢磨一个。######回复 @asdfsx : 公司领导一致认为内存不可靠,断电、程序异常什么的...存在内存的数据就没了...真是蛋疼啊######回复 @xinzaibing : 如果数据量不大的话,还有一个方案就是都保存在内存里,然后定时把内存里的结果同步到数据库里。数据库的逻辑挪到程序里..........这个方案比较累啊。另外就是缓存可以加个优先级高低的判断。######目前要求是必须要实时入库,采取写日志文件的方法也可以。 这些数据有一个特点,在某一个时刻会有一个突然出现的峰值,然后又慢慢变少,但是这个时间是不固定的,由于只实用了一条双缓冲队列,所有需要紧急处理的数据和非紧急处理的数据都在队列里,而如果遇到非紧急数据,处理了很长的时间,就直接导致后面的紧急数据失效了...或者导致嵌入式程序判断服务端未收到数据,进而采取重发,导致一条队列里有非常多重复的数据。######我可能会使用数据写入日志文件,然后定时将日志入库的办法操作######大概意思可能是多线程对数据库表的操作导致数据表锁定,性能损失在内耗上了。。那数据表采用行级锁呢?(这样会增大系统开销)我是菜鸟,求教  ######回复 @xinzaibing : 这个应该是属于最初的设计问题,hohoho######回复 @asdfsx : 目前我也在往这方面考虑,如果数据分类处理。那就得大改结构了...唉######回复 @xinzaibing : 建议根据上传的不同数据进行不同的处理,不要一股脑的都放在缓存中,如果是心跳的话,应该立即响应,如果是要处理的数据的话,才需要进行缓存等待处理######ORACLE默认就是行级锁的应该.. 主要是数据的写入速度远远小于数据上传的速度,导致了缓存溢出,紧急数据不能得到及时处理,大量数据出现超时失效,无法对嵌入式的采集器程序作出及时的心跳相应和其他回复(因为都在队列中,无法处理,无心跳的话嵌入式采集器会误认为服务器断线)。最终导致单台服务器接入数据的嵌入式设备的数量太少,不满足需求。######去年刚毕业,由于公司小,一个人搞后台,压力太大啊...大家指指招呗~ @中山野鬼######今天到图书馆看了一本书《让Orcale跑的更快点》,上面说可以从如下几个方面优化: 数据库方面:建适当的索引,固定长度;查询条件比较尽量简化;不同的表放在不同的磁盘里…… 服务层:增大缓存,(有没有数据库连接池不知道你能用上不) 软件层:对Java使用PaperStatement 囫囵吞枣就记得这么多了。。。哭~~######非常感谢...我去看看这本书 :)######我不清楚你的数据采集的内容是什么。不过看的出,对实时性要求高。换我,基本上就一个思路。 1、做个前段服务器,什么事情都不干,只进行数据的压缩。然后所有数据库和计算操作,放到后端。 至于并发,你这种 1W=100台服务器的方式治标不治本。######@中山野鬼 是说对数据进行预处理,提取有效内容?还是就是zip?######回复 @asdfsx : 不一样的。而是数据压缩。采样数据中间,信息密度不会太大的。######老鬼的思路有点像我说的那个数据写日志文件,或者内存缓存定时入库...........都被否定了啊######@xinzaibing 还有一个建议,上传的数据加一个验证,如果上传的数据已经插入缓存,就不要再次插入了。无脑插入插到崩也不是什么好主意啊######回复 @asdfsx : 要回复的,要处理成功后才回复,存库失败或者某些异常导致服务端崩溃重启,就不进行回复,客户端会持续地进行重发,重发到一定次数后,存本地,等恢复正常后发送存本地的数据

kun坤 2020-06-09 11:56:38 0 浏览量 回答数 0

回答

现在上图。不知道是不是有人攻击,当天的日志现在又看不到。 ------------------------- 现在是一直这样,看不出来原因。网站访问量也是正常的。 ------------------------- 回 4楼(xfzx.org) 的帖子 是网站的进程。现在有事还没时间处理了,刚发工单发是内部程序问题。我用了现在网站cpu占用率一直很低的,就是今天早上才出现这种情况的。 ------------------------- 回 5楼(xiao2qiangda) 的帖子 应该不会吧。没什么东西可采集的呀。 ------------------------- 出去办事才回来。打开发现又正常了。 ------------------------- 回 9楼(kideny) 的帖子 每天4点回收应用沲。其它没有,回收也就一下cpu高点,早上发现问题后又重启了服务器,重启后还是一样。

cn0555 2019-12-02 01:05:21 0 浏览量 回答数 0

问题

由Monkey引发的测试工具方面的想法

mqc 2019-12-01 21:00:01 2036 浏览量 回答数 0

问题

什么是Logtail?

轩墨 2019-12-01 21:51:42 1799 浏览量 回答数 0

回答

ajax 的 post 也是 普通方法 ,没什么稀奇。用 curl 都可以做到 。 jquery等类库 使用 post  get 方法等 ,都会在http头里增加 xmlhttprequest 头 。 个别网站可能用 这个头 来判断 是否 是 ajax 来决定返回什么数据 。只要带这个头 一般都能取到 ,还有的 可能需要 cookie ,如果需要 ,可以把 cookie 也放进 http头里。 你可以调试看一下 jquery 等类库的 http请求头 。 ###### php curl ###### 引用来自“leo108”的答案 php curl 不可以,file_get_contents和curl都不能模拟ajax 的 post操作,还有办法吗?  看样子只有浏览器 ######必需可以.######curl怎么不可以######我是来看“@大神”怎么回答的~######回复 @CodePorter1989 : 各路亲戚都有啊###### @大神 @大婶 @大娘 @大妈 @大姨妈###### 引用来自“CodePorter1989”的答案 引用来自“leo108”的答案 php curl 不可以,file_get_contents和curl都不能模拟ajax 的 post操作,还有办法吗?  看样子只有浏览器能收到header 没有什么不可以,curl可以post ######回复 @leo108 : 表达有误,我说的是不使用jsonp直接跨域的测试结果######回复 @程序猿的我还想当帅哥 : 呵呵######我确定 jquery $.post可以跨域 $.ajax 不能跨域######回复 @justphp : jsonp跨域的前提是,你有被请求网站的权限,楼主是要采集,明显不会有######回复 @CodePorter1989 : 使用jsonp格式 可以跨域!######HTTP 头设置的不对,获知对方做了什么特殊的验证机制。######不是没人能做到,而是别人能做到,你却做不到。######lz惊呆了没?######不科学啊~~这个应该是可以的啊~~发送head信息和post信息,用curl应该都能做到的啊######举个例子     在群里问:"jdbc连接数据库,群里就没有人会吗?"    群里人的反应是:我靠!被鄙视了,还是不回答了. ######。。呵呵

kun坤 2020-05-29 20:54:36 0 浏览量 回答数 0

问题

CPU不正常的时候,用top如何查故障?

学习无限好 2019-12-01 21:58:06 3095 浏览量 回答数 4

问题

各位大神来帮我分析下网站吧先谢谢了

车载视频网 2019-12-01 21:32:05 8191 浏览量 回答数 4

问题

SDK集成常见问题都有哪些?

猫饭先生 2019-12-01 21:52:49 808 浏览量 回答数 0

问题

什么是Memcache 管理控制台

云栖大讲堂 2019-12-01 21:30:32 1136 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站