环境数据采集系统怎么用

Re阿里云监控/云盾Agent服务造成内存泄露的临时解决方案 引用第4楼服务器之家于2014-05-10 23:08发表的  : 我本人一直很反感阿里云对系统里做的手脚，即便是有各种堂而皇之的理由，各个发行版自身，不管是CENTOS还是DEBIAN还是UBUNTU，每一个系统内官方安置的程序都是经过全球海量用户千锤百炼的，坑都踩完了，反观阿里云你强加到系统里的东西你怎么保证它没有问题？ 那倒是好办，直接把相应的 service/daemon 禁用就行了。为难的就是既想用云监控等功能，又不希望它出这种纰漏的…… ------------------------- Re阿里云监控/云盾Agent服务造成内存泄露的临时解决方案 而且我发现 aegis 有个 quartz daemon，它会周期性地启动一些 Python 脚本来收集采样数据。这其实也很……，所有云监控中的常规性能采集工作其实都可以完全集成在 daemon 进程内部实现，这样周期性地 Launch 其它进程和脚本，既不高效也不紧凑。 毕竟作为侵入式的 agent 服务，保持尽可能的高效和紧凑，力求对用户环境影响最小是非常重要的设计目标。 我想也只有第三方用户自定义的监控项采集需要以如此的方式来实现。 ------------------------- Re阿里云监控/云盾Agent服务造成内存泄露的临时解决方案 最近有发现每次 aegis_client 服务更新，都会重新覆盖掉之前的配置。麻烦 ali 的开发人员可以尊重用户的配置选择，在升级是保留用户修改的部分，谢谢。 ------------------------- Re阿里云监控/云盾Agent服务造成内存泄露的临时解决方案 引用第15楼虎笑于2014-07-31 10:14发表的  : 那个不是BUG，是cache了一些安全事件导致内存占用升高。 这就太牵强了，你见过为了清缓存还要 kill 整个进程重启的么？

Re采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 这个是读取的一个日志文件，里面包含获取到的html信息 不过打开后，会跳转到tmall的登录页面 ------------------------- Re采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 task-analyze.zip 是部署在阿里云上用Jsoup抓取到的一个店铺一页的商品信息。 但是发现里面抓取的内容不全，没有抓到它的分页数：1/25；商品信息也不存在了，保存为html，发现跳转到登录页面了 但是如果在本地部署是可以的，我找了另外一家的服务器（是windows的），也是能正常抓取到的。 ------------------------- 回1楼理财砖家的帖子 DNS都是OK的 ------------------------- ReRe采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 引用第5楼城市劣人于2014-09-01 13:29发表的 Re采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 : task-analyze.zip 是部署在阿里云上用Jsoup抓取到的一个店铺一页的商品信息。 但是发现里面抓取的内容不全，没有抓到它的分页数：1/25；商品信息也不存在了，保存为html，发现跳转到登录页面了 但是如果在本地部署是可以的，我找了另外一家的服务器（是windows的），也是能正常抓取到的。 补充抓取的地址是：抓取的地址是：http://osa.tmall.com/search.htm?&search=y&orderType=newOn_asc&tsearch=y ------------------------- Re采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 咨询了阿里云技术售后客服，说阿里云服务器是没有限制的。 难道是centos系统，对抓取这一块 有什么特殊的权限吗？ ------------------------- 回9楼bendchen的帖子 怎么操作法？ ------------------------- 回11楼啊里新人的帖子 本地还没有环境测试，难道真的是环境问题 除了Jsoup抓取之外，有没有好的推荐？ ------------------------- 回15楼千鸟的帖子 抓取到的html保存为文本，就是少了中间商品列表那部分，在4楼有附件 ------------------------- Re回12楼城市劣人的帖子 引用第13楼啊里新人于2014-09-11 18:09发表的 回 12楼(城市劣人) 的帖子 : jsoup解析数据比较好用，采集数据，我之前用的httpclient httpclient 有抓取整个页面数据的简单例子吗？只要能抓取到，再用jsoup解析数据 ------------------------- Re采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 最新进展，ECS是在杭州可用区B（发现有这个问题），后来在C、D区部署测试了，就没有这个现象了。 后续抓取JD的数据测试了一下，B区也是能正常抓取的。 奇怪的是为什么在B区就不能抓取淘宝的数据呢？ 程序是一样的     protected static WebClient getWebClient() {         if (wc == null) {             /** HtmlUnit请求web页面 */             wc = new WebClient(BrowserVersion.INTERNET_EXPLORER_11);             wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true             wc.getOptions().setUseInsecureSSL(true);             wc.getOptions().setCssEnabled(false); // 禁用css支持             wc.getOptions().setActiveXNative(false);             wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常             wc.getOptions().setThrowExceptionOnFailingStatusCode(false);             wc.waitForBackgroundJavaScript(10 * 1000);             wc.setJavaScriptTimeout(5000);             wc.getOptions().setTimeout(10000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等�?             wc.getOptions().setDoNotTrackEnabled(false);             wc.setAjaxController(new NicelyResynchronizingAjaxController());         }         return wc;     } page = getWebClient().getPage(url); String pageXml = page.asXml(); /** jsoup解析文档 */ Document doc = Jsoup.parse(pageXml, "http://aizhizao.tmall.com"); Elements listDiv = doc.getElementsByAttributeValue("class", "ui-page-s-len"); System.out.println(listDiv.html());