城市劣人_个人页

这个是读取的一个日志文件，里面包含获取到的html信息

不过打开后，会跳转到tmall的登录页面

-------------------------

task-analyze.zip 是部署在阿里云上用Jsoup抓取到的一个店铺一页的商品信息。
但是发现里面抓取的内容不全，没有抓到它的分页数：1/25；商品信息也不存在了，保存为html，发现跳转到登录页面了

但是如果在本地部署是可以的，我找了另外一家的服务器（是windows的），也是能正常抓取到的。

-------------------------

DNS都是OK的

-------------------------

引用第5楼城市劣人于2014-09-01 13:29发表的 Re采用Jsoup抓取TB数据，本地正常，部署在阿里云上无法成功 :
task-analyze.zip 是部署在阿里云上用Jsoup抓取到的一个店铺一页的商品信息。
但是发现里面抓取的内容不全，没有抓到它的分页数：1/25；商品信息也不存在了，保存为html，发现跳转到登录页面了

但是如果在本地部署是可以的，我找了另外一家的服务器（是windows的），也是能正常抓取到的。

补充抓取的地址是：抓取的地址是：http://osa.tmall.com/search.htm?&search=y&orderType=newOn_asc&tsearch=y

-------------------------

咨询了阿里云技术售后客服，说阿里云服务器是没有限制的。
难道是centos系统，对抓取这一块 有什么特殊的权限吗？

-------------------------

怎么操作法？

-------------------------

本地还没有环境测试，难道真的是环境问题
除了Jsoup抓取之外，有没有好的推荐？

-------------------------

抓取到的html保存为文本，就是少了中间商品列表那部分，在4楼有附件

-------------------------

引用第13楼啊里新人于2014-09-11 18:09发表的 回 12楼(城市劣人) 的帖子 :
jsoup解析数据比较好用，采集数据，我之前用的httpclient

httpclient 有抓取整个页面数据的简单例子吗？只要能抓取到，再用jsoup解析数据

-------------------------

最新进展，ECS是在杭州可用区B（发现有这个问题），后来在C、D区部署测试了，就没有这个现象了。
后续抓取JD的数据测试了一下，B区也是能正常抓取的。
奇怪的是为什么在B区就不能抓取淘宝的数据呢？
程序是一样的
    protected static WebClient getWebClient() {
        if (wc == null) {
            /** HtmlUnit请求web页面 */
            wc = new WebClient(BrowserVersion.INTERNET_EXPLORER_11);
            wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
            wc.getOptions().setUseInsecureSSL(true);
            wc.getOptions().setCssEnabled(false); // 禁用css支持
            wc.getOptions().setActiveXNative(false);
            wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常
            wc.getOptions().setThrowExceptionOnFailingStatusCode(false);
            wc.waitForBackgroundJavaScript(10 * 1000);
            wc.setJavaScriptTimeout(5000);
            wc.getOptions().setTimeout(10000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等�?
            wc.getOptions().setDoNotTrackEnabled(false);
            wc.setAjaxController(new NicelyResynchronizingAjaxController());
        }
        return wc;
    }


page = getWebClient().getPage(url);
String pageXml = page.asXml();
/** jsoup解析文档 */
Document doc = Jsoup.parse(pageXml, "http://aizhizao.tmall.com");
Elements listDiv = doc.getElementsByAttributeValue("class", "ui-page-s-len");
System.out.println(listDiv.html());