采用Jsoup抓取TB数据,本地正常,部署在阿里云上无法成功-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

采用Jsoup抓取TB数据,本地正常,部署在阿里云上无法成功

城市劣人 2014-08-29 14:31:38 18223
采用Jsoup抓取淘宝店铺的商品数据,在本地(windows系统)运行时可以正常解析页面并抓取对应的商品信息。
然后部署到阿里云上发现抓取过程中出现了奇怪的现象,页面解析不完整,商品数据没有解析出来(阿里云是采用的linux系统)。
后来测试了下,如果用别的主机(windows系统),可以正常解析。


难道阿里云主机对处理淘宝商品的解析有特别的屏蔽措施?应该不会啊?难道是linux系统有什么特别之处吗?
有没有高手一解疑惑!!!!
Linux Windows
分享到
取消 提交回答
全部回答(9)
  • ymen
    2016-02-06 15:24:30
    我也遇到这个问题了,请问你们怎么解决的
    0 0
  • 陈二黑
    2014-12-14 16:54:20
    Re采用Jsoup抓取TB数据,本地正常,部署在阿里云上无法成功
    我也遇到了 这个问题 这是什么情况  再本地可以 再阿里云上就出现了问题
    0 0
  • 千鸟
    2014-09-12 23:14:19
    抓取得到的html直接存成文本查看有什么区别
    0 0
  • pangchangfei
    2014-09-11 23:07:17
    0 0
  • 啊里新人
    2014-09-05 09:58:34
    建议在本地弄个liunx跑一下试试,

    -------------------------

    回 12楼(城市劣人) 的帖子
    jsoup解析数据比较好用,采集数据,我之前用的httpclient

    -------------------------

    我手里代码发不出去,公司加密了。网上找一下很多的,采集页面,只要没有做限制,还是很容易的

    0 0
滑动查看更多
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程