开发者社区> 问答> 正文

一个使用httpclient爬取淘宝数据本地可以,放到阿里云服务器上有问题

一个使用httpclient 爬取淘宝数据  本地可以,放到阿里云服务器上有问题
我查看了一下  返回的cookie 数据是不一样的 在云服务器缺失,这是为什么呢 我感觉是淘宝做了处理

展开
收起
陈二黑 2014-12-14 17:27:06 10710 0
2 条回答
写回答
取消 提交回答
  • 回1楼smartli的帖子
    谢谢,为什么本地可以呢,
    还有哪个cookies保持模块 你的意思需要针对返回的cookies 不让httpclient 自动管理 需要手动设置set cookiestore 里面 吗
    2014-12-14 23:06:03
    赞同 展开评论 打赏
  • Re一个使用httpclient爬取淘宝数据本地可以,放到阿里云服务器上有问题
    你要写一个cookies保存模块,因为淘宝最近增加了anti_Spider-checklogin  

    -------------------------

    Re一个使用httpclient爬取淘宝数据本地可以,放到阿里云服务器上有问题
    手动设置cookies,只要有效,目前我还没发现过期

    如果没有登录的cookies,有时候可以抓,有时候不行
    2014-12-14 19:50:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
如何运维千台以上游戏云服务器 立即下载
网站/服务器取证 实践与挑战 立即下载
ECS计算与存储分离架构实践 立即下载