开发者社区> 问答> 正文

scrapy爬取淘宝商品页的问题 400 请求出错 

  之前用scrapy官方的模板稍加该变就可以成功的爬取一些网页,博客什么的,用sel.XPath()爬取指定问题也可以成功.
但是在爬取淘宝商品页的内容时出现了问题。一开始以为是Xpath 出错

但是退出的时候发现

就是说网页
 https://item.taobao.com/item.htm?spm=a21dc.7837624.89077.2.d2VSRc&id=13505587887
后面的“&id=……”
部分号线没有搞进去
再试了试
 response.body()
发现是结果是
 ‘ ’ 
怎么回事勒
看了很多网上大神的博文,说是动态网页什么的,也不是很懂
有大神帮我解答下吗?

展开
收起
kun坤 2020-05-28 16:06:12 494 0
1 条回答
写回答
取消 提交回答
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载