用python写一个抓取js数据的程序：报错
我是python的初学者，目前正在试着写一些爬虫小程序。
最近想把这个http://www.hzjg.gov.cn/mrcj/index.htm网站上的数据爬下来，写到mysql数据库里，但是发现这个网站的数据是动态加载的，一下没了思路，所以特来求教下，这个程序该如何写！
展开
收起
1
条回答
写回答
写回答
-
这个页面是个壳，你可以通过chrome去分析找到它背后的数据源。比如你说的这个网站抓取源数据页面应该是
http://jgjz.hzjg.gov.cn/jgjz/getMrcjAllData.do?width=960
这里可以使用curl下载页面的结果，存入page.htmlcurl http://jgjz.hzjg.gov.cn/jgjz/getMrcjAllData.do?width=960 -o page.html
######别贴那么长的页面啊。。。多少行了######不好意思，顺手就贴了！######已经改掉！:）######自己删除了吧，1000多行，你让别人怎么回答人家问题啊...######调用浏览器解析。 可以用selenium或者phantomjs######CasperJS 或者 PhantomJS 两者其实原理一样，都是模拟浏览器将数据渲染出来。前者是对后者的一个简单封装######selenium
2020-06-09 11:18:38赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
