关于微博数据提取,微博爬虫? 400 报错
@wertyliii 你好,想跟你请教个问题:
我看你之前做微博的数据抽取,我想问一下你们是用的自己写的爬虫吗?
微博的模拟登录是如何解决的呢?
我刚刚接触这一块,不知道如何入手....
我也不知道######
是自己写的,模拟登陆这一块,网上有很多教程,可以搜一下看看。主要就是有个prelog
######
推荐一个现成可用的:
推荐使用神箭手云爬虫平台的新浪微博爬虫[按微博昵称爬取](网站进阶版)支持云端自动采集,实时更新信息~适合开发者!
爬虫链接:http://www.shenjianshou.cn/index.php?r=market/configDetail&pid=207
######ForeSpider,爬微博的所有用户信息都是没有问题的, 现在这软件有免费版,高配版也很便宜。
建议你去查一查。
我之前用它采过豆瓣的全部影评,一天就采了几百万条数据,非常快,而且我只是用笔记本采的,并没有开服务器。可想而知他的强大了。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。