如题
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
用 Selenium 跑采集,页面一个个加载,速度慢得让人着急,量一大就等到天荒地老。
Selenium 慢的原因主要是它是真实浏览器环境,渲染、等待元素、逐个操作都耗时。提速的思路有几个:能用静态请求加接口的,就别上浏览器;必须渲染的,用无头模式,配合合理的等待策略(显式等待替代死等);量大时并发开多个浏览器实例,但并发一高,反爬和资源消耗也跟着来。
另一种思路是把浏览器托管到云端。亮数据的抓取浏览器托管在它可扩展的基础设施上,按需取会话,会话数量弹性,你可以并发开多个会话去采集,本地不用扛资源。它跟 Playwright 也兼容,Playwright 本身比 Selenium 快一些,配上云端会话,整体吞吐会好不少。