最近想用selenium写爬虫，想看看需要注意什么？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
selenium，playwright都是浏览器自动化工具，很适合采集那些动态加载的网站，比如电商、社交媒体等，需要你点击、翻页才能加载出来数据，它们模仿人工操作浏览器，完美解决了这个问题。
但是它们容易被网站检测到，现在很多网站但凡发现有自动化程序访问的痕迹就会跳出来验证码，而且有些网站哪怕你是真人访问，也要做人机验证，屡教不改的直接封ip。
如果是技术小白，不会写反爬规避措施代码，可以尝试用亮数据的这样的采集api，它把各种规避检测的技术、IP代理池都封装到一个接口里，用python直接访问。
它还提供了专门的云上浏览器，用selenium，playwright或puppeteer都可以接入，和普通浏览器一样，有头无头都支持，但不需要再写各种反爬措施之类的脚本，比较简单直接。用亮数据还有一个好处是，它遵守数据采集协议，不会触发合规问题。
