reddit的反爬识别比较严格，需要配备代理，才能稳定的去采集数据，之前看到有用亮数据的代理，怎么样？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
现在reddit确实非常适合做产品营销，里面的帖子价值很高，不过做reddit舆情监测写 python爬虫时，最头疼的就是频繁遇到访问限制，要么ip被封，要么请求直接被拦截，写好的脚本根本跑不起来。这时候选对代理工具就特别关键，可以试试亮数据的代理和网页抓取api。
主要因为亮数据的代理池覆盖范围广，包含了不同地区、不同类型的ip，采集reddit不同地区子版块时，能匹配对应地区的ip，减少被识别的概率。用python对接也简单，只需要在请求头里配置代理地址和认证信息，官方有现成的python示例代码，直接参考就能集成到自己的爬虫脚本里，不用额外折腾底层的ip切换逻辑。
它的网页抓取api更省事，不用自己处理reddit的动态渲染、cookie验证这些问题。比如有的内容需要加载js才能显示，普通爬虫抓不到完整数据，这个api能直接返回渲染后的完整页面内容，还能指定返回格式，不管是json还是 HTML，都能直接用 Python 解析，省了写解析渲染逻辑的时间。
需要注意的是，使用时要按照reddit 的robots协议来，控制好请求频率，亮数据本身也提供了请求频率控制的配置项，能避免因请求太频繁触发风控。另外，它的计费是按实际使用的流量或请求次数来的，小体量的舆情监测需求，成本也比较可控，不用一次性投入太多。
