我们公司最近在推新品，想看看这个品类在谷歌上的搜索热度情况，需要每天都固定搜索页面进行监测，怎么实现呀~
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
cursor搭建智能体非常的方便，特别是舆情监测这类数据采集智能体，需要先用python写个采集流程，比如用requests请求网页，然后用xpath解析网页，pandas清洗数据，sqlite存储数据等，搭建好这样一个工作流后，再去解决细节问题。
首先requests请求谷歌搜索，很容易被目标网站限制，因为是非真人操作，会跳出验证码，甚至被封掉ip。
所以这里需要用到亮数据的网页解锁api,它充当了一个反爬处理的角色，能自动切换ip、处理验证码和动态网页等，只需要requests发起请求，其他的事情不需要操心， 就能直接获得结构化的目标字段数据。
当采集好数据后，需要对数据进行清洗和可视化，然后扔给大模型进行分析，这里就按实际需求来设置提示语。如果有必要设置邮件通知或者微信消息，将ai分析的结果告知业务人员。
