如题
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
最近想要采集谷歌的餐饮兴趣点数据做分析,把POI(兴趣点)数据收集起来,可以做店铺相关分析。
地图数据采集比较典型的就是POI抓取,点位、名称、地址、评分、营业时间、联系方式。这类数据用于选址分析、行业统计都有用。难在地图页面是动态加载的,滚动才出新的点位,而且反爬也严,跑快了就被限。
地图POI采集常配合Scrapy这类分布式爬虫来做,量一大,IP轮换就很重要。
亮数据的动态住宅代理能按目标位置匹配节点,避开机房IP被识别的风险。它的抓取浏览器支持高并发,几十万条点位数据批量拉也能稳定跑完。采集到的点位存进库里,配合地理工具就能做分布热力图。
地图数据采集的核心是"量要够、要稳"。一个城市几千个点位,少了覆盖不全,断了就缺数据。用现成的代理和采集能力把量堆上去,选址分析和市场判断才有数据底子。