程序人生 - 爬虫究竟是合法还是违法的？

关注了这个问题十几天了，有法律人士也引出了几份判决书，确实让我等从业者后背发凉，老老实实上班写个爬虫，怎么还有牢狱之险呢？

仔细探究这些案例，我总结出如下观点

1. 遵守 Robots 协议，但有没有 Robots 都不代表可以随便爬，可见下面的大众点评百度案；
2. 限制你的爬虫行为，禁止近乎 DDOS 的请求频率，一旦造成服务器瘫痪，约等于网络攻击；
3. 对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是 Hacker 行为；
4. 最后，审视清楚自己爬的内容，以下是绝不能碰的红线（包括但不限于）：

• 爬取用户个人数据非法牟利，包括模拟登录他人账号，如下一案例中操作账号加粉
• ​​​​​​新三板挂牌公司涉窃取30亿条个人信息，非法牟利超千万​​​​​​
• 爬取商业数据造成不正当竞争，如下一案例中破解并监控竞品 GPS 数据
• ​​​​​竞争燃藜·深圳中院|利用网络爬虫技术攫取他人数据正当性认定
   
• 爬取大量带有知识产权的数据用于商业目的，如下一案例中爬取大量视频内容
• 全文页 - 中国裁判文书网
• 最后附上2014年百度地图因大量引用大众点评的评论被起诉，最后法院的判决也说明遵守 Robots 协议并不是没有问题，大量爬取造成的不正当竞争依然会违法。
• ​​​​​​大众点评向百度索赔9000万 法院判赔300万​​​​​​​​​​​

以上你会发现，爬虫本身并不违法，而是看你使用的方式和目的，还要看是不是商业用途。

这就像摄影一样，人人都可以拍照，技术宅也可以用无人机满天拍，但如果你拍人家隐私、在禁区里拍、偷拍盗版人家的作品，对不起那是违法。

如何看待马蜂窝被指游记、评论抓取抄袭其他旅游平台，大量内容和抽奖造假一事？ - 知乎

顺便关注下近期马蜂窝事件，大众点评如果起诉，可能又增一个典型案例。