如何面对博文被抓取

简介: 昨天把hexo博客的url的日期去掉了,号称说3级以下的地址可以提高爬虫的rank。今天早上输入网址的时候,不小心多带了一个空格,导致变成了google搜索。然后就发现了文章被爬去的事情。打开发现爬去的文章掐头去尾,隐去了作者信息。
spider-100160327-large.jpg

昨天把hexo博客的url的日期去掉了,号称说3级以下的地址可以提高爬虫的rank。今天早上输入网址的时候,不小心多带了一个空格,导致变成了google搜索。然后就发现了文章被爬去的事情。打开发现爬去的文章掐头去尾,隐去了作者信息。有的给个原文连接,有的是啥也不给。

昨晚搞到1点多,才搞出来。然后轻轻松松被拿走,然后加广告。。。

所谓的CC by xxx 没有任何意义。看到有个爬虫专门把文章转换成繁体的(好几个),有个更牛逼, 把标题和作者改成自己,图片添加了自己的水印(清屏网)。

所以,花样百出,防不胜防。


首先,应该如何看待这个问题?

我认为既然选择了互联网,就拥抱这种现象吧。起点的作者总是在写文章时不时的加一句看盗版的xxx, 因为这关系到了作者的切身意义,都是钱啊。 而写博客的呢,这又是为了什么? 是为了记录。那么,被爬去也是没啥坏处的,坏就坏在盗版小说会标注作者,盗版博客会去掉作者。

怎么解决

全手工的盗版,是防不住的。关键是大量的爬虫盗版。这个可以有。爬虫通常掐头去尾,所以把作者写到博客里,把作者写到代码注释里,把作者写到demo里。如果对于盗图有意见,可以加防盗链,可以加水印,或者制作图片的时候就加上作者。





唯有不断学习方能改变! -- Ryan Miao
目录
相关文章
|
4月前
|
数据采集 数据挖掘 数据处理
探索数据世界之门:Python爬虫与数据抓取技术
在信息爆炸的时代,数据成为了无处不在、无所不包的珍贵资源。而Python爬虫与数据抓取技术作为一道通向数据世界的大门,为我们提供了强大的工具和方法。本文将深入探讨Python爬虫的原理与应用,以及数据抓取技术的重要性,帮助读者更好地了解并利用这一技术。
|
9月前
|
数据采集 前端开发 Python
Python爬虫与逆向工程技术的结合,实现新闻网站动态内容的多线程抓取
Python爬虫与逆向工程技术的结合,实现新闻网站动态内容的多线程抓取
|
数据采集 Python
通过爬取豆瓣浅聊反爬策略的重要性
通过爬取豆瓣浅聊反爬策略的重要性
|
数据采集 Python
爬虫基础-第六天
在pycharm写正则,并学习re模块
71 1
|
数据采集 自然语言处理 前端开发
Python爬虫:网络信息爬取与处理知识梳理
Python爬虫:网络信息爬取与处理知识梳理
175 0
|
Web App开发 数据采集 存储
Python网络爬虫实战-抓取百合网真实相亲数据
百合网是一个相亲网站,里面拥有一些真实的妹子数据,如何抓取该网站的数据内容呢,接下来随我一探糗竟吧!
Python网络爬虫实战-抓取百合网真实相亲数据
|
算法 搜索推荐 数据库
百度搜索引擎优化工作原理:(SEO工作原理机制)
百度搜索引擎优化工作原理:(SEO工作原理机制)
182 0
|
消息中间件 Java Docker
[技术杂谈]最近一段时间值得分享的内容(2)
[技术杂谈]最近一段时间值得分享的内容(2)
467 0
[技术杂谈]最近一段时间值得分享的内容(2)
|
NoSQL Java 应用服务中间件
[技术杂谈]最近一段时间值得分享的内容(3)
[技术杂谈]最近一段时间值得分享的内容(3)
143 0
[技术杂谈]最近一段时间值得分享的内容(3)
|
消息中间件 JavaScript Java
[技术杂谈]最近一段时间值得分享的内容(1)
[技术杂谈]最近一段时间值得分享的内容(1)
144 0
[技术杂谈]最近一段时间值得分享的内容(1)