pyppeteer持久化修改网站检测浏览器的特征值-阿里云开发者社区

开发者社区> Python技术进阶> 正文
登录阅读全文

pyppeteer持久化修改网站检测浏览器的特征值

简介: 在互联网前沿具有价值的网站,在反爬虫领域也做出了深有成效的反爬虫措施,其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线;而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别; 此前讲过几篇关于浏览器识别的文章: 《selenium的封杀与突破,记录一次出师未捷身...

在互联网前沿具有价值的网站,在反爬虫领域也做出了深有成效的反爬虫措施,其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线;而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别;

此前讲过几篇关于浏览器识别的文章:

selenium的封杀与突破,记录一次出师未捷身先死,淘宝、美团对爬虫的深入打击

Python爬虫中深不可测的ua参数,爬虫的身份证

现行的浏览器环境识别采用的大都是这种思路:获取到自动化浏览器与正常浏览器有区别的值,然后根据这些值在加上一些行为判断,一并加密传回服务端,服务端解密后鉴别那些是爬虫,后面来自这些终端的敏感请求就一律不在通过验证。

比较典型的是淘宝的环境检测+用户行为判断,还有美团验证的提取多个浏览器关键属性来判断是否为异常值。

据我所知大部分的修改webdriver值都是一次性的不管是selenium的execute_script()方法,还是pyppeteer的evaluate()方法执行下面代码都能临时修改浏览器属性中的webdriver属性,当页面刷新或者跳转之后该值就原形毕露。

() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }

但是pyppeteer的最底层是封装的puppeteer,是js库,是和网站源码交互最深的方式,在pyppeteer中提供了一个方法:evaluateOnNewDocument(),该方法是将一段js代码加载到页面文档中,当发生页面导航、页面内嵌框架导航的时候加载的js代码会自动执行,那么当页面刷新的时候该js也会执行,这样就保证了修改网站的属性持久化的目的。

await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
                                     '{ webdriver:{ get: () => false } }) }')  # 本页刷新后值不变

webp
image

重要:因为同步公号的文章格式很难保证,所以后面文章选择性在其他平台同步,欢迎移步公众号(Python之战),每日更新原汁原味!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
Python技术进阶
使用钉钉扫一扫加入圈子
+ 订阅

官网链接