pyppeteer持久化修改网站检测浏览器的特征值

简介: 在互联网前沿具有价值的网站,在反爬虫领域也做出了深有成效的反爬虫措施,其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线;而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别;此前讲过几篇关于浏览器识别的文章:《selenium的封杀与突破,记录一次出师未捷身...

在互联网前沿具有价值的网站,在反爬虫领域也做出了深有成效的反爬虫措施,其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线;而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别;

此前讲过几篇关于浏览器识别的文章:

selenium的封杀与突破,记录一次出师未捷身先死,淘宝、美团对爬虫的深入打击

Python爬虫中深不可测的ua参数,爬虫的身份证

现行的浏览器环境识别采用的大都是这种思路:获取到自动化浏览器与正常浏览器有区别的值,然后根据这些值在加上一些行为判断,一并加密传回服务端,服务端解密后鉴别那些是爬虫,后面来自这些终端的敏感请求就一律不在通过验证。

比较典型的是淘宝的环境检测+用户行为判断,还有美团验证的提取多个浏览器关键属性来判断是否为异常值。

据我所知大部分的修改webdriver值都是一次性的不管是selenium的execute_script()方法,还是pyppeteer的evaluate()方法执行下面代码都能临时修改浏览器属性中的webdriver属性,当页面刷新或者跳转之后该值就原形毕露。

() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }

但是pyppeteer的最底层是封装的puppeteer,是js库,是和网站源码交互最深的方式,在pyppeteer中提供了一个方法:evaluateOnNewDocument(),该方法是将一段js代码加载到页面文档中,当发生页面导航、页面内嵌框架导航的时候加载的js代码会自动执行,那么当页面刷新的时候该js也会执行,这样就保证了修改网站的属性持久化的目的。

await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
                                     '{ webdriver:{ get: () => false } }) }')  # 本页刷新后值不变

webp
image

重要:因为同步公号的文章格式很难保证,所以后面文章选择性在其他平台同步,欢迎移步公众号(Python之战),每日更新原汁原味!

相关文章
|
2月前
|
JavaScript 前端开发 开发者
如何检测浏览器是否支持最新的 image lazy loading 特性
如何检测浏览器是否支持最新的 image lazy loading 特性
|
10月前
|
Web App开发 前端开发 JavaScript
跨浏览器兼容性:确保您的网站在各个平台上无缝运行
在当今多样化的网络浏览器市场中,确保您的网站能够在不同浏览器上正常运行变得至关重要。跨浏览器兼容性是一项关键任务,涉及到确保您的网站在不同浏览器和设备上都提供一致的用户体验。本博客将深入探讨跨浏览器兼容性的重要性、挑战以及如何实施有效的兼容性策略。
108 0
|
2月前
|
网络协议 关系型数据库 Linux
使用PHPStudy搭建本地web网站并实现任意浏览器公网访问
使用PHPStudy搭建本地web网站并实现任意浏览器公网访问
48 0
|
2月前
|
人工智能 搜索推荐 安全
实用浏览器和文档工具类网站推荐
本文介绍了几个令人惊叹的浏览器和宝藏级网站,提升上网体验。谷歌浏览器以其简洁和高性能受到青睐,火狐浏览器则以其定制化和同步功能吸引用户,Edge则凭借改进的用户体验赢得好评。在网站推荐方面,Pixlr和IloveIMG提供在线图像处理服务,Coverview和EasyCover帮助创建专业封面,Convertio支持多种文件格式转换,极简壁纸和WallRoom提供高质量壁纸资源,而Amymind和Excalidraw是两款实用的在线画板工具。这些工具旨在使用户在浏览网页、处理文档和图像时更加高效和愉快。
|
2月前
|
Ubuntu 关系型数据库 MySQL
如何在Ubuntu使用宝塔部署Emlog网站并发布到公网实现任意浏览器访问
如何在Ubuntu使用宝塔部署Emlog网站并发布到公网实现任意浏览器访问
|
2月前
|
JavaScript 前端开发
JavaScript DOM 操作:如何检测浏览器是否支持某个特性?
【4月更文挑战第15天】使用Modernizr库检测浏览器特性:添加 `<script src="https://cdnjs.cloudflare.com/ajax/libs/modernizr/2.8.3/modernizr.min.js"></script>` 到HTML,然后通过 `Modernizr.localstorage` 进行检测,如支持localStorage则执行相应代码,否则执行备用逻辑。
31 0
|
2月前
|
JavaScript 前端开发
JavaScript DOM 操作:如何检测浏览器是否支持某个特性?
JavaScript DOM 操作:如何检测浏览器是否支持某个特性?
33 0
|
8月前
|
Web App开发 安全 网络安全
浏览器版本过高导致无法访问网站 burpSuiteBrowser
浏览器版本过高导致无法访问网站 burpSuiteBrowser
98 0
|
10月前
|
Web App开发 安全 前端开发
Wappalyzer浏览器插件:揭开网站的技术秘密
你曾经访问过一个网站,想知道它是由哪些技术构建的吗?在这个数字时代,网站技术正在不断发展,而Wappalyzer浏览器插件就是一个能够帮助你揭开网站技术秘密的神奇工具。
123 0
Wappalyzer浏览器插件:揭开网站的技术秘密
|
9月前
|
Web App开发 安全 Shell
【异常解决】浏览器无法访问此网站ERR_UNSAFE_PORT/网页可能无法连接,或者它已永久性地移动到了新网址问题解决方案
【异常解决】浏览器无法访问此网站ERR_UNSAFE_PORT/网页可能无法连接,或者它已永久性地移动到了新网址问题解决方案
517 0