python之战
python之战_个人页
python之战
文章
90
问答
0
视频
0
个人介绍
专注python学习与应用擅长爬虫、web、全栈，专注ＲＰＡ技术实施；（个人公号：Python之战）
擅长的技术
-
发表了文章 2019-04-29
pyppeteer持久化修改网站检测浏览器的特征值
在互联网前沿具有价值的网站，在反爬虫领域也做出了深有成效的反爬虫措施，其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线；而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别； 此前讲过几篇关于浏览器识别的文章： 《selenium的封杀与突破，记录一次出师未捷身...
-
发表了文章 2019-04-29
pyppeteer最为核心类Page的接口方法(下)
重要：因为同步公号的文章格式很难保证，所以后面文章选择性在其他平台同步，欢迎移步公众号（Python之战）,每日更新原汁原味！ 在上一篇《pyppeteer最为核心类Page的接口方法》讲了大部分pyppeteer的Page类的接口，与selenium相比增强了与页面js的交互功能，同时增加了设备的伪装和模拟能力，一方是因为pyppeteer库是源于puppeteer，而puppeteer是Google提供了一个js库，本身和js的交互性强，所以在页面交互上更深入。
-
发表了文章 2019-04-29
pyppeteer最为核心类Page的接口方法
重要：因为同步公号的文章格式很难保证，所以后面文章选择性在其他平台同步，欢迎移步公众号（Python之战）,每日更新原汁原味！ 重要：因为同步公号的文章格式很难保证，所以后面文章选择性在其他平台同步，欢迎移步公众号（Python之战）,每日更新原汁原味！ Page类是pyppeteer的核心，...
-
发表了文章 2019-04-29
pyppeteer的Browser类及其BrowserContext类
在昨天的文章中《Python中与selenium齐名的pyppeteer库》我们对pyppeteer做了一个大致的介绍，后面将pyppeteer作为一个系列来讲，大致按照文档的思路来，再配合一些实践代码，来达到深入理解的目的。
-
发表了文章 2019-04-24
Python中与selenium齐名的pyppeteer库
如果说在Python中还有一款自动化工具能和selenium媲美，那么无疑是pyppeteer，pyppeteer是puppeteer的Python版本，puppeteer是Google开源的一个js库，通过一系列高级接口和Chrome或Chromium在DevTools协议下交互，其实现功能如下： 生成页面的截图和PDF。
-
发表了文章 2019-04-24
python数据结构与算法总结
python常用的数据结构与算法就分享到此处，本月涉及数据结构与算法的内容有如下文章： 《数据结构和算法对python意味着什么？》 《顺序表数据结构在python中的应用》 《python实现单向链表数据结构及其基本方法》 《python实现单向循环链表数据结构及其方法》 《python实现双向...
-
发表了文章 2019-04-24
python中的哈希表数据结构
散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。
-
发表了文章 2019-04-21
python实现二分查找算法
二分查找算法，是常见的搜索算法之一，适用于有序的序列，通过将序列不断的对折分为区间，从而确定查找值是否存在，优点是速度快。 首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。
-
发表了文章 2019-04-21
python实现顺序查找和哈希查找算法
顺序查找 顺序查找是按照序列原有顺序对数组进行遍历比较查询的基本查找算法，顺序查找是最简单的搜索算法，其实现如下： def sequential_search(items, item): for i in items: if i == item: return i else: return False 适用于线性表的顺序存储结构和链式存储结构,该算法的时间复杂度为O(n)。
-
发表了文章 2019-04-19
python实现归并算法
归并排序是采用分治法的一个非常典型的应用，另一个可以采用分治法的是快速排序，归并算法比快速排序速度稍低。归并排序的思想就是先递归分解数组，再合并数组。 将数组分解最小之后，然后合并两个有序数组，基本思路是比较两个数组的最前面的数，谁小就先取谁，取了后相应的指针就往后移一位。
-
发表了文章 2019-04-18
python实现插入排序算法
插入排序，其原理是通过构建一个初始的有序序列，然后从无需序列中抽取元素，插入到有序序列的相对排序位置，就像将一堆编号混乱的书，一本一本的放到书架上，找到上下编号之间的位置插入，最后完成整理。 python实现插入排序并不难，从第二个位置开始遍历，与它前面的元素相比较，如果比前面元素小就交换位置，实...
-
发表了文章 2019-04-18
python实现希尔排序算法
希尔排序是插入排序的一种又称“缩小增量排序”，是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法。 希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。
-
发表了文章 2019-04-16
python实现插入排序算法
插入排序，其原理是通过构建一个初始的有序序列，然后从无需序列中抽取元素，插入到有序序列的相对排序位置，就像将一堆编号混乱的书，一本一本的放到书架上，找到上下编号之间的位置插入，最后完成整理。 python实现插入排序并不难，从第二个位置开始遍历，与它前面的元素相比较，如果比前面元素小就交换位置，实...
-
发表了文章 2019-04-15
python实现选择排序算法
选择排序，简单而直观，其原理是把序列中的最小值或者最大值找出来放在起始位置，然后再从剩下的序列中找出极值放到起始位置之后，以此类推最后就完成排序。 完成这个过程大致思想：首先需要一个记录器，记录排序排到第几个位置了，然后在剩余的序列中找到极值下标，最后将记录器位置和极值位置元素交换，完成本次选择排序。
-
发表了文章 2019-04-14
python实现冒泡排序算法
冒泡排序，一个经典的排序算法，因在算法运行中，极值会像水底的气泡一样逐渐冒出来，因此而得名。 冒泡排序的过程是比较两个相邻元素的大小，然后根据大小交换位置，这样从列表左端开始冒泡，最后最大值会依次从右端冒出。
-
发表了文章 2019-04-13
平衡二叉树简介
平衡二叉搜索树（Self-balancing binary search tree）又被称为AVL树（有别于AVL算法），且具有以下性质：它是一 棵空树或它的左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。
-
发表了文章 2019-04-12
python实现二叉树数据结构的多种遍历方式
二叉树的遍历比较有意思，首先是遍历的方式比较多，大的来说分为深度遍历和广度遍历，深度遍历又分为先序遍历/中序遍历/后序遍历，其中深度遍历用递归来实现，广度遍历用队列来实现。 深度遍历和广度遍历是相对的概念，深度遍历是沿着树的深度遍历树的节点，尽可能深的搜索树的分支；广度遍历是从树的根层级开始一层一...
-
发表了文章 2019-04-11
python实现二叉树及其基本方法
什么是二叉树：每个节点最多有两个子树的树结构，通常子树被称作“左子树”（left subtree）和“右子树”（right subtree）。 二叉树具备以下数学性质： 在二叉树的第i层上至多有2^(i-1)个结点（i>0） 深度为k的二叉树至多有2^k - 1个结点（k>0） ...
-
发表了文章 2019-04-10
python中的树数据结构
线性数据中的典型顺序表和链表已经讲完： 《顺序表数据结构在python中的应用》 《python实现单向链表数据结构及其基本方法》 《python实现单向循环链表数据结构及其方法》 《python实现双向链表基本结构及其基本方法》 《python实现双向循环链表基本结构及其基本方法》 《python实现堆栈数据结构及其基本方法》 《Python实现双端队列数据结构及其基本方法》 下面将说图形结构中的典型数据机构：树；是一种重要的非线性数据结构，直观地看，它是数据元素（在树中称为结点）按分支关系组织起来的结构，很象自然界中的树那样。
-
发表了文章 2019-04-09
Python实现双端队列数据结构及其基本方法
队列是一种特殊的线性表，是一种先进先出（FIFO）的数据结构。它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作。进行插入操作的端称为队尾，进行删除操作的端称为队头，队列中没有元素时，称为空队列。
-
发表了文章 2019-04-08
python实现堆栈数据结构及其基本方法
栈（stack）又名堆栈，它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。这一端被称为栈顶，相对地，把另一端称为栈底。向一个栈插入新元素又称作进栈、入栈或压栈，它是把新元素放到栈顶元素的上面，使之成为新的栈顶元素；从一个栈删除元素又称作出栈或退栈，它是把栈顶元素删除掉，使其相邻的元素成为新的栈顶元素。
-
发表了文章 2019-04-07
python实现双向循环链表基本结构及其基本方法
双向循环链表是在双向链表的基础上发展的，双向链表的最后一个节点指向起始节点，起始节点的上一个节点指向最后一个节点，就得到双向循环链表。 双向循环链表比双向链表具有更多的优势，节点的增加和删除有很多优化的地方，从起点开始不必循环完整个链表就可以增加或删除节点。
-
发表了文章 2019-04-06
python实现双向链表基本结构及其基本方法
双向链表是在单向链表的基础上更为复杂的数据结构，其中一个节点除了含有自身信息外，还应该含有下连接一下个节点和上一个节点的信息。 双向链表适用于需要双向查找节点值的场景中，在数据量难以估计并且数据增删操作频繁的场景中，双向链表有一定优势；链表在内存中呈现的状态是离散的地址块，不需要像列表一样预先分配内存空间，在内存的充分利用上更胜一筹，不过增加了一些额外开销。
-
发表了文章 2019-04-05
Selenium最全超时等待问题的处理方案
Selenium广泛应用于自动化测试和自动化业务开发，同时在网络爬虫中也有较多的应用，使用Selenium有两个核心的问题：第一个是如何在爬虫领域不被识别出来，另一个是在自动化领域如何解决超时加载的问题。
-
发表了文章 2019-04-04
python实现单向循环链表数据结构及其方法
首先要说明一下研究数据结构有什么用，可能就像高数之类的在生活中并没有多少用处，但是离不开他，很多大公司面试也会问这个东西；但是要落实到某一个具体的业务场景，我也不知道，但并不代表这些东西没用，也可能是这些模型只是为了让我们能理解更多有用的东西。
-
发表了文章 2019-04-03
python实现单向链表数据结构及其基本方法
顺序表和链表作为线性表的典型结构，上一篇已经说了顺序表在python中的典型应用：list和tuple，《顺序表数据结构在python中的应用》，今天来实现链表的基本结构之一：单向链表。 单向链表模型： 链表是一个个节点连接而成，节点由两部分构成：元素域、链接域；链接域链接下一个节点，从而构成一条链条，而python主要实现单个节点对象，从而构成链条。
-
发表了文章 2019-04-02
顺序表数据结构在python中的应用
数据结构不仅仅指的数据值在逻辑上的结构，更有在存储空间上的位置结构，顺序表，故名思意是有一定顺序的数据结构。 顺序表最基本模型如图： 对于基本布局顺序表而言，它存储相同单元大小并且在内存地址上连续的数据，逻辑地址是其元素的逻辑顺序，物理地址第一个元素的内存地址加上离第一个元素的距离，如：e1物理地址是l0，那么e2的物理地址是e1的地址加上e1所占用的大小c，以此类推，en的物理地址是l0+（n-1）*c。
-
发表了文章 2019-04-01
数据结构和算法对python意味着什么？
数据结构和算法对于python而言是他的灵魂；程序是数据结构加上算法来实现的，对于任何一门编程语言都离不开数据结构和算法，但是对于python而言内置了基础的数据结构如列表、字典、集合等，再加上众多包，所以弱化了数据结构和算法的使用。
-
发表了文章 2019-03-31
scrapy相关专题总结
本月的scrapy已经写完，关于scrapy写了常用的中间件、数据管道、以及scrapy的相关源码，但是感觉可写的内容不是很多，要门是使用相关的要么是一些不用关注的源码。 所以写完scrapy之后还写了些一些其他内容，算是在充数吧，同时预下一个专题是python的数据结构和算法，将对九大算法及其常用数据结构分享，同时将算法应用于数据结构上。
-
发表了文章 2019-03-30
python中is、id、==与浅拷贝和深拷贝
python中的3个常见操作符is、id、==，三个的使用方法和应用场景不近相同，有各自适合的应用场景 is：用于比较两个对应是否是同一个引用==：用于比较两个之是否相同id：用于获取对象的内存地址 id(5) 1492768624 a = 4 b = 4 a == b True a is b T...
-
发表了文章 2019-03-29
selenium启动Chrome配置参数问题
每次当selenium启动chrome浏览器的时候，chrome浏览器很干净，没有插件、没有收藏、没有历史记录，这是因为selenium在启动chrome时为了保证最快的运行效率，启动了一个裸浏览器，这就是为什么需要配置参数的原因，但是有些时候我们需要的不仅是一个裸浏览器。
-
发表了文章 2019-03-28
scrapy常用设置参考手册
内置设置参考 以下是所有可用Scrapy设置的列表，按字母顺序排列，以及它们的默认值和适用范围。 范围（如果可用）显示设置的使用位置，如果它与任何特定组件相关联。在那种情况下，将显示该组件的模块，通常是扩展，中间件或管道。
-
发表了文章 2019-03-28
python常用内建函数
内建函数是python解释器内置的函数，由cpython执行的c语言编写的函数，在加载速度上优于开发者自定义的函数，上一篇将python常用内建属性说了《python常用内建属性大全》，本篇说常用的内建函数。
-
发表了文章 2019-03-26
requests库核心API源码分析
requests库是python爬虫使用频率最高的库，在网络请求中发挥着重要的作用，这边文章浅析requests的ＡＰＩ源码。 该库文件结构如图： 提供的核心接口在__init__文件中，如下： from .
-
发表了文章 2019-03-25
scrapy爬虫加载ＡＰＩ，配置自定义加载模块
当我们在scrapy中写了几个爬虫程序之后，他们是怎么被检索出来的，又是怎么被加载的？这就涉及到爬虫加载的API，今天我们就来分享爬虫加载过程及其自定义加载程序。 SpiderLoader API 该ＡＰＩ是爬虫实例化ＡＰＩ，主要实现一个类SpiderLoader class scrapy.loader.SpiderLoader 该类负责检索和处理项目中定义的spider类。
-
发表了文章 2019-03-24
scrapy配置文件操作核心ＡＰＩ解读
scrapy是一个重型框架，但是在使用中却感觉很方便，只需要配置一下，写一点核心的代码，就可以实现高并发爬虫，这是得益于他的强大配置文件的机制，内置很多默认配置，同时还给用户提供了外在的配置，并解决其中的冲突，这是它强大的地方。
-
发表了文章 2019-03-23
python面向对象思想的最深处——元类
在Python中一切皆对象，对象是实例化的类，而类的背后就是元类，如果说类创造了实例化对象，那么元类就创造了类，元类是类的抽象，这就是元类的概念。 如何看一个类的类，我们可以通过__class__属性追溯，实例化当前对象的类，也可以追溯创建当前类的类。
-
发表了文章 2019-03-22
网站验证码的生成原理、难度控制，及python实现
图片验证码已经广泛的使用在各种反爬虫的场景中，验证码的的生成验证过程对于开发者来说是零成本的，对于用户体验来说可能稍差、但是对于爬虫来说是致命的和高成本的。 下面将介绍使用python实现网站验证码的产生及验证的全过程，然我们对验证码的生成有所理解，同时对于机器识别在验证码利于的作用有个认识。
-
发表了文章 2019-03-22
腾讯qq空间GET登陆JS分析
腾讯QQ空间作为腾讯的社交核心产品之一在登陆的安全设置上没有用变态的技术都是常规策略。可能是因为该产品内容上的价值对于用户而言重要但是对于他人来说并不重要。 老规矩首先抓个包试试看看那登陆请求有哪些字段 u:2551513277@qq.
-
发表了文章 2019-03-22
三种分布式爬虫系统的架构方式
分布式爬虫系统广泛应用于大型爬虫项目中，力求以最高的效率完成任务，这也是分布式爬虫系统的意义所在。 分布式系统的核心在于通信，介绍三种分布式爬虫系统的架构思路，都是围绕通信开始，也就是说有多少分布式系统的通信方式就有多少分布式爬虫系统的架构思路。
-
发表了文章 2019-03-22
通过核心ＡＰＩ启动单个或多个scrapy爬虫
可以使用API从脚本运行Scrapy，而不是运行Scrapy的典型方法scrapy crawl；Scrapy是基于Twisted异步网络库构建的，因此需要在Twisted容器内运行它，可以通过两个API来运行单个或多个爬虫scrapy.crawler.CrawlerProcess、scrapy.crawler.CrawlerRunner。
-
发表了文章 2019-03-22
python爬虫js加密解密系列文章合集
关于js加密解密的专题到此就先告一段落，后面的这个月的专题是其他的反爬虫手段以及python编程的设计模式，js破解方面也会不定期的分享。 在上个月中，js加密解密系列的文章大概有二十篇左右，主要围绕登陆相关的js来分析，如果对js分析感兴趣的可以参阅，同时也欢迎交流。
-
发表了文章 2019-03-21
scrapy官方文档提供的常见使用问题
Scrapy与BeautifulSoup或lxml相比如何？ BeautifulSoup和lxml是用于解析HTML和XML的库。Scrapy是一个用于编写Web爬虫的应用程序框架，可以抓取网站并从中提取数据。
-
发表了文章 2019-03-20
使用scrapy 1.6自带的Telnet控制台
Scrrapy附带一个内置的telnet控制台，用于检查和控制Scrapy运行过程。telnet控制台只是运行在Scrapy进程中的常规python shell，因此您可以从它执行任何操作。 telnet控制台是内置Scrapy扩展默认情况下是启用的，但如果需要，也可以禁用它。
-
发表了文章 2019-03-19
分布式scrapy_redis源码总结，及其架构
分布式scrapy的组件源码介绍完了，大致总结一下，相关组件目录如下： 《RedisSpider的调度队列实现过程及其源码》 《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》 《scrapy分布式调度源码及其实现过程》 《scrapy分布式Spider源码分析及...
-
发表了文章 2019-03-18
scrapy_redis分布式组件Connection源码解读及工作原理
之前已经将主要的scrapy_redis分布式组件源码及其工作原理介绍完成，今天介绍分布式组件的最后一个Connection，这是Redis的连接组件。 《RedisSpider的调度队列实现过程及其源码》 《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》 ...
-
发表了文章 2019-03-17
python设计模式（二十三）：访问者模式
访问者模式，数据结构中保存着许多元素，当改变一种对元素的处理方式但时，我们避免重复的修改数据类的结构，那我们在设计之初就将数据的处理分离，即数据类只提供一个数据处理的接口，而数据类的处理方法我们叫它访问者，那么相同结构的数据面临不同的处理结果时，我们只需要创建不同的访问者。
-
发表了文章 2019-03-17
python五行代码解决滑块验证的缺口距离识别，破解滑块验证
目前网上关于滑块的缺口识别的方法很多，但是都不极简，看起来繁杂，各种算法的都有，有遍历的有二分法的，今天写个最简单，准确率最高的。 直接看代码： def FindPic(target, template): """ 找出图像中最佳匹配位置 :param target: 目...
-
发表了文章 2019-03-17
python设计模式（二十二）：策略模式
策略模式，让一个类的行为或其算法可以在运行时更改，策略是让实例化对象动态的更改自身的某些方法使用的是types.MethodType绑定。 说起策略的动态更改方法，就不得不对比一下元类的动态增加方法，元类是类的抽象，它负责一个抽象类创建、实例化，是通过type函数来绑定方法。
-
发表了文章 2019-03-17
python设计模式（二十一）：状态模式
状态模式，当对象的内部状态改变的时候，允许对象执行不同的流程，看起来就像改写了一个对象，核心的方法是把复杂状态变化情况下的流程抽象出来，简化复杂情况状态的判断。 我们设计一个应用场景：当状态是CPU使用率，在不同状态下的自动化运维脚本执行不同的操作 示例code： class Base: def executor(self, value): self.
暂无更多信息
-
发表了文章
2019-04-29
pyppeteer持久化修改网站检测浏览器的特征值
-
发表了文章
2019-04-29
pyppeteer最为核心类Page的接口方法(下)
-
发表了文章
2019-04-29
pyppeteer最为核心类Page的接口方法
-
发表了文章
2019-04-29
pyppeteer的Browser类及其BrowserContext类
-
发表了文章
2019-04-24
Python中与selenium齐名的pyppeteer库
-
发表了文章
2019-04-24
python数据结构与算法总结
-
发表了文章
2019-04-24
python中的哈希表数据结构
-
发表了文章
2019-04-21
python实现二分查找算法
-
发表了文章
2019-04-21
python实现顺序查找和哈希查找算法
-
发表了文章
2019-04-19
python实现归并算法
-
发表了文章
2019-04-18
python实现插入排序算法
-
发表了文章
2019-04-18
python实现希尔排序算法
-
发表了文章
2019-04-16
python实现插入排序算法
-
发表了文章
2019-04-15
python实现选择排序算法
-
发表了文章
2019-04-14
python实现冒泡排序算法
-
发表了文章
2019-04-13
平衡二叉树简介
-
发表了文章
2019-04-12
python实现二叉树数据结构的多种遍历方式
-
发表了文章
2019-04-11
python实现二叉树及其基本方法
-
发表了文章
2019-04-10
python中的树数据结构
-
发表了文章
2019-04-09
Python实现双端队列数据结构及其基本方法
滑动查看更多
暂无更多信息
暂无更多信息