python之战
python之战_个人页
python之战
文章
90
问答
0
视频
0
个人介绍
专注python学习与应用擅长爬虫、web、全栈，专注ＲＰＡ技术实施；（个人公号：Python之战）
擅长的技术
-
发表了文章 2019-03-17
python设计模式（二十）：观察者模式
观察者模式，核心抽象对象管理所有依赖他的其他类，并在设计中使其在发生变动时，主动通知并更新其他类；也叫模型-视图模式、源-收听者模式、从属者模式。 该模式必须包含两个角色：观察者和被观察对象。在刚才的例子中，业务数据是被观察对象，用户界面是观察者。
-
发表了文章 2019-03-17
python设计模式（十九）：备忘录模式
备忘录，定义是：在不破坏封闭的前提下，捕获一个对象的内部状态，并在该对象之外保存这个状态。这样以后就可将该对象恢复到原先保存的状态。简单来说在运行过程中我们可以记录某个状态，当遇到错误时恢复当前状态，这在业务流程中是用设计来处理异常情况。
-
发表了文章 2019-03-17
python设计模式（十八）：中介者模式
将其他对象之间的交互装在中介者对象中，达到松耦合、隐式引用、独立变化，与代理模式有相似之感《python设计模式（十一）：代理模式模式》，但是代理模式是结构性模式，侧重于对对象调用的接口控制，而中介者模式是行为性模式，解决对象与对象之间相互调用的行为问题。
-
发表了文章 2019-03-17
python设计模式（十七）：迭代器模式——迭代器与生成器
迭代模式：对外提供一个接口，实现顺序访问聚合数据，但是不显示该数据的内部机制。这就是Python中大名鼎鼎的迭代器。 实现迭代模式对于Python来说没有多余的代码，寥寥几行代码足可以实现迭代模式。 示例code： # -*- coding:utf-8 -*-def FibonacciSeque...
-
发表了文章 2019-03-17
Python装饰器abstractmethod、property、classmethod、staticmethod及自定义装饰器
总览： @abstractmethod：抽象方法，含abstractmethod方法的类不能实例化，继承了含abstractmethod方法的子类必须复写所有abstractmethod装饰的方法，未被装饰的可以不重写 @ property：方法伪装属性，方法返回值及属性值，被装饰方法不能有参数，...
-
发表了文章 2019-03-17
python设计模式（十六）：命令模式
“行为请求者”与“行为实现者”通常呈现一种“紧耦合”。但在某些场合，比如要对行为进行“记录、撤销/重做、事务”等处理，这种无法抵御变化的紧耦合是不合适的。在这种情况下，如何将“行为请求者”与“行为实现者”解耦？将一组行为抽象为对象，实现二者之间的松耦合。
-
发表了文章 2019-03-17
python设计模式（十五）：责任链模式
将多个处理方法连接成一条链条，请求将在这条链条上流动直到该链条中有一个节点可以处理该请求；通常这条链条是一个对象包含对另一个对象的引用而形成链条，每个节点有对请求的条件，当不满足条件将传递给下一个节点处理。
-
发表了文章 2019-03-17
python设计模式（十四）：模板方法模式
定义一个算法或者流程，部分环节设计为外部可变，用类似于模板的思想来实例化一个实体，可以往模板中填充不同的内容；在模板思想下，实体的整体框架是确定的，他是一个模板，但是模板下内容可变，从而实现了动态的更新流程或算法。
-
发表了文章 2019-03-17
python设计模式（十三）：解释器模式
此前已经将创造型模式、结构性模式分享了，后面将分享模式设计中的另一种典型模式：行为型模式。 创造型模式是解决实体的生成问题、结构性模式是为了解决实体的组合、搭配问题 ，而行为型设计模式的出现是为了解决不同实体通信的问题。
-
发表了文章 2019-03-17
python设计模式（十二）：结构型模式总结
前面总结了创造型结构模式《python设计模式（四）：单例模式及创建型模式总结》，及其创造性模式的常用几种模式总结：《python设计模式（一）：工厂方法与抽象工厂及应用场景》、《python设计模式（二）：建造者模式》、《python设计模式（三）：原型模式—快速实例化类的一种途径》。
-
发表了文章 2019-03-17
scrapy_redis中序列化源码及其在程序设计中的应用
序列化 (Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。
-
发表了文章 2019-03-16
python中配置文件的使用方法
项目中使用的常量，我们把它收集在一个文件中，这就是配置文件。配置文件在项目中是非常必要的，它避免了项目中文件对常量的分散使用，让常量可以统一修改，避免造成修改不全面的问题。 常用的配置文件后缀是.ini、.conf、.py，当然还有使用.json、.txt的，推荐使用常用的.ini、.py，配置文件的名字一般是config便于理解和使用。
-
发表了文章 2019-03-15
scrapy分布式去重组件源码及其实现过程
scrapy_redis在继承scrapy去重组件的基础上覆盖了某些方法，原scrapy去重是基于单机情况下的内部去重，但是分布式是多机条件下的多爬虫协同去重，因此需要让不同及其上的同一个爬虫能够在同一个地方进行去重，这就是Redis的集合。
-
发表了文章 2019-03-14
scrapy分布式Spider源码分析及实现过程
分布式框架scrapy_redis实现了一套完整的组件，其中也实现了spider，RedisSpider是在继承原scrapy的Spider的基础上略有改动，初始URL不在从start_urls列表中读取，而是从redis起始队列中读取。
-
发表了文章 2019-03-14
scrapy中scrapy_redis分布式内置pipeline源码及其工作原理
scrapy_redis分布式实现了一套自己的组件，其中也提供了Redis数据存储的数据管道，位于scrapy_redis.pipelines,这篇文章主要分析器源码及其工作流程，源码如下： from scrapy.
-
发表了文章 2019-03-14
scrapy分布式调度源码及其实现过程
scrapy_redis.scheduler取代了scrapy自带的scheduler调度，scheduler实现队列、url去重、Request管理的功能， 负责调度各个spider的request请求，scheduler初始化时，通过settings文件读取queue和dupefilters的...
-
发表了文章 2019-03-12
python设计模式（十）：享元模式
元，可理解为python中的元类、最小粒度的类，系统中存在大量的相似对象时，可以选择享元模式提高资源利用率。 # -*- coding:utf-8 -*-class FlyweightBase: def offer(self): """享元基类""" pas...
-
发表了文章 2019-03-12
python设计模式（九）：外观模式
# -*- coding:utf-8 -*-class API1: def Save(self): print('保存数据A') def Del(self): print('删除数据A')class API2: def Save(self)...
-
发表了文章 2019-03-12
python设计模式（九）：外观模式
# -*- coding:utf-8 -*-class API1: def Save(self): print('保存数据A') def Del(self): print('删除数据A')class API2: def Save(self)...
-
发表了文章 2019-03-12
python设计模式（八）：装饰模式
装饰模式指的是在不必改变原类文件和使用继承的情况下，动态地扩展一个对象的功能。它是通过创建一个包装对象，也就是装饰来包裹真实的对象。 在Python种实现动态扩展对象功能的方法，最简单的是通过复写__getattr__函数，在getattr种写入我们需要扩展的功能，实例代码如下： 特点 （1） 装饰对象和真实对象有相同的接口。
-
发表了文章 2019-03-12
python设计模式（七）：组合模式
组合，将对象组合成树状结构，来表示业务逻辑上的[部分-整体]层次，这种组合使单个对象和组合对象的使用方法一样。 如描述一家公司的层次结构，那么我们用办公室来表示节点，则总经理办公司是根节点，下面分别由人事办公室、业务办公室、生产办公室、财务办公室，每个办公室下面可以还有跟小的办公室，每个办公室都...
-
发表了文章 2019-03-12
python设计模式（六）：桥接模式
桥接，是像一座桥连接两岸，而Python程序设计中的桥接指的是抽象部分和实体部分的连接，简单来说是类和类实例化过称中的连接。 桥接模式通过在类和类实例化中间作用，使其抽象和实现可以独立变化而不互相干扰，这就是桥接模式最大的作用。
-
发表了文章 2019-03-12
python设计模式（五）：适配器模式——各种类接口的合并
适配器可以理解为万能接口，各种类可以通过这个接口然后被调用，达到万能转换的效果。 他的实现是以我们定义的适配器函数来分类，将各种类的不同方法注册到对应的分类函数中，调用的时候只需要使用分类名，这样就达到了适配所有类不同方法的效果.
-
发表了文章 2019-03-12
python设计模式（五）：适配器模式——各种类接口的合并
适配器可以理解为万能接口，各种类可以通过这个接口然后被调用，达到万能转换的效果。 他的实现是以我们定义的适配器函数来分类，将各种类的不同方法注册到对应的分类函数中，调用的时候只需要使用分类名，这样就达到了适配所有类不同方法的效果.
-
发表了文章 2019-03-12
python设计模式（四）：单例模式及创建型模式总结
单例，顾名思义是一个实例，即在一个项目之中，单例的类只实例化一次。它常常应用于数据库操作、日志函数。 在一个大型项目中使用到日志和数据库操作的地方很多，不能每个文件都去单独实例化一次，此时单例模式就显示出了他的价值。
-
发表了文章 2019-03-12
python设计模式（三）：原型模式—快速实例化类的一种途径
原型是相对于复制、克隆而言，但是不同于模板，模板创造出的东西是一模一样，而原型创造的东西是允许差异化和个性化存在，这就是原型。 原型模式最为核心的两点是：拷贝、属性更新；拷贝指深拷贝copy.deepcopy，属性更新是类的自有属性__dict__的更新。
-
发表了文章 2019-03-12
python设计模式（二）：建造者模式
建造者，顾名思义是修建建筑的工人，按照基本的施工方式：打桩-浇筑框架-砌墙-装修，同样的施工流程却能造就千差万别的建筑，因为不同的材料、不同设计，可以表现出千差万别，这就是建造者模式的简要理解。 示例代码： # -*- coding:utf-8 -*-class Builder(): "...
-
发表了文章 2019-03-12
python设计模式（一）：工厂方法与抽象工厂及应用场景
工厂方法与抽象工厂是否傻傻分不清，力求以最简单和最直接的方式来理解模式设计，毕竟模式的初衷是化繁为简，就该用最简单的方式来理解。 示例code： 工厂模式 # -*- coding:utf-8 -*-class A: def __init__(self): self.
-
发表了文章 2019-03-12
python处理滑块验证的轨迹计算问题
在上一回中说了五行代码找图中滑块验证的缺口位置《python五行代码解决滑块验证的缺口距离识别，破解滑块验证》，本章讲轨迹相关的问题。 滑块验证核心是后台验证轨迹参数，效验轨迹取点的分布，正常情况是如下图的离散分布 如果横坐标x是时间、纵坐标y是位移，那么每个点的切线就是加速度，会发现这样的一个规律，加速度由小变大，再又大变小，这是最主要的特征之一。
-
发表了文章 2019-03-12
python另类处理Google和12306的图形验证
随着反爬虫的深入，后来不仅有滑块验证，还出现了点选验证、图形验证、汉字图形验证、其中较为知名的是Google的图形验证和12306的图形验证，以及知乎出现的倒立汉字验证。 应对图形验证的方式除了对接专业的验证平台以外，我们还可以通过处Email、微信将图片发给自己来选择点击位置，今天就分享如何方便自己点击选择。
-
发表了文章 2019-03-12
python垃圾回收机制（GC）相关问题
在使用python中很少遇到内存溢出的问题，也不关心内存的管理问题，这是高级语言自带的处理机制，将内部的垃圾空间清除。 要清楚是怎么回收垃圾的，那我们应该先明白什么情况下产生垃圾，就涉及到python内部的对象管理方法。
-
发表了文章 2019-03-12
python常用内建属性大全
在python中创建一个类，它不仅有我们自定义的属性和方法，还有与生俱来的一些属性和方法，我们叫它内建属性。 下面是类常用内建属性列表。 常用专有属性 说明 触发方式 __init__ 构造初始化函数 创建实例后,赋值时使用,在__new__后 __new__ 生成实例所需属性 创建实例时 __class__ 实例所在的类 实例.
-
发表了文章 2019-03-12
Scrapy框架快速创建项目命令、框架的结构
Scrapy在爬虫开发领域是非常不错的一款框架，如果要从事爬虫开发那么这款框架一定要非常熟悉，尽管在实际开发中可能用不上，但是其中的架构思想也能让自己写的爬虫质量有不一般的提升。 Scrapy框架应该掌握的几条命令： CMD命令行界面执行 scrapy shell [url] 该条命令常用于scrapy开发前的测试，如：scrapy shell 执行完该条命令后可运行，view（response）将用默认浏览器打开下载的URL页面。
-
发表了文章 2019-03-12
scrapy中最为重要的两个对象Request、Response
Request request是请求对象，参数列表为Request[url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errbac...
-
发表了文章 2019-03-12
scrapy中数据处理的两个模块：ItemPipeline与Exporter
scrapy提供了如题两个模块来扩展我们的数据处理方式，其中Item Pipeline功能有数据清洗、效验、过滤、存库的作用，Exporter用于扩展scrapy导出数据的格式。 Item Pipeline item pipeline在scrapy项目文件下的pipeline.
-
发表了文章 2019-03-12
scrapy自带文件下载器，实现多层级目录结构的存储
概scrapy既然是一款强大的爬虫框架，自然也实现了图片和文件的下载，FilesPipeline、ImagesPipeline分别是图片和文件的下载器，image也是文件的一种为什么还要单独提供一个image下载器？这是因为图片下载器还提供了一些额外方法：缩略图生成、图片过滤；今天就来介绍这两款特殊的下载器。
-
发表了文章 2019-03-12
python应用POP3、ＩＭＡＰ、SMTP 协议，获取邮箱验证码
ＰＯＰ３和ＩＭＡＰ是邮件相关的协议，ＩＭＡＰ是比ＰＯＰ３更高级一点的协议，实现了了客户端和服务端的交互；邮件协议在实际工作中的应用较为广泛。POP3 它是因特网电子邮件的第一个离线协议标准,POP3允许用户从服务器上把邮件存储到本地主机（即自己的计算机）上,POP3协议允许电子邮件客户端下载服务器上的邮件，但是在客户端的操作（如移动邮件、标记已读等），不会反馈到服务器上 SMTPSMTP 的全称是“Simple Mail Transfer Protocol”，即简单邮件传输协议。
-
发表了文章 2019-03-12
RedisSpider的调度队列实现过程及其源码
对于非分布式的scrapy爬虫而言，不能共享爬虫队列，不能实现分布式。RedisSpider是依赖Redis存储中介，来实现多台主机多爬虫之间的通信，RedisSpider是去重是内部的queue.py文件实现的，内部实现了队列、堆栈、优先级队列，在调度的统一协调下最终实现分布式协同工作。
-
发表了文章 2019-03-10
scrapy框架通用爬虫、深度爬虫、分布式爬虫、分布式深度爬虫，源码解析及应用
scrapy框架是爬虫界最为强大的框架，没有之一，它的强大在于它的高可扩展性和低耦合，使使用者能够轻松的实现更改和补充。 其中内置三种爬虫主程序模板，scrapy.Spider、RedisSpider、CrawlSpider、RedisCrawlSpider（深度分布式爬虫）分别为别为一般爬虫、分布式爬虫、深度爬虫提供内部逻辑；下面将从源码和应用来学习， scrapy.
-
发表了文章 2019-03-09
scrapy中间件源码分析及常用中间件大全
中间件位于引擎与下载器、引擎与spider之间，是处理scrapy中两个重要对象Request、Response及数据数据对象Item的重要的扩展。 那么中间件分类两类就不难理解了，其中一类在引擎与下载器之间我们可以称之为下载中间件、另一个在引擎与spider之间我们可以称之为爬虫中间件；下载中间件和spider中间件都对Request、Response请求处理，根据位置不同，他们主要负责的职能也不同。
暂无更多信息
-
发表了文章
2019-04-29
pyppeteer持久化修改网站检测浏览器的特征值
-
发表了文章
2019-04-29
pyppeteer最为核心类Page的接口方法(下)
-
发表了文章
2019-04-29
pyppeteer最为核心类Page的接口方法
-
发表了文章
2019-04-29
pyppeteer的Browser类及其BrowserContext类
-
发表了文章
2019-04-24
Python中与selenium齐名的pyppeteer库
-
发表了文章
2019-04-24
python数据结构与算法总结
-
发表了文章
2019-04-24
python中的哈希表数据结构
-
发表了文章
2019-04-21
python实现二分查找算法
-
发表了文章
2019-04-21
python实现顺序查找和哈希查找算法
-
发表了文章
2019-04-19
python实现归并算法
-
发表了文章
2019-04-18
python实现插入排序算法
-
发表了文章
2019-04-18
python实现希尔排序算法
-
发表了文章
2019-04-16
python实现插入排序算法
-
发表了文章
2019-04-15
python实现选择排序算法
-
发表了文章
2019-04-14
python实现冒泡排序算法
-
发表了文章
2019-04-13
平衡二叉树简介
-
发表了文章
2019-04-12
python实现二叉树数据结构的多种遍历方式
-
发表了文章
2019-04-11
python实现二叉树及其基本方法
-
发表了文章
2019-04-10
python中的树数据结构
-
发表了文章
2019-04-09
Python实现双端队列数据结构及其基本方法
滑动查看更多
暂无更多信息
暂无更多信息