python websocket学习使用
前言
今天看了一些资料,记录一下心得。
websocket是html5引入的一个新特性,传统的web应用是通过http协议来提供支持,如果要实时同步传输数据,需要轮询,效率低下
websocket是类似socket通信,web端连接服务器后,握手成功,一直保持连接,可以理解为长连接,这时服务器就可以主动给客户端发送数据,实现数据的自动更新。
[雪峰磁针石博客]软件测试专家工具包2性能测试
Locust(推荐)
了解服务器端性能的好工具。 语言python3。源码 python3+ python2.7+ github上star和fork最多的性能测试工具。
Locust是易于使用、分布式的用户负载测试工具。
进击的爬虫:用Python搭建匿名代理池
01 写在前面
常听到很多人抱怨自己的IP因爬虫次数太多而被网站屏蔽,不得不频繁使用各种代理IP,却又因为网上的公开代理大部分都是不能使用,而又要花钱花精力去申请VIP代理,几番波折又遭屏蔽。特此写一篇如何利用Python搭建代理池的文章,以降低时间及精力成本,实现自动化获取活跃代理IP的功能。
scrapy简书整站爬取
数据同步及异步存储到MySQL
对于ajax 加载的数据用selenium辅助加载解析
整站爬取提取url规则
jianshu.py 文件
import scrapy
from scrapy.