蓝色の流星VIP_高分内容_个人页

发表了文章 2018-07-16

matplotlib线型与坐标轴与四图(六)

plot语句中支持除X,Y以外的参数，以字符串形式存在，来控制颜色、线型、点型等要素，语法形式为： plt.plot(X, Y, ‘format’, …) 1 点和线的样式颜色参数color或c 五种定义...

发表了文章 2018-07-14

数据分析之scipy常用方法(五)

1 Scipy简介 Scipy依赖于Numpy Scipy提供了真正的矩阵 Scipy包含的功能：最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理、图像处理、常微分方程求解器等 Scipy是高端科学计...

发表了文章 2018-07-13

数据分析之pandas常见的数据处理(四)

常见聚合方法方法说明 count 计数 describe 给出各列的常用统计量 min,max 最大最小值 argmin,argmax 最大最小值的索引位置（整数） idx...

发表了文章 2018-07-11

鱼书学习小结(一)

1 安装环境 python -V #查看版本 pip -V #查看版本 pip list #查看列表 makedir fisher #新建项目目录 pip install pipenv #进入项...

发表了文章 2018-07-11

网络协议HTTP TCP与UDP 浏览器缓存 Restful(十)

一 TCP网络协议 1 建立TCP连接:三次握手原则客户端通过向服务器端发送一个SYN来创建一个主动打开，作为三次握手的一部分。

发表了文章 2018-07-08

爬虫入门之Scrapy框架实战(新浪百科豆瓣)(十二)

一新浪新闻爬取 1 爬取新浪新闻(全站爬取) 项目搭建与开启 scrapy startproject sina cd sina scrapy genspider mysina http://roll.

发表了文章 2018-07-07

爬虫入门之Scrapy框架基础LinkExtractors(十一)

1 parse()方法的工作机制： 1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。

发表了文章 2018-07-06

爬虫入门之Scrapy框架基础框架结构及腾讯爬取(十)

Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。

发表了文章 2018-07-05

爬虫入门之Scrapy 框架基础功能(九)

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

发表了文章 2018-07-04

python多进程与协程

1、进程的概念什么是进程—>CPU在同一时刻只能处理一个任务,只是因为cpu执行速度很快。 cpu在各个任务之间来回的进行切换。

发表了文章 2018-07-03

python多线程

在介绍Python中的线程之前，先明确一个问题，Python中的多线程是假的多线程！为什么这么说，我们先明确一个概念，全局解释器锁（GIL）什么是GIL Python代码的执行由Python虚拟机（解释器）来控制,同时只有一个线程在执行。

发表了文章 2018-07-02

爬虫入门之线程进程协程抓取方法(八)

1 多线程抓取 import lxml from lxml import etree import requests import threading import time rlock = threading.

发表了文章 2018-06-30

爬虫入门之绘图matplotlib与词云(七)

1 绘制条形图 import matplotlib # 数据可视化 from matplotlib import pyplot as plt # 配置字体 matplotlib.

发表了文章 2018-06-29

python字符串反转高阶函数 @property与sorted(八)

(1)字符串反转 1倒序输出 s = 'abcde' print(s[::-1]) #输出: 'edcba' 2 列表reverse()操作 s = 'abcde' lt = list(s) lt.

发表了文章 2018-06-28

爬虫入门之jsonPath PhantomJS与 selenium详解(六)

1 jsonPath数据格式 pip安装： pip install jsonpath 用来解析json格式的字符串，类似于xpath (1) json对象的转换 json.

发表了文章 2018-06-27

爬虫入门之爬取策略 XPath与bs4实现(五)

在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。

发表了文章 2018-06-27

爬虫入门之Requests模块学习(四)

1 Requests模块解析 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用 Requests 继承了urllib2的所有特性。

发表了文章 2018-06-25

爬虫入门之handler与opener(三)

1 自定义opener opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的模块构建好的opener 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。

发表了文章 2018-06-24

mongodbpython3.6mysql的安装

1 下载与解压在官网下载mongodb安装包 tar -zxvf mongodb-linux-x86_64-ubuntu1604-3.

发表了文章 2018-06-24

nginx配置+uwsgi+负载均衡配置

nginx静态文件配置 location /static{ alias /var/www/myApp/static; } sudo mkdir -vp /var/www/myA...

发表了文章 2018-06-24

Python 调度算法死锁静动态链接分页分段(七)

1 select poll epoll的区别基本上select有3个缺点: 连接数受限查找配对速度慢数据由内核拷贝到用户态 poll改善了第一个缺点 epoll改了三个缺点. (1）select，poll实现需要自己不断轮询所有fd集合，直到设备就绪，期间可能要睡眠和唤醒多次交替。

发表了文章 2018-06-22

爬虫入门之urllib库详解(二)

1 urllib模块 urllib模块是一个运用于URL的包 urllib.request用于访问和读取URLS urllib.

发表了文章 2018-06-21

scrapy的安装

转载：http://blog.csdn.net/c406495762/article/details/60156205 一、Scrapy简介 Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。

发表了文章 2018-06-21

爬虫之requests详解

转载: https://www.cnblogs.com/lei0213/p/6957508.html 简介　　Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。

发表了文章 2018-06-21

Python中深浅拷贝垃圾回收与 super继承(六)

1 python拷贝深拷贝，浅拷贝与引用三者的区别 import copy a = [1, 2, 3, 4, ['a', 'b']] #原始对象 b = a #赋值，传对象的引用 c = copy.

发表了文章 2018-06-20

爬虫入门之爬虫概述与urllib库(一)

1 爬虫概述 (1)互联网爬虫一个程序，根据Url进行爬取网页，获取有用信息 (2)核心任务爬取网页解析数据难点 :爬虫和反爬虫之间的博弈 (3)爬虫语言 php 多进程和多线程支持不好 java 目前java爬虫需求岗位旺盛，但代码臃肿，重构成本高，而爬虫需要经常修改，所以不好用 C\C++ 学习成本比较高，性能和效率高，停留在研究层面，市场需求量小。

发表了文章 2018-06-20

Python 进程线程协程 GIL 闭包与高阶函数（五）

1 GIL线程全局锁线程全局锁(Global Interpreter Lock),即Python为了保证线程安全而采取的独立线程运行的限制,说白了就是一个核只能在同一时间运行一个线程.对于io密集型任务，python的多线程起到作用，但对于cpu密集型任务，python的多线程几乎占不到任何优势，还有可能因为争夺资源而变慢。

发表了文章 2018-06-18

Python新式类 new init 单例模式与作用域(四)

1 新式类与旧式类新式类拥有经典类的全部特性之外,还有一些新的特性,比如 __init__发生变化,新增了静态方法__new__,python3目前都采用新式类,新式类是广度优先,旧式类是深度优先 #新式类 cla...

发表了文章 2018-06-17

Python装饰器AOP 不定长参数鸭子类型重载(三)

1 可变长参数与关键字参数 *args代表任意长度可变参数 **kwargs代表关键字参数用*args和**kwargs只是为了方便并没有强制使用它们. 缺省参数即是调用该函数时，缺省参数的值若未被传入，则传入默认预设的值。

发表了文章 2018-06-17

django模型详解(四)

1 概述 (1)概述 : Django对各种数据库提供了很好的支持,Django为这些数据库提供了统一的调用API,根据不同的业务需求选择不同的数据库 (2)定义模型模型,属性,表,字段间的关系一个模型类对...

发表了文章 2018-06-16

django模板详解(二)

1 总体结构 Django是MTV结构，即：Model, Template, View Model：定义数据的存储格式，并且提供了数据库访问的API。

发表了文章 2018-06-14

django视图详解(三)

1 视图views概述 1 作用: 视图接受web请求并响应web请求 2 本质: 视图就是python中的处理函数 3 响应: 一般是一个网页的HTML内容、一个重定向、错误信息页面、json格式的数据 2 django访问过程 #1用户在浏览器输入网址 www.

发表了文章 2018-06-13

django项目创建流程(一)

1 搭建环境 sudo apt-get install python3-pip 安装pip3 sudo pip3 install virtualenv 安装虚拟环境 virtualenv -p pyth...

发表了文章 2018-06-12

python中的线程详解

转 : https://www.jianshu.com/p/4a13a05e4f1f 我们将会看到一些在Python中使用线程的实例和如何避免线程之间的竞争。

发表了文章 2018-06-11

Python迭代器生成器,私有变量及列表字典集合推导式(二)

1 python自省机制这个是python一大特性,自省就是面向对象的语言所写的程序在运行时,能知道对象的类型,换句话说就是在运行时能获取对象的类型,比如通过 type(),dir(),getattr(),hasattr(),isinstance().

发表了文章 2018-06-10

Python类三种方法，函数传参，类与实例变量(一)

1 Python的函数传递：首先所有的变量都可以理解为内存中一个对象的‘引用’ a = 1 def func(a): a = 2 func(a) print(a) # 1 a = 1 def fun(a)...

发表了文章 2018-06-10

Flask登录注册登出代码模块(十四)

1 文件系统 blog #博客类 App forms #表单 __init__.

发表了文章 2018-06-09

Flask环境github部署(十三)

(1) github项目搭建 1 连接GitHub hostnamectl set-hostname flask-dev # 设置 hostname,一般是主机名可以不更改 ssh-keygen # 生成SSH公钥,一直enter代表不设置密码 cd .

发表了文章 2018-06-08

Flask中数据库关联表与缓存cache(十二)

1 一对多(One To Many) 表示一对多的关系时，在子表类 Post 中需要通过 foreign key (外键)引用父表类 User 在Post类中指定ForeignKey: class Post(db.

发表了文章 2018-06-07

Flask入门数据库过滤器与查询集(十一)

1 查询集：指数据查询的集合原始查询集：不经过任何过滤返回的结果为原始查询集数据查询集：将原始查询集经过条件的筛选最终返回的结果查询过滤器：过滤器功能 cls.

发表了文章 2018-06-05

Flask入门数据库框架flask-SQLAlchemy(十)

Web程序开发中最重要的莫过于关系型数据库,即SQL 数据库,另外文档数据库（如 mongodb）、键值对数据库（如 redis）慢慢变得流行. 原因 : 我们不直接使用这些数据库引擎提供的 Python 包，而是使用对象关系映射（Object-Relational Mapper, ORM）框架，是因为它将低层的数据库操作指令抽象成高层的面向对象操作。

发表了文章 2018-06-04

Flask入门邮件同步与异步发送(九)

应用场景: 用户在注册或者密码丢失等过程中,账号绑定邮箱,用户在进行身份认证的过程中,电子邮箱确实是一种很常用的方式,Python中提供了smtplib可以实现发送电子邮件功能,Flask框架也有对应的flask-...

发表了文章 2018-06-03

Flask入门文件上传邮件发送(八)

1 视图传递多个参数 (1) 普通传参 : 关键字参数传递 return render_template('模板名称.

发表了文章 2018-06-02

Flask入门表单Flask-wtf form原生与Bootstrap渲染(七)

(1) 原生的表单模板页面,form表单form.html 用户名: 密码: 在manage.

发表了文章 2018-06-01

Flask入门之模板导入与块宏(六)

1 模板包含include 主体结构(导入整个模板,直接渲染不可修改) {% include(‘模板名称’) %} {% include(‘目录/模板名称’) %} 功能: 其功能就是将另一个模板加载到当前模板中，并直接渲染在当前位置上,而且是一次渲染整个模块内容 #导入头部header.

发表了文章 2018-05-31

Flask入门模板过滤器与测试器(五)

1 模板引擎之过滤器概念 : 过滤器本质上是个转换函数，第一个参数是待过滤的变量。如果它有第二个参数，模板中就必须传进去。

发表了文章 2018-05-31

Flask入门模板Jinja2引擎与语法(四)

1 模板的创建模板文件结构: project/ templates/ 模板文件跳转模板一般使用: from flask import render_template,render_te...

发表了文章 2018-05-30

Flask入门flask-script 蓝本钩子函数(3)

flask入门(三) 1 flask-script扩展库概念: 是一个flask终端运行的解析器 ,因为项目完成以后,代码改动会有风险,所以借助终端完成不同启动项的配置安装 pip3 install fl...

发表了文章 2018-05-29

flask蓝图blueprint详解

Flask 蓝图（Blueprint）使用方式解析 Flask蓝图提供了模块化管理程序路由的功能，使程序结构清晰、简单易懂。

发表了文章 2018-05-29

Flask入门request session cookie(二)

1 HTTP方法分类 1 GET 浏览器告知服务器：只获取页面上的信息并发给我。这是最常用的方法。 2 HEAD 浏览器告诉服务器：欲获取信息，但是只关心消息头。

蓝色の流星VIP_个人页

个人介绍

擅长的技术

matplotlib线型与坐标轴与四图(六)

数据分析之scipy常用方法(五)

数据分析之pandas常见的数据处理(四)

鱼书学习小结(一)

网络协议HTTP TCP与UDP 浏览器缓存 Restful(十)

爬虫入门之Scrapy框架实战(新浪百科豆瓣)(十二)

爬虫入门之Scrapy框架基础LinkExtractors(十一)

爬虫入门之Scrapy框架基础框架结构及腾讯爬取(十)

爬虫入门之Scrapy 框架基础功能(九)

python多进程与协程

python多线程

爬虫入门之线程进程协程抓取方法(八)

爬虫入门之绘图matplotlib与词云(七)

python字符串反转 高阶函数 @property与sorted(八)

爬虫入门之jsonPath PhantomJS与 selenium详解(六)

爬虫入门之爬取策略 XPath与bs4实现(五)

爬虫入门之Requests模块学习(四)

爬虫入门之handler与opener(三)

mongodbpython3.6mysql的安装

nginx配置+uwsgi+负载均衡配置

Python 调度算法 死锁 静动态链接 分页分段(七)

爬虫入门之urllib库详解(二)

scrapy的安装

爬虫之requests详解

Python中深浅拷贝 垃圾回收与 super继承(六)

爬虫入门之爬虫概述与urllib库(一)

Python 进程线程协程 GIL 闭包 与高阶函数（五）

Python新式类 new init 单例模式与作用域(四)

Python装饰器AOP 不定长参数 鸭子类型 重载(三)

django模型详解(四)

django模板详解(二)

django视图详解(三)

django项目创建流程(一)

python中的线程详解

Python迭代器生成器,私有变量及列表字典集合推导式(二)

Python类三种方法，函数传参，类与实例变量(一)

Flask登录注册登出代码模块(十四)

Flask环境github部署(十三)

Flask中数据库关联表与缓存cache(十二)

Flask入门数据库过滤器与查询集(十一)

Flask入门数据库框架flask-SQLAlchemy(十)

Flask入门邮件同步与异步发送(九)

Flask入门文件上传邮件发送(八)

Flask入门 表单Flask-wtf form原生与Bootstrap渲染(七)

Flask入门之模板导入与块宏(六)

Flask入门模板过滤器与测试器(五)

Flask入门模板Jinja2引擎与语法(四)

Flask入门flask-script 蓝本 钩子函数(3)

flask蓝图blueprint详解

Flask入门request session cookie(二)

matplotlib线型与坐标轴与四图(六)

数据分析之scipy常用方法(五)

数据分析之pandas常见的数据处理(四)

鱼书学习小结(一)

网络协议HTTP TCP与UDP 浏览器缓存 Restful(十)

爬虫入门之Scrapy框架实战(新浪百科豆瓣)(十二)

爬虫入门之Scrapy框架基础LinkExtractors(十一)

爬虫入门之Scrapy框架基础框架结构及腾讯爬取(十)

爬虫入门之Scrapy 框架基础功能(九)

python多进程与协程

python多线程

爬虫入门之线程进程协程抓取方法(八)

爬虫入门之绘图matplotlib与词云(七)

python字符串反转 高阶函数 @property与sorted(八)

爬虫入门之jsonPath PhantomJS与 selenium详解(六)

爬虫入门之爬取策略 XPath与bs4实现(五)

爬虫入门之Requests模块学习(四)

爬虫入门之handler与opener(三)

mongodbpython3.6mysql的安装

nginx配置+uwsgi+负载均衡配置

python字符串反转高阶函数 @property与sorted(八)

Python 调度算法死锁静动态链接分页分段(七)

Python中深浅拷贝垃圾回收与 super继承(六)

Python 进程线程协程 GIL 闭包与高阶函数（五）

Python装饰器AOP 不定长参数鸭子类型重载(三)

Flask入门表单Flask-wtf form原生与Bootstrap渲染(七)

Flask入门flask-script 蓝本钩子函数(3)

python字符串反转高阶函数 @property与sorted(八)