罗兵_个人页

python 3 安装 scrapy 并运行成功

今天，python 3 安装 scrapy， 并运行成功。特此纪念！ 我的环境：windows 10(64位) + python 3.5.2(64位) 其中几个要点说明一下： 1、有几个依赖库需要事先单独安装 往往，在安装scrapy依赖库，即在 pip install scrapy 过程中，会出现红色错误的。

pandas 前后行操作

一、前后行满足条件 问题： 各位老师好，我有一个dataframe 产品 数据1 数据2 A 1 2 B 4 5 C 6 3 我想找出比如这一行数据1>数据2 AND 数据1的上一行3 AND 4 12) In [78]: mask Out[78]: 0 False 1 False...

计算器

import tkinter as tk from tkinter import ttk import pandas as pd from prettytable import PrettyTable '''号码投注方案计算器''' # 程序界面 class AppWindow(tk.

圣彼得堡悖论之破解

import numpy as np import pandas as pd '''圣彼得堡悖论：[1,2,4,8,16,...]''' class StPetresburg(object): def __init__(self, beitou=2, peilv=1.

matplotlib 的几种风格 练习

〇、准备数据 import numpy as np x = np.linspace(0, 5, 10) y = x ** 2 一、matlab风格的API 1.单图 from pylab import * figure() plot(x, y, 'r') xlabel('x') ylabel('y') title('title') show() 2.

【转】使用sklearn优雅地进行数据挖掘

这里是原文 目录 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术并行处理 并行处理 2.1 整体并行处理 2.2 部分并行处理流水线处理自动化调参持久化回顾总结参考资料使用sklearn进行数据挖掘 1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 　　数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。

【转】使用sklearn做单机特征工程

这里是原文 说明：这是我用Markdown编辑的第一篇随笔 目录 1 特征工程是什么？ 2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 无量纲化与正则化的区别 2.

Ta-lib 函数一览

    import tkinter as tk from tkinter import ttk import matplotlib.pyplot as plt import numpy as np import talib as ta series = np.

python大数据工作流程

本文作者：hhh5460   大数据分析，内存不够用怎么办？ 当然，你可以升级你的电脑为超级电脑。 另外，你也可以采用硬盘操作。 本文示范了硬盘操作的一种可能的方式。   本文基于：win10(64) + py3.

pandas 透视表 pivot_table

The function pandas.pivot_table can be used to create spreadsheet-style pivot tables.It takes a number of arguments    data: A DataFrame object    val...

pandas groupby

pandas.DataFrame.groupbyDataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs)Group series...

pandas 时间序列resample

resample与groupby的区别：resample：在给定的时间单位内重取样groupby：对给定的数据条目进行统计函数原型：DataFrame.resample(rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention='start', kind=None, loffset=None, limit=None, base=0)其中，参数how已经废弃了。

pandas 数据索引与选取

我们对 DataFrame 进行选择，大抵从这三个层次考虑：行列、区域、单元格。其对应使用的方法如下：一. 行，列 --> df[]二. 区域   --> df.loc[], df.iloc[], df.

python实现概率分布

1. 二项分布（离散） import numpy as np from scipy import stats import matplotlib.pyplot as plt ''' # 二项分布 (binomial distribution) # 前提：独立重复试验、有放回...

python中class 的一行式构造器

好处：避免类初始化时大量重复的赋值语句   用到了魔法__dict__   # 一行式构造器 class Test(): # 初始化 def __init__(self, a, b, c=2, d=3, e=4, f=5): self.

python 字符编码练习

通过下面的练习，加深对python字符编码的认识 # \x00 - \xff 256个字符 >>> a = range(256)>>> b = bytes(a) # 不用参数encoding >>> b b'\x00\x01\x02 .

读取文件最后一行的两种方式

  '''读取文件最后一行''' import os # 小文件：批量读取 def get_last_line(filename='mark.csv'): fullfilename = os.

字符编码小结

预备知识 ==============================存储器位(bit),字节(byte),字(word), 双字(double word)1 byte = 8 bits1 word = 2 bytes = 16 bits1 double word = 2 words = 4 bytes = 32 bits ASCII编码 ==============================单字节来自远古时代。

flask 使用 SQLAlchemy 的两种方式

1. 使用 flask-SQLAlchemy 扩展 # flask-ext-sqlalchemy.py from flask import Flask from flask.ext.

python package 的两种组织方式

方式一/package1/ .../__init__.py # 空文件   .../class1.py class Class1: def __init__(self): self.

sqlalchemy 的 raw sql 方式使用示例

#获取数据库 from sqlalchemy import create_engine db = create_engine("sqlite:///:memory:", echo=True) #创建表 db.

sqlalchemy 的 ORM 与 Core 混合方式使用示例

知乎： sqlalchemy 的 ORM 与 Core 混合方式操作数据库是一种怎样的体验？ 答： 酸！   本文基于：win 10 + python 3.4 + sqlalchemy 1.0.13   基本步骤如下：   1.

sqlalchemy 的 Core 方式使用示例

知乎： sqlalchemy 的 Core 方式操作数据是一种怎样的体验？ 答： 爽！   本文基于：win 10 + python 3.4 + sqlalchemy 1.0.13   基本步骤如下：   1.

sqlalchemy 的 ORM 方式使用示例

知乎： 使用 sqlalchemy 的 orm 方式操作数据库是一种怎样的体验？ 答： 酸爽！   本文基于：win10 + python3.4 + sqlAlchemy 1.0.13 先看一个图（来源）： 这是 sqlalchemy 的层级图。

sys.stdin的三种方式

1. for line in sys.stdin: import sys sys.stdout.write('根据两点坐标计算直线斜率k，截距b：\n') for line in sys.

可以多分类的神经网络

''' 11行神经网络① 层数可变，多类 ''' import numpy as np import matplotlib.pyplot as plt class BPNN(object): def __init__(self, neurals, epsilon=0.

修改后的神经网络

修改的地方： 1. 函数名、数据格式与sklearn一致 2. 增加了网络性能不变时就结束的判断（否则，存在偶然的机会报NaN错误） # neuralnetwork.py # modified by Robin 2016/04/20 import numpy as np from math import exp, pow from mpl_toolkits.

数字热力图

  静态单图 import numpy as np import matplotlib.pyplot as plt # 号码热力图 pre = 49 a = np.random.

pyqt5界面与逻辑分离--信号槽的装饰器实现方式

本文展示了 pyqt5 信号槽的装饰器实现方式(借鉴自 eirc6)   一个简单的例子。实现功能：两个数相加，显示结果。如图   两个文件，第一个是界面文件 ui_calc.py # ui_calc.

python 转 exe -- py2exe库实录

本文基于windows 7 + python 3.4   把python程序打包成exe，比较好用的库是py2exe 其操作步骤是: --> 编写python程序 --> 再额外编写一个导入了py2exe的python脚本(不妨如：setup.

pandas 练习

from pandas import Series, DataFrame # Series接收list或dict作为一维数据 #两个属性：values, index #① s1 = Series([4,7,-5,3]) print(s1.

神经网络梯度下降的三种学习方式

# Batch gradient descent(批量梯度下降) for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = para...

神经网络对比

1. 只能分两类 层数固定不变 层数可以变化 ''' 11行神经网络① 固定三层，两类 ''' # 只适合 0, 1 两类。若不是，要先转化 import numpy as np X = np.

ubuntu上怎么设置默认python命令是执行python3而不是python2

来源：https://segmentfault.com/q/1010000003713912   alternatives这么好的机制用起来呀。 shell里执行： sudo update-alternatives --install /usr/bin/python python /us...

sklearn分类

近期的事务与sklearn有关，且主要用到了分类。在此做一点笔记 进行分类大概涉及三个知识点： 一. 分类器 二.特征选择 三.模型选择   一.分类器(Classification) 实例一：plot_classifier_comparison.

tkinter 改变按钮状态

import tkinter as tk def btn1_change_btn1(event): '''方式一：通过事件控制自己''' if event.widget['state'] == 'normal': event.

python 遗传算法精简版

精简版遗传算法，算法中仅采用变异算子而没有使用交叉算子，但是进化依然很有效     from string import ascii_lowercase from random import choice, random '''精简版遗传算法，算法中仅采用变异算子而没有使用交叉...

极简反传(BP)神经网络

 一、两层神经网络（感知机） import numpy as np '''极简两层反传(BP)神经网络''' # 样本 X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]]) y = np.

机器学习算法 Python & R速查表

python 操作注册表

import win32api import win32con keyname = r'Software\Microsoft\Internet Explorer\Main' page = 'www.

python 调用 shell 命令方法

python调用shell命令方法 1、os.system(cmd) 缺点：不能获取返回值 2、os.popen(cmd) 要得到命令的输出内容，只需再调用下read()或readlines()等  例：a=os.popen(cmd).read() 3、commands 模块，其实也是对popen的封装。

python 控制 cmd 命令行颜色

基于win7 + python3.4       import ctypes import sys '''Windows CMD命令行颜色''' # 句柄号 STD_INPUT_HANDLE = -10 STD_OUTPUT_HANDLE= -11 S...

python调用windows api

import ctypes # 方式一 ctypes.windll.user32.MessageBoxA(None, 'message', 'title', 0) # 方式二 ctypes.

python下RSA 加密/解密，签名/验证

基于win7 + python3.4   原文是py2环境，而我的环境是py3，所以对原代码做了修改：decode(), encode() import rsa # 生成密钥 (pubkey, privkey) = rsa.

python字符串str和字节数组相互转化

b = b"Hello, world!" # bytes object s = "Hello, world!" # str object print('str --> bytes') print(bytes(s, encoding="utf8")) print(str.

代码存档

from PyQt5.QtWidgets import * from PyQt5.QtCore import * from PyQt5.QtGui import * from matplotlib.

windows 7 安装 scrapy

基于64位 win7 系统   先到 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载四个 wheel 文件： 1. lxml-3.4.4-cp27-none-win_amd64.

scrapy 爬取自己的博客

定义项目 # -*- coding: utf-8 -*- # items.py import scrapy class LianxiCnblogsItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.

win32api 找不到指定的模块

pywin32 安装后 import win32api 出现ImportError: DLL load failed: 找不到指定的模块   解决方法: 拷贝 C:\Python26\Lib\site-packages\pywin32_system32\* 至 C:\Window...

SQLite3日期与时间，常见函数

SQLite3日期与时间，常见函数 import sqlite3 #con = sqlite3.connect('example.db') con = sqlite3.connect(":memory:") c = con.