一、Numpy Pandas
1.1 简介
方便数组 矩阵运算
1.2 优势
运算速度快：numpy 和 pandas 都是采用 C 语言编写, pandas 又是基于 numpy, 是 numpy 的升级版本。
消耗资源少：采用的是矩阵运算，会比 python 自带的字典或者列表快好多。
代码更简洁：大量的数学函数【数组、矩阵】
性能更高效：数组 自己的存储格式，比原生的List好很好。
二、安装Numpy
2.1 anaconda
1.自带了Numpy,继承了非常多的库，首选安装环境。
2.pip install numpy
import numpy as np
三、Numpy vs Python
3.1 数组加法
1.数组 A B为1~N的数字的平方和立方
1 2 4 9 …
1 3 27 64 …
四、Numpy-Array
1.Numpy的核心数据结构，就叫做array就是数组， array对象可以是一维数组， 也可以是多维数组;
2.Python的List也可以实现相同的功能， 但是aray比List的优点在于性能好、 包含数组元数据信息大量的便捷函数;
3.Numpy成为事实上的Scipy. Pandas、 Scikit-Learn. Tensorflow. PaddlePaddle等框架的“通用底层语言”
4.Numpy的array和Python的List的一 个区别，它元素必须都是同一种数据类型,比如都是数字int类型，这也是Numpy高性能的一个原因;
array本身的属性
●shape: 返回一个元组，表示array的维度
●ndim: -个数字,表示array的维度的数目
●size: -个数字,表示array中所有数据元素的数目
●dtype: array中元素的数据类型
4.1 Array创建操作
1.从Python的列表L ist和嵌套列表创建array
2.使用预定函数arange. ones/ones_ like. zeros/zeros_ ike. empty/empty like. fllulll like. eye等函数创建
3.生成随机数的np.random模块构建
import numpy as np # 1.创建数组 x = np.array([1,2,3,4,5,6,7,8]) y = np.array([[123,456,789],[123,456,789]]) print(x) # [1 2 3 4 5 6 7 8] print(y) # [[123 456 789] [123 456 789]] # 2.array数组的属性 print(x.shape) # (8,) print(y.shape) # (2, 3) print(y.size) # 6 print(x.dtype) # int32 # 3.创建便捷函数 z1 = np.arange(10) # [0 1 2 3 4 5 6 7 8 9] z2 = np.arange(2,10,2) # [2 4 6 8] print(np.random.rand()) # 0.8003246658237291 print(np.random.rand(3)) # [0.22203232 0.07369858 0.02427968] print(np.random.rand(3,2)) # [[0.66349363 0.86112248] [0.11068548 0.89208492] [0.34897576 0.57025273]]
4.2 数组索引查询
1.给已有的数据添加多行,比如增添一些样本数据进去;
2.给已有的数据添加多列,比如增添一些特征进去;
以下操作均可以实现数组合并:
●np.concatenatelarray_ list, axis=0/1) : 沿着指定axis进行数组的合并
●np.vstack或者np.row_ stackarray_ list) :垂直vertically.按行row wise进行数据合并
●np.hstack或者np.column_ stackarray_ Jist) :水平horizontally.按列column wise进行数据合并
Numpy与Pandas数据的相互转换
Pandas是在Numpy基础上建立的非常流行的数据分析类库;
提供了强大针对异构、表格类型数据的处理与分析能力。
本节绍Numpy和Pandas的转换方法:
Numpy数组怎样输入给Pandas的Series、DataFrame ;
Pandas的Series、 DataFrame怎样转换成Numpy的数组
import numpy as np
import numpy as np # 1.创建数组 x = np.array([1,2,3,4,5,6,7,8]) y = np.array([[123,456,789],[123,456,789]]) print(x) # [1 2 3 4 5 6 7 8] print(y) # [[123 456 789] [123 456 789]] # 2.array数组的属性 print(x.shape) # (8,) print(y.shape) # (2, 3) print(y.size) # 6 print(x.dtype) # int32 # 3.创建便捷函数 z1 = np.arange(10) # [0 1 2 3 4 5 6 7 8 9] z2 = np.arange(2,10,2) # [2 4 6 8] print(np.random.rand()) # 0.8003246658237291 print(np.random.rand(3)) # [0.22203232 0.07369858 0.02427968] print(np.random.rand(3,2)) # [[0.66349363 0.86112248] [0.11068548 0.89208492] [0.34897576 0.57025273]] # 4.改变reshape print(np.arange(10).reshape(2,5).shape) # (2, 5) 以为数组 转换成 2行5列的数组 # 5.索引查询 a = np.arange(10) b = np.arange(20).reshape(4,5) print(a[2],a[5],a[-1]) # 2 5 9 print(a[2:4]) # [2 3] print(a[2:-1]) # [2 3 4 5 6 7 8] print(a[2:]) # [2 3 4 5 6 7 8 9] print(a[:6]) # [0 1 2 3 4 5] print(b[0,0]) # 0 print(b[-1,2]) # 17 print(b[:-1]) # [[ 0 1 2 3 4] [ 5 6 7 8 9] [10 11 12 13 14]] print(b[:2,2:4]) # [[2 3] [7 8]] # 布尔索引 print(a>5) # [False False False False False False True True True True] print(a[a>5]) # [6 7 8 9] # 6.random随机函数 np.random.seed(666) print(np.random.rand(5)) print(np.random.rand(3, 4)) print(np.random.rand(2, 3, 4)) print(np.random.randn(5)) # [-1.20990266 -0.04618272 -0.44118244 0.46953431 0.44325817] print(np.random.randint(1,10)) # 9 print(np.random.randint(10,30,size=(5,))) # [25 13 29 15 15] print(np.random.randint(10,30,size=(2,3,4))) print(np.random.random(5)) # [0.2026436 0.63279787 0.18935861 0.1308497 0.75765845] print(np.random.random(size=(3,4))) c = np.arange(10) print(np.random.shuffle(c)) d = np.random.normal(1,10,10) # 均值为1 方差为10 的10个高斯分布数字 # 7.统计学函数 arr = np.arange(12).reshape(3,4) print(np.sum(arr)) # 66 print(np.prod(arr)) # 0 print(np.cumsum(arr)) # [ 0 1 3 6 10 15 21 28 36 45 55 66] print(np.cumprod(arr)) # [0 0 0 0 0 0 0 0 0 0 0 0] print(np.min(arr)) # 0 print(np.mean(arr)) # 5.5 print(np.std(arr)) # 3.452052529534663 print(np.var(arr)) # 11.916666666666666 # 8.axis=0 代表行 axis=1 代表列 print(arr.sum(axis=0)) # [12 15 18 21] print(arr.sum(axis=1)) # [6 22 38] # 9.机器学习标准化 A = (A - mean(A,axis=0))/std(A,axis=0) mean = np.mean(arr,axis=0) # 计算每列的均值 std = np.std(arr,axis=0) # 计算每列的方差 # 10.数据合并操作 # 不同来源数据的合并，行【数据】列【特征】 e = np.arange(6).reshape(2,3) f = np.random.randint(10,20,size=(4,3)) print(np.concatenate([e, f])) print(np.vstack([e, f])) print(np.row_stack([e, f])) # 列合并 g = np.arange(12).reshape(3,4) h = np.random.randint(10,20,size=(3,2)) np.concatenate([e, f],axis=1) np.hstack([e, f]) np.column_stack([e, f]) # 11.计算逆矩阵求解线性方程组 A = np.array([ [1,1,1], [0,2,5], [2,5,-1] ]) B = np.linalg.inv(A) # B为A的逆矩阵 print(np.matmul(A, B)) # 12.Numpy 与 Pandas 数据转换 # 13.Numpy输入到sklearn
