SOTON私人定制:利用Python进行数据分析(学习Numpy)

简介: Numpy:数组和矢量计算包对于大部分数据分析工具,作者主要关注如下功能快速矢量化矩阵运算,用于数据规整化和清理,筛选,过滤,格式转换等常用矩阵算法,排序、唯一值和集合运算高效描述性统计和聚合分析数据对准,和关联数据操作,从而便于合并不同类...

Numpy:数组和矢量计算包

对于大部分数据分析工具,作者主要关注如下功能

  • 快速矢量化矩阵运算,用于数据规整化和清理,筛选,过滤,格式转换等
  • 常用矩阵算法,排序、唯一值和集合运算
  • 高效描述性统计和聚合分析
  • 数据对准,和关联数据操作,从而便于合并不同类型的数据集
  • 避免使用if-elif-else和loops进行逻辑判断
  • 分组数据操作

而Numpy的部分功能如下:

  • ndarray, 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组
  • 用于对整组数据进行快速运算的标准数学函数(无需编写循环函数)
  • 用于读写磁盘数据的工具以及用于操作内存映射文件的工具
  • 线性代数, 随机数生成以及傅里叶变换功能
  • 用于继承由C, C++, Fortran等语言编写的代码的工具

尽管Numpy并不满足作者的所有需求,但是熟练掌握的Numpy的面向数组编程(arrary-oriented programming),以数组的方式思考对成为Python数据分析科学家至关重要。

ndarray: 多维数组对象,高效的源头

Python低效的原因有一个就是“在Python里面一切都是对象”,所以它不存在基本数据类型,每次运算都要进行类型判断会降低了效率。而Numpy将数据存放在连续的内存块中,Numpy处理这部分内存块就不需要进行类型检查了。并且Numpy的矢量化运算,避免了Python原生for循环,效率再次提高。

举例说明:

import numpy as np
raw_arr = list(range(10000))
np_arr = np.arange(10000)
%%timeit
raw_arr2 = [x * 2 for x in raw_arr]
# 时间是349 us += 2.83 us
%%timeit
np_arr2 = np_arr * 2
# 时间是6.94 us += 33.5 ns

速度相差了50倍。

注:Java作为一门面向对象语言,保留了8种基本数据类型(不包括字符串)。

ndarrays的思维导图:

img_08b71e4fbf1f52ea4cbc8b4a03631b56.png
ndarrays

对应的学习笔记

  • 关于数据类型, 一般情况下我们没必要对它太过于关注。但是对于大数据集,则需要自己主动声明。因为数据类型(dtype)负责将一块内存解释为特定数据类型,即直接映射到相应的机器表示。在R语言中有一类类型转换函数(例如as.numeric)对数组内的数据类型进行转换,在Numpy则通过dtype.
  • 矢量化运算是Numpy用C语言编写,在C语言层面是也是循环。这也是为什么一个数组内的数据类型要一致。
  • 我曾经在Python和R的异同(一)里谈到原生Python要想实现R语言的矢量化就要使用列表推导式, 而目前可以用numpy带来的矢量化运算属性了。
  • 切片Numpy和原生的Python都有切片的功能, 所谓的切片(slicing) 就是从已有的数组中返回选定的元素,而索引(index)提供指向存储在数组指定位置的数据值的指针。值得注意的是,Python以0为基。和原生Python切片不同,Numpy切片得到只是原始数据的视图(view),也就是浅复制,即你对Numpy切片后的数据进行操作,会影响到原始数据。原因就是Numpy的目的是处理大数据,对大规模的数据进行实际复制会消耗不必要的性能和内存。
  • numpy的索引操作和R语言几乎一模一样,分为切片索引,布尔值索引,花式索引。这些都在《R语言实战》基本数据管理章节中的数据集选取子集里面提及。
  • 花式索引以及布尔值索引和切片索引不同, 前者将数据复制到新的数组中,而后者是原始数据的视图。 可能原因是前两者的得到数据在原始数据中位置不是整块存放。
  • 转置(transpose)是数据重塑的一种特殊形式,返回的是原始数据的视图。数组不仅有transpose方法,还有一个T属性(是np.swapaxes的特殊形式), 这两者在二维数组上是相同的。但是在更高维度上,T属性依旧还是轴对换,transpose方法还需要提供轴编号组成的元组,这个真的是非常难以理解。

更详细的内容见之前写的Numpy:数组合矢量计算

Numpy高级,常用的矢量化运算函数

Numpy提供了大量通用函数(UNIVERSAL FUNCTIONS, UFUNC)进行矢量化运算的函数

img_21cd8d784e9c4235ca3605ac9161a17e.png
常用函数

基本操作

import numpy as np
a=np.array([0,1,2,3,4]);a #一维数组
array([0, 1, 2, 3, 4])
b = np.array([[0,1,2],[3,4,5]]);b #二维数组
array([[0, 1, 2],
       [3, 4, 5]])
c=np.array([[[1],[2],[3],[4]]]); c #三维数组
array([[[1],
        [2],
        [3],
        [4]]])
c.shape
(1, 4, 1)

产生数组的方法

  • 均匀分布
np.arange(10)
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
np.arange(1,9,2)
array([1, 3, 5, 7])
  • 等间距数组
np.linspace(0,1,6,endpoint=False)
array([ 0.        ,  0.16666667,  0.33333333,  0.5       ,  0.66666667,
        0.83333333])
  • 常用矩阵
np.ones((3,3)) #全1矩阵
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])
np.zeros((4,4)) #全0矩阵
array([[ 0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.]])
np.eye(5)  #对角矩阵
array([[ 1.,  0.,  0.,  0.,  0.],
       [ 0.,  1.,  0.,  0.,  0.],
       [ 0.,  0.,  1.,  0.,  0.],
       [ 0.,  0.,  0.,  1.,  0.],
       [ 0.,  0.,  0.,  0.,  1.]])
np.diag(np.array([1,2,3,4])) #对角矩阵
array([[1, 0, 0, 0],
       [0, 2, 0, 0],
       [0, 0, 3, 0],
       [0, 0, 0, 4]])
np.random.rand(4) #[0,1]均匀分布
array([ 0.80734513,  0.03497501,  0.15490748,  0.35552225])
np.random.randn(4) #符合高斯分布
array([-1.64777274,  0.17147949, -0.61706612, -0.78031714])

基本数据类型

a = np.array([1,2,3,4,5])
a.dtype #查看数据类型
dtype('int32')
b = np.arange(5,dtype=int) #声明数据类型
b.dtype
dtype('int32')

其他数据类型

complex128, bool, S7, int32, int64, unit32, unit64

可视化基础

%matplotlib inline
import matplotlib.pyplot as plt
plt.plot(np.arange(10)) # 直线图
plt.show 

一维图

x = np.linspace(1,4,2)
y = np.linspace(5,25,2)
plt.plot(x,y,'-r')

二维矩阵图

image = np.random.rand(30,30)
plt.imshow(image,cmap=plt.cm.hot)
plt.colorbar()

切片和索引

a = np.diag(np.arange(3));a
array([[0, 0, 0],
       [0, 1, 0],
       [0, 0, 2]])
print(a[1,2],a[1:2])
0 [[0 1 0]]
a[1,2]=2;a
array([[0, 0, 0],
       [0, 1, 2],
       [0, 0, 2]])

注:切片是原先矩阵上创建的视图,与原先矩阵在内存上的同一位置,使用capy可以强制开一个内存

a = np.arange(10)
b = a[::2]
np.may_share_memory(a,b)
True
a = np.arange(10)
c = a[::2].copy()
np.may_share_memory(a,c)
False
img_af0031e07738e01a1dd4413c08f08e3f.png
索引和切片

花式索引

np.random.seed(3)
a = np.random.random_integers(0,20,15);a
array([10,  3,  8,  0, 19, 10, 11,  9, 10,  6,  0, 20, 12,  7, 14])
# 使用布尔mask
mask = (a % 3 ==0) 
extract_from_a = a[mask];extract_from_a
array([-1, -1, -1, -1, -1, -1])
#使用整数矩阵索引
a = np.arange(0,100,10)
a[[2,3,4,2,4]]
array([20, 30, 40, 20, 40])
img_0dd418f6a09da6d1a4fba3f9229bf729.png
花式索引

数组数值运算

逐个元素运算

a = np.array([1,2,3,4]) # 加一个矢量
a+1
array([2, 3, 4, 5])
b = np.ones(4)+1;b 
array([ 2.,  2.,  2.,  2.])
print(b-a,b*a) #数组之间运算
[ 1.  0. -1. -2.] [ 2.  4.  6.  8.]

其他运算

a = np.random.rand(1,3)
b = np.random.rand(1,3)
print(a>b,a==b) 逐个元素比较
[[False False  True]] [[False False False]]
np.array_equal(a,b) # 整体比较
False
  • 逻辑运算
a = np.array([1, 1, 0, 0], dtype=bool)
b = np.array([1, 0, 1, 0], dtype=bool)
np.logical_or(a, b)

np.logical_and(a, b)

array([ True, False, False, False], dtype=bool)
  • 三角函数
a = np.arange(5)
print(np.sin(a),np.log(a),np.exp(a))
[ 0.          0.84147098  0.90929743  0.14112001 -0.7568025 ] [       -inf  0.          0.69314718  1.09861229  1.38629436] [  1.           2.71828183   7.3890561   20.08553692  54.59815003]


d:\Anaconda3\lib\site-packages\ipykernel\__main__.py:1: RuntimeWarning: divide by zero encountered in log
  if __name__ == '__main__':
  • 转置
a.T
array([0, 1, 2, 3, 4])

基础归纳

  • 求和
x = np.array([1,2,3,4,5])
print(np.sum(x),x.sum())
15 15
img_70c70cbeea3a3ef2cc9cd3ae823b8d02.png
行和列
x = np.array([[1,1],[2,2]])
x.sum(axis=1),x.sum(axis=0)
(array([2, 4]), array([3, 3]))
  • 求极值
x = np.arange(10)
print(x.min(),x.argmin()) # 最小值和最小值的索引
0 0
print(x.max(),x.argmax()) # 最大值和最大值的索引
9 9
  • 逻辑运算
np.all([True,True,False,False]) #全部为真才是真
False
np.any([True,False,True]) #有一个为真就是真
True
a = np.zeros((100,100))
np.any(a!=0)
False
  • 基本统计方法
x = np.array([1, 2, 3, 1])
y = np.array([[1, 2, 3], [5, 6, 1]])
x.mean()

np.median(x)

np.median(y, axis=-1) # last axis


x.std()          # full population standard dev.


0.82915619758884995
目录
相关文章
|
2月前
|
Python 容器
Python学习的自我理解和想法(9)
这是我在B站跟随千锋教育学习Python的第9天,主要学习了赋值、浅拷贝和深拷贝的概念及其底层逻辑。由于开学时间紧张,内容较为简略,但希望能帮助理解这些重要概念。赋值是创建引用,浅拷贝创建新容器但元素仍引用原对象,深拷贝则创建完全独立的新对象。希望对大家有所帮助,欢迎讨论。
|
2月前
|
Python
Python学习的自我理解和想法(10)
这是我在千锋教育B站课程学习Python的第10天笔记,主要学习了函数的相关知识。内容包括函数的定义、组成、命名、参数分类(必须参数、关键字参数、默认参数、不定长参数)及调用注意事项。由于开学时间有限,记录较为简略,望谅解。通过学习,我理解了函数可以封装常用功能,简化代码并便于维护。若有不当之处,欢迎指正。
|
1月前
|
数据可视化 数据挖掘 大数据
1.1 学习Python操作Excel的必要性
学习Python操作Excel在当今数据驱动的商业环境中至关重要。Python能处理大规模数据集,突破Excel行数限制;提供丰富的库实现复杂数据分析和自动化任务,显著提高效率。掌握这项技能不仅能提升个人能力,还能为企业带来价值,减少人为错误,提高决策效率。推荐从基础语法、Excel操作库开始学习,逐步进阶到数据可视化和自动化报表系统。通过实际项目巩固知识,关注新技术,为职业发展奠定坚实基础。
|
2月前
|
存储 索引 Python
Python学习的自我理解和想法(6)
这是我在B站千锋教育学习Python的第6天笔记,主要学习了字典的使用方法,包括字典的基本概念、访问、修改、添加、删除元素,以及获取字典信息、遍历字典和合并字典等内容。开学后时间有限,内容较为简略,敬请谅解。
|
2月前
|
Python
Python学习的自我理解和想法(7)
学的是b站的课程(千锋教育),跟老师写程序,不是自创的代码! 今天是学Python的第七天,学的内容是集合。开学了,时间不多,写得不多,见谅。
|
2月前
|
存储 安全 索引
Python学习的自我理解和想法(8)
这是我在B站千锋教育学习Python的第8天,主要内容是元组。元组是一种不可变的序列数据类型,用于存储一组有序的元素。本文介绍了元组的基本操作,包括创建、访问、合并、切片、遍历等,并总结了元组的主要特点,如不可变性、有序性和可作为字典的键。由于开学时间紧张,内容较为简略,望见谅。
|
2月前
|
索引 Python
Python学习的自我理解和想法(5)
这是我在B站千锋教育学习Python的第五天笔记,主要内容包括列表的操作,如排序(`sort()`、``sorted()``)、翻转(`reverse()`)、获取长度(`len()`)、最大最小值(`max()`、``min()``)、索引(`index()`)、嵌套列表和列表生成(`range`、列表生成式)。通过这些操作,可以更高效地处理数据。希望对大家有所帮助!
|
4月前
|
存储 算法 API
Python学习五:函数、参数(必选、可选、可变)、变量、lambda表达式、内置函数总结、案例
这篇文章是关于Python函数、参数、变量、lambda表达式、内置函数的详细总结,包含了基础知识点和相关作业练习。
63 0
|
8月前
|
存储 Python Windows
【Python学习篇】Python实验小练习——函数(十)
【Python学习篇】Python实验小练习——函数(十)
48 1
|
8月前
|
存储 Python
【Python学习篇】Python——函数(九)
【Python学习篇】Python——函数(九)
79 1

热门文章

最新文章