【机器学习】文章9

简介: ①Numpy的简介NumPy(Numerical Python)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)),支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。🚩一个用python实现的科学计算,包括:1、一个强大的N维数组对象Array;2、比较成熟的(广播)函数库;3、用于整合C/C++和Fortran代码的工具包;4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算

🍭学习日记

👬学习的收获👬

🔥🔥根据以上的学习知识点进行学习总结,总结知识点如下:


①Numpy的简介

NumPy(Numerical Python)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)),支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。


🚩一个用python实现的科学计算,包括:


1、一个强大的N维数组对象Array;


2、比较成熟的(广播)函数库;


3、用于整合C/C++和Fortran代码的工具包;


4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。


NumPy(Numeric Python)提供了许多高级的数值编程工具,如:矩阵数据类型、矢量处理,以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融公司使用,以及核心的科学计算组织如:Lawrence Livermore,NASA用其处理一些本来使用C++,Fortran或Matlab等所做的任务。


②数据类型ndarray


NumPy provides an N-dimensional array type, the ndarray, which describes a collection of “items” of the same type.


NumPy提供了一个N维数组类型ndarray,它描述了相同类型的“items”的集合。


ndarray到底跟原生python列表的区别:

image.png

从图中我们可以看出ndarray在存储数据的时候,数据与数据的地址都是连续的,这样就给使得批量操作数组元素时速度更快。


这是因为ndarray中的所有元素的类型都是相同的,而Python列表中的元素类型是任意的,所以ndarray在存储元素时内存可以连续,而python原生list就只能通过寻址方式找到下一个元素,这虽然也导致了在通用性能方面Numpy的ndarray不及Python原生list,但在科学计算中,Numpy的ndarray就可以省掉很多循环语句,代码使用方面比Python原生list简单的多。


numpy内置了并行运算功能,当系统有多个核心时,做某种计算时,numpy会自动做并行计算。


Numpy底层使用C语言编写,数组中直接存储对象,而不是存储对象指针,所以其运算效率远高于纯Python代码。


③Numpy的优势

NumPy 的 ndarray 完全支持面向对象的方法。


例如:


ndarray 是一个类,拥有许多方法和属性。

ndarray 的许多方法是 NumPy 名称空间中的函数镜像,允许程序员按照他们喜欢的范式进行编码。

NumPy 的灵活性允数组方言和 ndarray 类成为 Python 中使用的多维数据交换语言。


④Numpy的数据类型

numpy 支持的数据类型比 Python 内置的类型要多很多,基本上可以和 C 语言的数据类型对应上,其中部分类型对应为 Python 内置的类型。下表列举了常用 NumPy 基本类型。

名称


描述


bool_


布尔型数据类型(True 或者 False)


int_


默认的整数类型(类似于 C 语言中的 long,int32 或 int64)


intc


与 C 的 int 类型一样,一般是 int32 或 int 64


intp


用于索引的整数类型(类似于 C 的 ssize_t,一般情况下仍然是 int32 或 int64)


int8


字节(-128 to 127)


int16


整数(-32768 to 32767)


int32


整数(-2147483648 to 2147483647)


int64


整数(-9223372036854775808 to 9223372036854775807)


uint8


无符号整数(0 to 255)


uint16


无符号整数(0 to 65535)


uint32


无符号整数(0 to 4294967295)


uint64


无符号整数(0 to 18446744073709551615)


float_


float64 类型的简写


float16


半精度浮点数,包括:1 个符号位,5 个指数位,10 个尾数位


float32


单精度浮点数,包括:1 个符号位,8 个指数位,23 个尾数位


float64


双精度浮点数,包括:1 个符号位,11 个指数位,52 个尾数位


complex_


complex128 类型的简写,即 128 位复数


complex64


复数,表示双 32 位浮点数(实数部分和虚数部分)


complex128


复数,表示双 64 位浮点数(实数部分和虚数部分)

numpy 的数值类型实际上是 dtype 对象的实例,并对应唯一的字符,包括 np.bool_,np.int32,np.float32,等等。


⑤Numpy的数组属性

NumPy 数组的维数称为秩(rank),秩就是轴的数量,即数组的维度,一维数组的秩为 1,二维数组的秩为 2,以此类推。


在 NumPy中,每一个线性的数组称为是一个轴(axis),也就是维度(dimensions)。比如说,二维数组相当于是两个一维数组,其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumPy 中的轴(axis),第一个轴相当于是底层数组,第二个轴是底层数组里的数组。而轴的数量——秩,就是数组的维数。 [3]


很多时候可以声明 axis。axis=0,表示沿着第 0 轴进行操作,即对每一列进行操作;axis=1,表示沿着第1轴进行操作,即对每一行进行操作。


NumPy 的数组中比较重要 ndarray 对象属性有:

属性


说明


ndarray.ndim


秩,即轴的数量或维度的数量


ndarray.shape


数组的维度,对于矩阵,n 行 m 列


ndarray.size


数组元素的总个数,相当于 .shape 中 n*m 的值


ndarray.dtype


ndarray 对象的元素类型


ndarray.itemsize


ndarray 对象中每个元素的大小,以字节为单位


ndarray.flags


ndarray 对象的内存信息


ndarray.real


ndarray元素的实部


ndarray.imag


ndarray 元素的虚部


ndarray.data


包含实际数组元素的缓冲区,由于一般通过数组的索引获取元素,所以通常不需要使用这个属性。

⑥ndarray简介

numpy中的ndarray为多维数组,是numpy中最为重要也是python进行科学计算非常重要和基本的数据类型。numpy中基本的运算符进行了重载,算数运算符和逻辑运算符都是逐元素操作的,还有广播机制,使得一个标量与多维数组相互运算的时候也是逐元素运算。


⑦axis的理解

有一定python编程基础的人都不难理解多维数组的概念,ndarray最难理解的是axis。ndarray当中的一个元素是通过一系列下标来索引的。


例如a[0][2][3], 可以把axis看成是存放下标的一个框框(虽然不准确,但是这么理解用起来没有问题),第一个框就是第0个axis, 第二个框就是第1个axis……,在函数调用中,如果参数有axis等于n,就相当于对应的n-1个框中的下标进行变化,其它框中下标不变进行操作。


例如下面的代码:

>>> import numpy as np

>>> a=np.ones((3,4,5))

>>> a.sum(axis=0)

array([[3., 3., 3., 3., 3.],

      [3., 3., 3., 3., 3.],

      [3., 3., 3., 3., 3.],

      [3., 3., 3., 3., 3.]])

>>> a.sum(axis=1)

array([[4., 4., 4., 4., 4.],

      [4., 4., 4., 4., 4.],

      [4., 4., 4., 4., 4.]])

>>> a.sum(axis=2)

array([[5., 5., 5., 5.],

      [5., 5., 5., 5.],

      [5., 5., 5., 5.]])

从上面的代码可以看出,对上述三维数组 Tijk(i=0,1,2;j=0,1,2,3;k=0,1,2,3,4,5) 进行某个下标的求和就得到了另外一个二维数组,类似于张量的指标缩并。如果axis=0,则 Tjk=∑iTijk ,axis=1,axis=2同理。


⑧ndarray的属性

image.png

其实只要注意几个最重要的属性就好了。


shape

shape属性是一个元组,表示数组的结构。比如一个二维的4*5数组shape为(4,5),了解shape对broadcasting的理解有帮助。


ndim

数组的维数,int类型


dtype

数组的存放的数据类型


T

得到一个转置的数组


real

得到这个数组的实部,与原来的数组是一个同形数组


imag

得到这个数组的虚部,与原来的数组是一个同形数组


flat

将这个数组展开成一维,得到一个迭代器


⑨broadcasting机制

当两个数组发生相互作用的时候,比如相加、相乘之类的,当数组的shape不一致的时候,就会把数组扩展成shape的数组进行逐元素操作,得到新的数组。


broadcasting规则:


1.两个shape当中有一个为1就进行扩展


2.shape中有位置缺失,也可进行扩展


例如:


(4,5,1)shape的数组和(1,5,3)shape数组作用最终得到(4,5,3)shape的数组。


(4,5,1)shape的数组和(4,)的数组作用最终得到(4,5,1)shape的数组

>>> a=np.ones((1,3,2))

>>> a

array([[[1., 1.],

       [1., 1.],

       [1., 1.]]])

>>> a.shape

(1, 3, 2)

>>> b=np.ones((2,3,1))

>>> b.shape

(2, 3, 1)

>>> a*b

array([[[1., 1.],

       [1., 1.],

       [1., 1.]],

 

      [[1., 1.],

       [1., 1.],

       [1., 1.]]])

>>> (a*b).shape

(2, 3, 2)

其实a*b的时候,a被扩展为(2,3,2)shape的数组,a[1][i][j]=a[0][i][j]。b也同理被扩展为(2,3,2)shape的数组,b[i][j][1]=b[i][j][0]。

目录
相关文章
|
机器学习/深度学习 资源调度 算法
【机器学习基础】多元线性回归(适合初学者的保姆级文章)
【机器学习基础】多元线性回归(适合初学者的保姆级文章)
434 0
|
机器学习/深度学习 数据采集 人工智能
给爆火的Llama 2划重点,Huggingface机器学习科学家写了篇分析文章
给爆火的Llama 2划重点,Huggingface机器学习科学家写了篇分析文章
236 1
|
机器学习/深度学习 人工智能 文字识别
开发者玩转机器学习不能错过的15篇深度文章!
机器学习平台PAI是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。开发者可以通过PAI快速构建训练模型,如搭建一些《物体识别》、《验证语音降噪等》有趣的实验模型,也可以契合企业需求,实现企业个性化推荐,小编整理了一些基于PAI平台的模型开发训练指南,供开发者参考收藏。
|
机器学习/深度学习 BI 索引
【机器学习】文章8
numpy中的ndarray为多维数组,是numpy中最为重要也是python进行科学计算非常重要和基本的数据类型。numpy中基本的运算符进行了重载,算数运算符和逻辑运算符都是逐元素操作的,还有广播机制,使得一个标量与多维数组相互运算的时候也是逐元素运算。
189 0
【机器学习】文章8
|
存储 机器学习/深度学习 并行计算
【机器学习】文章7
NumPy(Numerical Python)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)),支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。
136 0
【机器学习】文章7
|
机器学习/深度学习 Kubernetes 算法
【机器学习】文章6(总结)
该算法假定输入的数据矩阵具有隐藏的棋盘结构,因此可以对其中的行和列进行划分,使得行簇和列簇的笛卡尔积中的任何双聚类的条目近似恒定。例如,如果有两个行分区和三个列分区,则每行将属于三个双聚集,而每列将属于两个双聚集。
135 0
【机器学习】文章6(总结)
|
机器学习/深度学习 Kubernetes 算法
【机器学习】文章5
对于一元函数f(xf(x),如果对于任意tϵ[0,1]均满足:f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2),则称f(x)f(x)为凸函数。 同时如果对于任意tϵ(0,1))均满足:f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2),则称f(x)f(x)为严格凸函数。
255 0
【机器学习】文章5
|
机器学习/深度学习 算法 搜索推荐
【机器学习】文章4
首先对于 CONVEX BICLUSTERING做一个描述,CONVEX是凸面的,所以我们很容易就知道CONVEX BICLUSTERING是一个凸双聚类。 在双聚群问题中,我们寻求同时对观察结果和特征进行分组,虽然聚簇在从文本挖掘到协同过滤的广泛领域都有应用,但在高维基因组数据中识别结构的问题激发了这项工作。
167 0
【机器学习】文章4
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】文章2
聚类一直是机器学习、数据挖掘、模式识别等领域的重要组成内容。聚类是在无标记样本的条件下将数据分组,他通常被用于以下三个方面: 🌈发现数据的潜在结构 🌈对数据进行自然分组 🌈对数据进行压缩
177 0
【机器学习】文章2
|
机器学习/深度学习
【机器学习】文章1
回归是对一个或多个自变量和因变量之间的关系进行建模,求解的一种统计方法。很多模型都是在他的基础上建立的,任何一个复杂模型,其内部可能会隐藏着许多回归模型。
131 0
【机器学习】文章1
下一篇
DataWorks