机器学习中的线性代数:关于常用操作的新手指南

简介: 什么是线性代数? 在深度学习中,线性代数是一个非常有用的数学工具,提供同时操作多组数值的方法。它提供多种可以放置数据的结构,如向量(vectors)和矩阵(matrices, 即spreadsheets)两种结构,并定义了一系列的加减乘除规则来操作这些结构。



什么是线性代数?


在深度学习中,线性代数是一个非常有用的数学工具,提供同时操作多组数值的方法。它提供多种可以放置数据的结构,如向量(vectors)和矩阵(matrices, 即spreadsheets)两种结构,并定义了一系列的加减乘除规则来操作这些结构。


为什么有用?

线性代数可以将各种复杂问题转化为简单、直观、高效的计算问题。下面这个Python例子展现了线性代数的高速与简洁。

# Multiply two arrays 将两个数组直接相乘
x = [1,2,3]
y = [2,3,4]
product = []
for i in range(len(x)):
    product.append(x[i]*y[i])

# Linear algebra version 线性代数版操作
x = numpy.array([1,2,3])
y = numpy.array([2,3,4])
x * y

通过将数组初始化「numpy.array()」, 线性代数方法较数组相乘快了三倍。


它是怎样用于深度学习的?

神经网络(Neural networks)将权值(weights)存放于矩阵(matrices)中。线性代数使得矩阵操作快速而简单,特别是通过 GPU 进行运算。事实上,GPU 的设计便是受启发自向量和矩阵的运算。类似于用像素的多维数组(arrays of pixels)来表示图形图像,视频游戏通过大规模且持续的矩阵计算,带来了极具吸引力的游戏体验。GPU 是并行操作整个矩阵中的各个像素,而不是一个接一个地去处理单个像素。


向量

向量是关于数字或数据项的一维数组的表示。从几何学上看,向量将潜在变化的大小和方向存储到一个点。向量 [3, -2] 表示的是左移3个单位下移2个单位。我们将 具有多个维度的向量称为矩阵。


向量记法

应用中有多种表达向量的方式,下式是阅读中常见的几种表示。


几何学中的向量

向量通常用于代表从一个点出发的移动。它们用一个点存储了大小(magnitude)和方向(direction)的潜在变化。如向量 [-2,5] 表示左移2个单位并上移5个单位。 参考: http://mathinsight.org/vector_introduction.

v = [-2, 5]

一个向量可以应用于空间中的任何点。向量的方向等于向上5个单位和向左2个单位的斜线的斜率,它的大小等于该斜线的长度。


标量操作

标量操作涉及到一个向量和一个数。你可以通过对向量中的所有项进行加、减、乘操作,实现对一个向量的原地修改(in-place modification) 。

Scalar addition (标量相加)


元素操作Elementwise operations

在向量的元素操作中,如加减除,相应位置的值被组合生成了新的向量。向量 A中的第一个值与向量 B 中的第一个值相加,然后第二个值与第二个值配对,如此循环。这意味着,两个向量必须要有相同的维度才能进行元素操作。 *

Vector addition (向量相加)

y = np.array([1,2,3])
x = np.array([2,3,4])
y + x = [3, 5, 7]
y - x = [-1, -1, -1]
y / x = [.5, .67, .75]

*细节请参考下面关于numpy 中的 broadcasting  方法。


向量乘法

向量乘法有两种:点积(Dot product) 和 Hadamard乘积(Hadamard product)。


点积

两个向量的点积是一个标量。向量的点积和矩阵的乘法是深度学习中最重要的操作之一。

y = np.array([1,2,3])
x = np.array([2,3,4])
np.dot(y,x) = 20


Hadamard乘积

Hadamard 乘积是元素相乘,它的输出是一个向量。

y = np.array([1,2,3])
x = np.array([2,3,4])
y * x = [2, 6, 12]


向量场

如果我们对某点 (x,y) 应用了一个加法或乘法的向量函数,向量场表示了该点理论上可以移动多远。在空间中给定一个点,向量场显示了图中各个点的可能的变化力度(power)和方向(direction)。


向量场参考

上图这个向量场非常有趣,因为它随起点差异而向不同方向移动。原因是,该向量场背后的向量存储着如2x 或x² 这样的元素,而不是 -2 和 5这样的标量值。对于图中的每个点,我们将 x 轴的值带入 2x 或 x² 中,并绘制一个从开始点指向新位置的箭头。向量场对于机器学习技术的可视化非常有用,如绘制梯度下降(Gradient Descent)的方向。

矩阵

一个矩阵是数字或元素的矩形网格(如Excel表格),有着特别加、减、乘的运算规则。


矩阵维度

我们用m行n列( rows by columns)来描述矩阵的维度.

a = np.array([
 [1,2,3], 
 [4,5,6]
])
a.shape == (2,3)

b = np.array([
 [1,2,3]
])
b.shape == (1,3)

矩阵的标量运算 Matrix scalar operations

矩阵的标量运算与向量相同。只需将标量与矩阵中的每个元素进行加、减、乘、除等操作。


Matrix scalar addition (矩阵的标量相加)

a = np.array(
[[1,2], 
 [3,4]])
a + 1
[[2,3], 
 [4,5]]

矩阵的元素操作Matrix elementwise operations

为了实现两个矩阵的加、减、除操作,他们必须有着相同的维度。 * 我们对两个矩阵的对应元素值操作,组合生成新的矩阵。

a = np.array([
 [1,2],
 [3,4]
])
b = np.array([
 [1,2],
 [3,4]
])

a + b
[[2, 4],
 [6, 8]]

a — b
[[0, 0],
 [0, 0]]

Numpy 库的 broadcasting 方法*

这个方法不能不提,因为它在实践中被广泛使用。在 numpy中,矩阵的元素操作对矩阵维度的要求,通过一种叫做 broadcasting的机制实现。我们称两个矩阵相容(compatible),如果它们相互对应的维度(行对行,列对列)满足以下条件: 

1.     对应的维度均相等, 或

2.    有一个维度的大小是1

a = np.array([
 [1],
 [2]
])
b = np.array([
 [3,4],
 [5,6]
])
c = np.array([
 [1,2]
])

# Same no. of rows
# Different no. of columns
# but a has one column so this works

# 相同行数,不同列数,但 a 仅有一列,所以可行。
a * b
[[ 3, 4],
 [10, 12]]

# Same no. of columns
# Different no. of rows
# but c has one row so this works

# 相同列数,不同行数,但 c 仅有一行,所以可行。
b * c
[[ 3, 8],
 [5, 12]]

# Different no. of columns
# Different no. of rows
# but both a and c meet the 
# size 1 requirement rule

# 不同列数、不同行数,但 a 和 c 都满足大小为1的规则。
a + c
[[2, 3],
 [3, 4]]

在更高的维度上(3维,4维),情况会变得有点诡异,但现在我们不必担心。理解2维上的操作是一个好的开始。


矩阵的 Hadamard 乘积 Matrix Hadamard product

矩阵的Hadamard 乘积是一个元素运算,就像向量一样。对应位置的值相乘产生新的矩阵。

a = np.array(
[[2,3],
 [2,3]])
b = np.array(
[[3,4],
 [5,6]])

# Uses python's multiply operator

# 使用 python 的乘法运算
a * b
[[ 6, 12],
 [10, 18]]

在 numpy 中,只要矩阵和向量的维度满足 broadcasting的要求,你便可以对他们使用 Hadamard 乘积运算.



矩阵转置 Matrix transpose

神经网络经常需要处理不同大小的输入矩阵和权值矩阵,它们的维度常常不满足矩阵相乘的规则。矩阵转置提供了一种方法来“旋转”其中的一个矩阵,使其满足乘法操作的要求。转置一个矩阵分两个步骤:

1. 将矩阵顺时针旋转 90°

2. 反转每行元素的顺序(例如,[a b c] 变成 [c b a])。

以将矩阵 M 转置成 T为例:

a = np.array([
   [1, 2], 
   [3, 4]])

a.T
[[1, 3],
 [2, 4]]

矩阵的乘法 Matrix multiplication

矩阵的乘法定义了一系列关于矩阵相乘生成新矩阵的规则。


规则

不是所有的矩阵都可以进行乘法运算。并且,对于输出的结果矩阵也有维度要求。 参考.

1. 第一个矩阵的列数 必须等于第二个矩阵的行数

2.一个 M x N 矩阵和 N x K 矩阵的乘积结果是一个 M x K 矩阵. 新的矩阵取 第一个矩阵的行M 和 第二个矩阵的列K 。


步骤

矩阵的乘法依赖于点积与各个行列元素的组合。 以下图为例(取自 Khan学院的线性代数课程),矩阵 C中的每个元素都是矩阵 A 中的行与矩阵B中的列的点积。

参考

操作 a1 · b1 意味着我们对矩阵A的第一行(1, 7)  和矩阵B 的第一列 (3, 5) 做点积运算.

也可以换一种角度来看:


为什么矩阵乘法以这种方式工作?

矩阵的乘法很有用,但它的背后并没有什么特别的数学的定律。数学家们把它发明出来是因为它的规范简化了之前乏味的运算。这是一个人为的设计,但却非常有效。

用这些例子自我测试下



使用 numpy 做矩阵乘法

Numpy 使用函数 np.dot(A,B) 做向量和矩阵的乘法运算。它有一些其他有趣的特性和问题,所以我建议你在使用之前先阅读该说明文档 (https://docs.scipy.org/doc/numpy/reference/generated/numpy.dot.html)。

a = np.array([
 [1, 2]
 ])
a.shape == (1,2)

b = np.array([
 [3, 4],
 [5, 6]
 ])
b.shape == (2,2)

# Multiply
mm = np.dot(a,b)
mm == [13, 16]
mm.shape == (1,2)

原文发布时间为:2017-04-20

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关文章
|
5月前
|
机器学习/深度学习 人工智能 资源调度
机器学习之numpy基础——线性代数,不要太简单哦
机器学习之numpy基础——线性代数,不要太简单哦
76 6
|
机器学习/深度学习 人工智能 C语言
机器学习3-线性代数回顾
机器学习3-线性代数回顾
124 0
机器学习3-线性代数回顾
|
机器学习/深度学习 文字识别 算法
【学习笔记】机器学习线性代数笔记(更新ing)
《Matrix Methods in Data Mining and Pattern Recognition》即在数据挖掘和模式识别中的矩阵论,分为三大模块:线代概念和矩阵分解、数据挖掘中的线代问题、计算矩阵分解(特征值和奇异值算法)。综合本书偏向应用,书中代码用matlab实现(当然也可以改用python写),课后练习题链接(https://archive.siam.org/books/fa04/ 感觉这本书还是比较老的 07年出版)
454 0
【学习笔记】机器学习线性代数笔记(更新ing)
|
机器学习/深度学习 计算机视觉
机器学习中的常用操作
机器学习中的常用操作 输入节点到隐藏节点,特征数量n可能会变化,这个取决于我们定义的隐藏层的节点个数,但是样本数量m是不变的,从隐藏层出来还是m 在预测的时候,我们需要不断的迭代输入的特征 提高精度 增加样本数量 -> 解决high variance 减少特征 -> 解决high varian...
1079 0
|
机器学习/深度学习
吴恩达《机器学习》课程总结(3)线性代数回顾
3.1矩阵和向量 几行几列即为矩阵。Aij表示第i行第j列。   只有一行或者一列的称为向量,向量是一种特殊矩阵。一般向量指的是列向量。   3.2加法和标量乘法 加法:元素对应相加。   标量乘法:标量和矩阵每一个元素相乘。
1373 0
|
机器学习/深度学习
机器学习的数学基础(线性代数篇)
注:总结来自黄海广博士。
1123 0
|
机器学习/深度学习 Python
一份关于机器学习中线性代数学习资源的汇总
本文是一份关于机器学习中线性代数学习指南,所给出的资源涵盖维基百科网页、教材、视频等,机器学习从业者可以从中选择合适的资源进行学习。
5473 0
|
机器学习/深度学习
机器学习 之 线性代数
一、概述   范德蒙行列式:(vandermonde)       矩阵乘法:        矩阵乘法引入的问题:          矩阵的秩:         秩与线性方程组的解的关系:          向量组等价:         C=AB:        正交矩阵:        特征值 特...
1139 0
|
机器学习/深度学习 人工智能
|
21天前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024

热门文章

最新文章