昇思MindSpore“自动向量化Vmap”介绍与示例

简介: 昇思MindSpore“自动向量化Vmap”介绍与示例

🍁一、什么是“自动向量化Vmap”

自动向量化Vmap官方地址 👉  MindSpore

这应该是非常常见的问题了:自动向量化Vmap是MindSpore深度学习框架中的一个重要特性,用于自动地将数据并行化执行,以提高深度神经网络的计算性能。



概念上,Vmap可以将一个函数应用于一个具有特定形状的N维数组,并自动地将该函数复制到每个数组中的元素,从而实现批量计算的目的。也就是说,通过Vmap技术,可以将运算符应用于整个张量,而不是一次操作其中的每个元素,从而快速地对张量进行操作和转换,将输入和输出都分割成多个分块并分配到多个设备上进行并行处理,可以加快模型的训练和推理速度。

🍁二、 “自动向量化Vmap”有哪些优势

由于在实现过程上,MindSpore的Vmap特性涉及了多个类和函数,包括@vmapipe修饰器、map函数和unroll函数等。其中,@vmapipe修饰器可以将函数转换为自动并行计算函数,Map函数可用于将函数应用于数据集的批处理样本,Unroll函数可将计算循环展开为具有指定维度的代码。通过这些函数的组合使用,可以在MindSpore框架中实现自动向量化的Vmap特性,以提高神经网络的计算性能和效率


总之、MindSpore的自动向量化Vmap特性是一项非常有价值的功能,它可以大幅度提高深度学习算法的运算速度,减少需要的计算资源,同时还可以有效地加速模型的训练和推断过程,进一步推进深度学习技术的应用和发展。


如果还想了解更多“自动向量化Vmap”的优势和特点可以访问官方文档,非常的详细

effafb6b64c740b28c7591f98aa1b8fc.png

🍁三、 “自动向量化Vmap”在实际例子的简单使用

下面以一个简单的例子【Python版】来说明自动向量化Vmap的具体实现过程

假设我们需要对一个形状为(4, 5)的二维张量进行操作,具体步骤如下:

首先肯定是要导入MindSpore相关模块和库:

import mindspore.numpy as np
import mindspore.ops.operations as P
from mindspore import Tensor
from mindspore import context
from mindspore.parallel._auto_parallel_context import auto_parallel_context

其他的部分代码如下:

# 设置运行上下文和设备,开启自动并行计算。
context.set_context(mode=context.GRAPH_MODE, device_target="GPU")
auto_parallel_context().set_straegy("auto_parallel")
# 定义需要进行的操作函数。
def matmul_add(x, y):
    z = P.MatMul()(x, y)
    z = P.Add()(z, 1)
    return z
# 创建数据集,并将数据集分成多个分块以便并行处理。
x_data = np.ones((4, 5))
y_data = np.ones((5, 4))
data1 = Tensor(x_data[:2], dtype=np.float32)
data2 = Tensor(y_data, dtype=np.float32)
data3 = Tensor(x_data[2:], dtype=np.float32)
data_list = [(data1, data2), (data2, data3)]
# 使用@vmapipe修饰器和Map函数将操作函数应用于数据集,并获得结果数据。
@np.vmapipe(model_parallel=2)
def forward(x, y):
    return np.array(matmul_add(x, y))
result_list = np.array(list(map(forward, *data_list))))
# 使用unroll函数对计算循环进行展开。
result = np.unroll(result_list, -1)

最后,我们就可以使用自动向量化Vmap特性对二维张量进行自动并行计算,获得更高的计算效率和速度。其中,@vmapipe修饰器指定了model_parallel参数为2,表示使用2个设备进行并行计算,Map函数将操作函数应用于数据集,并返回结果数据,unroll函数可将计算循环展开为具有指定维度的代码。  

相关文章
|
1月前
|
数据采集 文字识别 测试技术
智源研究院发布千万级多模态指令数据集Infinity-MM:驱动开源模型迈向SOTA性能
近年来,视觉语言模型(VLM)取得了显著进展,然而,现有的开源数据和指令数据集在数量和质量上依然落后,基于开源数据训练的模型在效果上仍然远落后于 SOTA 闭源模型或使用专有数据训练的开源模型。为解决以上问题,进一步提升开源模型的性能,2024年10月25日,智源研究院发布并开源了千万级多模态指令数据集Infinity-MM。
|
7天前
|
机器学习/深度学习 存储 人工智能
【AI系统】昇思MindSpore并行
本文介绍昇思MindSpore的并行训练技术,包括张量重排布、自动微分等,旨在简化并行策略搜索,提高大规模模型训练效率。文章探讨了大模型带来的挑战及现有框架的局限性,详细说明了MindSpore如何通过技术创新解决这些问题,实现高效的大模型训练。
51 20
【AI系统】昇思MindSpore并行
|
8天前
|
机器学习/深度学习 人工智能 开发者
【AI系统】昇思 MindSpore 关键特性
本文介绍华为自研AI框架昇思MindSpore,一个面向全场景的AI计算框架,旨在提供统一、高效、安全的平台,支持AI算法研究与生产部署。文章详细阐述了MindSpore的定位、架构、特性及在端边云全场景下的应用优势,强调其动静态图统一、联邦学习支持及高性能优化等亮点。
37 7
【AI系统】昇思 MindSpore 关键特性
|
11天前
|
存储 人工智能 并行计算
【AI系统】算子开发编程语言 Ascend C
本文详细介绍了昇腾算子开发编程语言 Ascend C,旨在帮助开发者高效完成算子开发与模型调优。Ascend C 原生支持 C/C++标准,通过多层接口抽象、自动并行计算等技术,简化开发流程,提高开发效率。文章还探讨了并行计算的基本原理及大模型并行加速策略,结合 Ascend C 的 SPMD 编程模型和流水线编程范式,为读者提供了深入理解并行计算和 AI 开发的重要工具和方法。
28 2
|
18天前
|
机器学习/深度学习 人工智能 算法
《C++ 张量计算库:人工智能模型的强劲“引擎”》
张量计算是AI模型构建与训练的基石。在C++中开发一个通用且高效的张量计算库,能够满足不同模型对张量操作的多样化需求,加速模型训练,提升开发效率。该库需解决通用性和高效性两大挑战,通过抽象化、模板化设计及优化数据结构和算法,确保在处理大量数据时的性能与稳定性。同时,结合硬件特性如SIMD指令集和GPU加速,进一步提升计算效率,推动C++在AI领域的应用与发展。
|
4月前
|
机器学习/深度学习 人工智能 PyTorch
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
83 1
|
7月前
|
存储 自然语言处理 负载均衡
元象开源首个MoE大模型:4.2B激活参数,效果堪比13B模型,魔搭社区最佳实践来了
近日,元象发布其首个Moe大模型 XVERSE-MoE-A4.2B, 采用混合专家模型架构 (Mixture of Experts),激活参数4.2B,效果即可媲美13B模型。该模型全开源,无条件免费商用,支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用,推动低成本部署。
|
7月前
|
人工智能 并行计算 PyTorch
极智AI | 教你tensorrt实现mish算子
本文介绍了使用 tensorrt 实现 mish 算子的方法。
138 1
|
7月前
|
机器学习/深度学习 人工智能 算法
极智AI | 教你简化onnx upsample算子
本文介绍了简化 onnx upsample 算子的方法。
270 0
|
机器学习/深度学习 人工智能 前端开发
MindSpore基础介绍
本文将会整体对华为AI全栈进行介绍,并介绍MindSpore在其中的位置等内容。
342 1