【AI系统】AI 框架基础介绍

简介: 本文介绍了AI算法、神经网络及其应用,解释了为何神经网络需要训练及AI框架的作用。通过解析深度学习的数学原理与反向求导算法,阐述了AI框架如何作为模型设计、训练和验证的标准工具,支持算法封装、数据调用及计算资源管理,强调了AI框架的发展历程和技术迭代。

什么是 AI 算法?什么是神经网络?神经网络有什么用?为什么神经网络需要训练?什么是模型?AI 框架有什么用?AI 框架能解决什么问题?

上面的几个问题其实还挺有挑战的,也是本文需要回答的一个问题。下面来对一些基础概念进程澄清:首先深度学习是机器学习研究领域中的一种范式,而深度学习的概念源于对人工神经网络的研究,很多深度学习算法都使用神经网络进行表示,因为神经网络的性能精度和通用效果都非常好,于是业界习惯性地把深度学习算法等同于 AI。

image

AI 框架基础介绍

在 AI 框架基础系列里面,将会先介绍神经网络和深度学习的基本概念,了解深度学习、神经网络、 AI 多个新名词和新概念之间的种种关联关系。简单而言,而深度学习是通过函数逼近来解析神经网络的数学原理,通过反向求导算法来求解神经网络中参数的偏导,从而迭代地求解神经网络中的最优值。不过上面的叙述还是有点难以理解复杂的数学原理,因此在 AI 框架作用中的深度学习基础,将会深入浅出地介绍介绍深度学习的基础。

有了深度学习的基础之后,就能够比较好地理解 AI 框架的实际作用,即作为 AI 算法(深度学习算法)的模型设计、训练和验证的一套标准接口、特性库和工具包,集成了算法的封装、数据的调用以及计算资源的使用,同时面向开发者提供了开发界面和高效的执行平台,是现阶段 AI 算法开发的必备工具。

有了对深度学习的认识、对 AI 框架作用的认识,自然就理解 AI 框架的目的和为什么目前国内厂商,无论是华为昇腾构建 MindSpore、百度打造飞桨 PaddlePaddle、之江实验室联合一流科技开发的 OneFlow,包括商汤、旷视都推出自己的自研 AI 框架了。

可是 AI 的框架发展并不顺利,从萌芽阶段(2000 年初期)、 成长阶段(2012~2014 年)、稳定阶段(2015 年~2019 年)、深化阶段(2020 年以后)。其发展脉络与 AI ,特别是神经网络技术的异峰突起有非常紧密的联系。中间又经历了三代框架,这里面提到的 AI 框架三代并不是以时间为维度,更多的是以技术为区分维度,通过不同的技术手段走过三代技术框架,从而使得 AI 框架慢慢走向成熟。

截至目前为止,国际主流的 AI 框架(PyTorch、TensorFlow 等)基本均已经实现动态图开发、静态图部署的编程范式,具备动静态图转换的能力,不过基于开发效率考虑,动态图与静态图的转换与统一需要持续迭代优化。

上面提到的编程范式主要是跟开发者的编程习惯和编程方式息息相关。实际上,编程范型、编程范式或程式设计法(Programming paradigm),是指软件工程中的一类典型的编程风格。

常见的编程范型有:函数式编程、指令式编程、过程式编程、面向对象编程等等。编程范型提供并决定了程序员对程序执行的看法,而 AI 框架的编程范式目前主要集中在声明式编程与命令式编程两种之间。

目录
相关文章
|
4天前
|
存储 编解码 人工智能
【AI系统】FBNet 系列
本文介绍了FBNet系列的三种版本,从FBNetV1基于NAS的轻量级网络设计,到FBNetV2通过DMaskingNAS增加搜索空间,再到FBNetV3联合搜索网络结构与训练参数,展示了如何利用NAS技术优化网络结构和提升模型性能。文章详细解释了各版本的技术特点和实现方法,为读者提供了深入了解和应用NAS技术的宝贵资料。
37 10
【AI系统】FBNet 系列
|
3天前
|
人工智能 编解码 算法
【AI系统】EfficientFormer 系列
本文介绍了一种名为 EfficientFormer 的轻量化 Transformer 模型,旨在优化移动设备上的推理速度。通过重新设计 ViT 及其变体,特别是针对移动设备的延迟优化,EfficientFormer 引入了维度一致的 Transformer Block,并通过网络模型搜索获得了多个系列的模型。EfficientFormer V2 进一步改进了模型设计,引入细粒度联合搜索策略,优化了延迟和参数量,实现了更高的性能和效率。
27 8
【AI系统】EfficientFormer 系列
|
3天前
|
机器学习/深度学习 人工智能 编解码
【AI系统】MobileFormer
本文介绍了MobileFormer,一种创新的网络结构,通过双线桥将MobileNet的局部特征与Transformer的全局特征相结合,实现了高效且低计算成本的模型设计。MobileFormer使用少量tokens来学习全局先验,从而在保持高性能的同时,显著降低了计算量。通过本文,读者可以深入了解如何有效结合CNN和Transformer的优势,实现模型的轻量化。
23 7
【AI系统】MobileFormer
|
3天前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI 框架基础介绍
本文介绍了AI算法、神经网络及AI框架的基础概念,探讨了神经网络的作用、训练目的以及AI框架如何简化模型设计、训练与验证过程。文章还概述了AI框架的发展历程和技术演进,强调了国内外主要AI框架的特点及其对AI技术发展的推动作用。
21 2
【AI系统】AI 框架基础介绍
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
【AI系统】AI 框架作用
深度学习通过多层计算模型学习数据中的复杂结构,实现高级别的数据抽象。例如,CNN能从大量图像中学习猫和狗的特征。本文探讨深度学习原理及其计算中AI框架的应用,强调AI框架如何帮助自动求导,简化模型训练过程,以及在实际应用中的作用。
25 3
【AI系统】AI 框架作用
|
4天前
|
机器学习/深度学习 人工智能 编解码
【AI系统】GhostNet 系列
本文介绍了GhostNet系列网络,重点讲解了GhostNet V1和V2的改进。V1提出了Ghost Module,通过廉价操作生成更多特征图,构建轻量级网络。V2在此基础上引入了解耦全连接注意力(DFC)机制,增强了模型捕捉长距离依赖的能力,同时保持了高效的计算性能,特别适合移动设备。文章详细对比了V2与V1的区别,包括结构改进和性能提升。
28 4
【AI系统】GhostNet 系列
|
5天前
|
机器学习/深度学习 人工智能 编解码
【AI系统】ESPNet 系列
本文介绍了ESPNet系列,专注于高分辨率图像的语义分割,强调了其高效的计算性能和低内存、功耗特性。ESPNet V1提出了ESP模块,通过分解标准卷积为point-wise卷积和空洞卷积金字塔,大幅减少了参数量和计算成本。ESPNet V2则进一步优化,采用了分组卷积和深度空洞分离卷积,增强了模型的有效感受野,同时降低了浮点计算量,适用于多种视觉任务。
35 11
|
15天前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI系统架构的组成
本文概述了AI系统的组成,从AI训练与推理框架、AI编译与计算架构到AI硬件与体系结构,详细介绍了各层的功能与技术细节。同时,探讨了AI系统生态的广泛领域,包括核心系统软硬件、AI算法和框架以及更广泛的生态组成部分,强调了在模型训练、推理、安全与隐私等方面的技术挑战与解决方案。
31 2
|
2月前
|
人工智能 算法 调度
【AI系统】AI系统的组成
本文详细解析了AI系统的多层次架构,涵盖应用与开发层、AI框架层、编译与运行时及硬件体系结构等,阐述各部分如何协同支撑AI应用的开发与运行,提升整体性能与效率,并随著AI技术进步持续演进。从编程语言到AI芯片设计,每一层都对系统的最终表现起着至关重要的作用。
130 0
|
2月前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI系统的生态
在快速发展的AI领域,系统生态变得愈加复杂多元,涵盖核心软硬件、算法、框架及广泛的应用领域。本文深入剖析AI生态构成及其对技术进步的重要性,强调健康生态对促进技术创新、提升开发效率及加速商业化的作用。从核心硬件到算法框架,再到安全与隐私保护,全方位解读AI生态的构建与未来发展。
66 0