AI 助理
备案控制台
开发者社区 大淘宝技术 文章 正文

带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(11)

2023-06-13 136
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(11)

带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(10) https://developer.aliyun.com/article/1248026?groupCode=taobaotech



汇编优化与GPU内核优化


为了降低读写冗余，MNN 在 CPU 的汇编代码中做最大数目的循环展开，并手排指令减少相依数据依赖


image.png


调度


MNN 的预推理模块可以较好地降低调度冗余，我们把算子的执行拆分为 onResize 和 onExecute 两个部分，在预推理过程中执行 onResize ，在推理过程中执行 onExecute ，视各类GPU的API设计不同，可以不同程度地降低调度冗余。


image.png


1. 对于 OpenCL ，可以减少 Kernel 参数的设定，将计算资源的申请转移到预推理过程中

2. 对于 Metal ，可进一步降低命令提交频率

3. 对于 Vulkan ，可进一步把命令缓冲的创建全部转移到预推理中，最小化调度冗余



带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(12) https://developer.aliyun.com/article/1248024?groupCode=taobaotech

文章标签：
机器学习/深度学习
异构计算
openCL
API
调度
关键词：
深度学习技术
深度学习推理
引擎深度学习
深度学习通用
移动端深度学习
编程技术君
目录
相关文章
李木子2024
|
13天前
|
机器学习/深度学习 算法框架/工具 Python
过拟合的终结者：深度学习中的正则化技术，如何成为模型泛化能力的超级英雄
【8月更文挑战第7天】深度学习模型虽强大却易过拟合，尤其是在数据有限时。正则化技术通过在训练中引入惩罚项来提升模型泛化能力。L2正则化（权重衰减）限制权重大小；L1正则化生成稀疏权重。例如，在Keras中可通过`kernel_regularizer=regularizers.l2(0.01)`实现L2正则化。Dropout通过随机丢弃神经元减少共适应。数据增强增加训练数据多样性。此外，标签平滑和最大模态正则化等新策略进一步增强了模型的泛化能力。
李木子2024
52 0
Echo_Wish
|
16天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型：智能航空与无人机技术
【8月更文挑战第4天】 使用Python实现深度学习模型：智能航空与无人机技术
Echo_Wish
42 0
AI之家
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】Python之人工智能应用篇——音频生成技术
音频生成是指根据所输入的数据合成对应的声音波形的过程，主要包括根据文本合成语音（text-to-speech）、进行不同语言之间的语音转换、根据视觉内容（图像或视频）进行语音描述，以及生成旋律、音乐等。它涵盖了声音结构中的音素、音节、音位、语素等基本单位的预测和组合，通过频谱逼近或波形逼近的合成策略来实现音频的生成。 音频生成技术的发展主要依赖于深度学习模型，如循环神经网络（RNN）、长短时记忆网络（LSTM）、Transformer等。这些模型通过学习大量的音频数据，能够自动生成与人类发音相似甚至超越人类水平的音频内容。近年来，随着大规模预训练模型的流行，如GPT系列模型、BERT、T5等，
AI之家
12 7
【深度学习】Python之人工智能应用篇——音频生成技术
AI之家
|
2天前
|
机器学习/深度学习 人工智能 算法
【深度学习】python之人工智能应用篇——图像生成技术（二）
图像生成是计算机视觉和计算机图形学领域的一个重要研究方向，它指的是通过计算机算法和技术生成或合成图像的过程。随着深度学习、生成模型等技术的发展，图像生成领域取得了显著的进步，并在多个应用场景中发挥着重要作用。
AI之家
15 9
AI之家
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】python之人工智能应用篇——视频生成技术
视频生成技术是一种基于深度学习和机器学习的先进技术，它使得计算机能够根据给定的文本、图像、视频等单模态或多模态数据，自动生成符合描述的、高保真的视频内容。这种技术主要依赖于深度学习模型，如生成对抗网络（GAN）、自回归模型（Auto-regressive Model）、扩散模型（Diffusion Model）等。其中，GAN由两个神经网络组成：一个生成器用于生成逼真的图像或视频，另一个判别器用于判断生成的图像或视频是否真实。通过不断的对抗学习，生成器和判别器共同优化，以产生更高质量的视频。
AI之家
10 2
AI之家
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】python之人工智能应用篇--跨模态生成技术
跨模态生成技术是一种将不同模态的数据（如文本、图像、音频、视频等）进行融合和转换的技术。其目标是通过将一个模态的数据作为输入，生成与之对应的另一个模态的输出。这种技术对于突破单一模态的局限性，提高信息处理的准确性和丰富性具有重要意义。跨模态生成技术主要依赖于深度学习和生成模型，通过学习和模拟不同模态之间的映射关系来实现模态间的转换。
AI之家
6 1
mrq4nk6ni2neg
|
13天前
|
机器学习/深度学习 监控
深度学习中的正则化技术：防止过拟合与提升泛化能力
【8月更文挑战第6天】在深度学习领域，模型的复杂性往往与其性能成正比，但同时也带来了过拟合的风险。本文将深入探讨正则化技术在深度学习中的应用，如何通过这些技术平衡模型复杂度与泛化能力，以及它们对模型性能的具体影响。我们将从理论到实践，分析不同正则化方法的优势和局限，为深度学习研究者和实践者提供指导。
mrq4nk6ni2neg
72 10
源码星辰
|
8天前
|
机器学习/深度学习 自然语言处理 自动驾驶
深度学习之知识推理与深度学习结合
基于深度学习的知识推理是将深度学习模型与传统的知识表示和推理技术相结合，以实现更加智能和高效的决策和预测能力。
源码星辰
16 2
1941623231718325
|
8天前
|
机器学习/深度学习 人工智能 语音技术
使用深度学习进行语音识别：技术探索与实践
【8月更文挑战第12天】深度学习技术的快速发展为语音识别领域带来了革命性的变化。通过不断优化模型架构和算法，我们可以期待更加准确、高效和智能的语音识别系统的出现。未来，随着技术的不断进步和应用场景的不断拓展，语音识别技术将在更多领域发挥重要作用，为人类带来更加便捷和智能的生活体验。
1941623231718325
25 1
游客nmbcre4jd7shs
|
8天前
|
机器学习/深度学习
深度学习中的正则化技术：从理论到实践
本文深入探讨了深度学习领域中的正则化技术，阐述了其防止过拟合的核心作用。通过分析L1和L2正则化方法、Dropout技术以及最近兴起的早停策略，揭示了这些技术背后的理论基础及其在实际模型训练中的应用效果。文章旨在为初学者提供直观理解，同时为经验丰富的研究者提供深度洞见。
游客nmbcre4jd7shs
17 1

大淘宝技术

热门文章

最新文章

  • 1
    深度学习模型训练痛点及解决方法
  • 2
    通过阿里云容器服务深度学习解决方案上手Caffe+多GPU训练
  • 3
    占领全球NO.1的亚马逊AWS，再得深度学习人才
  • 4
    深度学习 500 问！一份火爆 GitHub 的面试手册
  • 5
    全面解析大规模深度学习优化策略在PAI中实践应用 | 云栖2017深圳
  • 6
    《中国人工智能学会通讯》——1.40 深度学习
  • 7
    深度学习发力，预测衰老性疾病取得新进展
  • 8
    GitHub深度学习框架榜单：PyTorch快速增长(2/11-4/12)
  • 9
    异常检测|深度学习（李宏毅）（二十一）
  • 10
    DL：深度学习框架Pytorch、 Tensorflow各种角度对比
  • 1
    基于深度学习的图像识别技术在自动驾驶系统中的应用网络安全与信息安全：防御前线的关键技术与意识
    32
  • 2
    基于深度学习的图像识别在自动驾驶技术中的应用
    32
  • 3
    利用深度学习优化图像识别流程
    36
  • 4
    m基于Yolov2深度学习网络的智能零售柜商品识别系统matlab仿真,带GUI界面
    70
  • 5
    探索基于深度学习的图像识别在自动驾驶技术中的应用
    43
  • 6
    基于深度学习的图像识别技术在智能监控系统中的应用
    66
  • 7
    利用深度学习优化图像识别处理流程
    46
  • 8
    利用深度学习优化视频压缩算法
    149
  • 9
    TensorFlow 2keras开发深度学习模型实例：多层感知器（MLP），卷积神经网络（CNN）和递归神经网络（RNN）
    48
  • 10
    MATLAB基于深度学习U-net神经网络模型的能谱CT的基物质分解技术研究
    77

    • 相关课程

    更多
  • 高校精品课-复旦大学-机器学习与深度学习
  • 深度学习框架TensorFlow入门
  • 深度学习与自动驾驶
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • AIGC无处不在，把AI应用构建于Serverless之上

    • 相关电子书

    更多
  • 深度学习的最新进展
  • 搜狗深度学习技术在广告推荐领域的应用
  • 深度学习在电商搜索和聊天机器人中的应用

    • 相关实验场景

    更多
  • 【玩转ComfyUI】基于函数计算一键部署AI生图平台 ComfyUI
  • 使用AI容器镜像部署Qwen大语言模型
  • 如何快速体验知识检索增强应用
  • 如何快速体验通义大模型
  • 如何快速体验调用通义大模型
  • 使用函数计算部署通义千问大模型实现AI对话
    • 下一篇
    通义千问API入门教程