LabVIEW AI开发者福音:LabVIEW OpenVINO AI加速工具包,不来看看?

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: LabVIEW AI开发者福音:LabVIEW OpenVINO AI加速工具包,不来看看?

‍‍🏡博客主页: virobotics(仪酷智能):LabVIEW深度学习、人工智能博主

🍻本文由virobotics(仪酷智能)原创首发

🥳欢迎大家关注✌点赞👍收藏⭐留言📝

前言

Hello,大家好,我是virobotics(仪酷智能),一个深耕于LabVIEW和人工智能领域的开发工程师。
之前给大家介绍了三个基于LabVIEW的AI工具包,包括【LabVIEW AI视觉工具包】,【LabVIEW ONNX工具包】,【LabVIEW TensorRT工具包】,其中【LabVIEW ONNX工具包】和【[LabVIEW TensorRT工具包】是仪酷LabVIEW图形化AI推理加速工具包中的两款,今天我们给大家介绍第三款【LabVIEW OpenVINO工具包


一、OpenVINO™2022简介

OpenVINO 是一个用于优化和部署深度学习模型的开源工具包。它为来自 TensorFlow、PyTorch 等流行框架的视觉、音频和语言模型提供了增强的深度学习性能。OpenVINOTMTM 工具套件2022.1版于2022年3月22日正式发布,根据官宣《OpenVINOTM 迎来迄今为止最重大更新,2022.1新特性抢先看》,OpenVINOTM 2022.1将是迄今为止最大变化的版本。相比于以前版本,新版本主要有以下特性:

  • 简化安装:精简了安装包及运行时库

  • 开箱即用:添加了包含Auto-Device Plugin, Performance Hints, MO参数简化等一系列帮助开发者迅速上手的功能

  • 动态输入支持:在CPU上实现了dynamic shape的支持

  • Paddle Paddle:官宣对Paddle Paddle的正式支持

  • API改进:从旧的Inference Engine API进化到新的OpenVINO Runtime API

OpenVINO在2022之前的版本是一整个安装包,包含Opencv、DL Streamer等工具,有点臃肿。而2022版本中,安装文件分为 Dev Tools 与 Runtime两部分,开发者可以自己选择安装的部分。

  • Dev Tools:负责开发和模型优化转换、模型库下载功能
  • Runtime:可通过exe方式安装程序,支持ONNX、IR、Paddle等模型读取与推理,默认支持python,可以C++

image.png


二、LabVIEW OpenVINO工具包简介

LabVIEW OpenVINO工具包是我们(VIRobotics团队)最近开发的一款AI推理加速工具包,整个工具包作为LabVIEW的插件,旨在帮助用户提高工作效率和推理速度。使用者可以在LabVIEW中直接使用OpenVINO实现在CPU、GPU(intel)、FPGA、VPU等硬件上的部署和推理。
image.png

工具包特点:

1.图形化编程:无需掌握文本编程基础即可完成机器视觉项目;
2.广泛的模型支持:支持将IR模型、onnx模型、paddle模型直接导入 OpenVINO,无需将模型转化为另一种框架;
3.多种高效加速推理接口:支持使用英特尔CPU、集成显卡和独立显卡进行高性能推理;

  1. 简单安装与配置:无需额外下载openvino推理驱动,安装工具包过程openvino驱动会自动安装;
yolov5s在各工具包下的性能测评对比:

image.png

注:测试电脑cpu为i7-11800H,Intel集显为i7-11650G7,独显为笔记本RTX 3070(包括预处理和后处理)


三、LabVIEW OpenVINO工具包VI简介

已经安装好的OpenVINO工具包位于程序框图-函数选板-Addons-VIRobotics-OpenVINO内容包括:获取可用的设备、OpenVINO的版本及不同格式模型调用推理等功能。该工具包的具体安装方式可查看博客:LabVIEW使用OpenVINO加速必备工具包下载与安装教程

LabVIEW OpenVINO工具包具体VI简介如下:

3.1 基本函数

  • getavailbleDevice.vi:用于列出系统上可用的设备类型,如CPU、GPU、FPGA、VPU等。这可以帮助用户确定哪些设备可以用于部署深度学习模型
  • getVersion.vi:获取安装的OpenVINO工具包的版本信息,目前版本为2022.3

    3.2 InferenceEngine(静态输入模型加载推理类)

    image.png

  • Create_session_from_IR.vi:用于创建会话对象,加载IR模型并指定推理加速引擎(CPU、GPU等)

  • Create_session_from_ONNX.vi:用于创建会话对象,加载onnx模型并指定推理加速引擎(CPU、GPU等)
  • input_shape.vi:获取模型的输入张量的形状
  • output_shape.vi:获取模型的输出张量的形状
  • Run.vi:将数据传递给模型实现推理
  • Get_result.vi:用于获取Run操作返回的模型输出数据
  • Release..vi:用于释放会话对象和相关资源,以便在不需要时释放系统资源

3.3 OV(动态输入模型加载推理类)

image.png

  • Load_IR.vi:用于创建会话对象,加载IR模型并指定推理加速引擎(CPU、GPU等)
  • Load_ONNX.vi:用于创建会话对象,加载onnx模型并指定推理加速引擎(CPU、GPU等)
  • Load_Paddle.vi:用于创建会话对象,加载paddle模型并指定推理加速引擎(CPU、GPU等)
  • OV_Input_shape.vi:获取模型的输入张量的形状
  • OV_Output_Shape.vi:获取模型的输出张量的形状
  • OV_Run.vi:将数据传递给模型实现推理
  • OV_Run_Infer.vi:推理
  • OV_Get_result.vi:用于获取Run操作返回的模型输出数据
  • OV_SetInput.vi:将张量设置为推断请求的输入
  • OV_Release..vi:用于释放会话对象和相关资源,以便在不需要时释放系统资源
  • Compilemodel.vi:编译模型
  • OV_reshape.vi:更新输入形状并通过所有中间层将它们向下传播到模型的输出

总结

如需下载并安装工具包,可查看:https://blog.csdn.net/virobotics/article/details/130226410
以上就是今天要给大家分享的内容,希望对大家有用。如有笔误,还请各位及时指正。后续还会继续给各位朋友分享其他案例,欢迎大家关注博主。我是virobotics(仪酷智能),我们下篇文章见~

如果有问题可以在评论区里讨论,提问前请先点赞支持一下博主哦,如您想要探讨更多关于LabVIEW与人工智能技术,欢迎加入我们的技术交流群:705637299。进群请备注:LabVIEW机器视觉

**如果文章对你有帮助,欢迎✌关注、👍点赞、✌收藏

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
11天前
|
人工智能 Java 开发者
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
JManus是阿里开源的Java版OpenManus,基于Spring AI Alibaba框架,助力Java开发者便捷应用AI技术。支持多Agent框架、网页配置、MCP协议及PLAN-ACT模式,可集成多模型,适配阿里云百炼平台与本地ollama。提供Docker与源码部署方式,具备无限上下文处理能力,适用于复杂AI场景。当前仍在完善模型配置等功能,欢迎参与开源共建。
381 1
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
|
4月前
|
数据采集 机器学习/深度学习 人工智能
运维人的“福音”?AI 驱动的自动化网络监控到底香不香!
运维人的“福音”?AI 驱动的自动化网络监控到底香不香!
345 0
|
1月前
|
人工智能 开发者
OpenVINO™ DevCon中国系列工作坊:AI模型优化与端侧应用落地
解锁AI高效部署新路径,共赴智能创新璀璨未来
80 1
|
2月前
|
人工智能 程序员 API
Anthropic Cookbook:开发者可以参考的Claude AI高效开发指南
作为配套资源的Anthropic Cookbook开源项目,更是凭借其丰富的代码示例和实用指南,在GitHub上获得了18k+颗星的高度认可。
108 7
Anthropic Cookbook:开发者可以参考的Claude AI高效开发指南
|
1月前
|
人工智能 自然语言处理 Java
面向 Java 开发者:2024 最新技术栈下 Java 与 AI/ML 融合的实操详尽指南
Java与AI/ML融合实践指南:2024技术栈实战 本文提供了Java与AI/ML融合的实操指南,基于2024年最新技术栈(Java 21、DJL 0.27.0、Spring Boot 3.2等)。主要内容包括: 环境配置:详细说明Java 21、Maven依赖和核心技术组件的安装步骤 图像分类服务:通过Spring Boot集成ResNet-50模型,实现REST接口图像分类功能 智能问答系统:展示基于RAG架构的文档处理与向量检索实现 性能优化:利用虚拟线程、GraalVM等新技术提升AI服务性能 文
181 0
|
3月前
|
人工智能 Serverless API
TaskingA在GitHub上已突破 5.1k stars!这是一个真正被开发者认可的 AI Agent平台,AI开发者必看,如何用它实现生产力逆袭?
TaskingAI 是一个 AI-native 应用开发平台,通过整合模型、检索、助手与工具模块,为开发者提供一站式的 BaaS(后端即服务)体验,简化 AI 应用从开发、测试、到部署的全过程 。
100 5
|
5月前
|
人工智能 自然语言处理 数据可视化
Mini DALL·E 3:设计师福音!开源AI绘画神器:对话式修图+智能问答,草图秒变商业大作
Mini DALL·E 3是由北京理工大学联合多所高校开发的交互式文生图框架,通过多轮对话实现高质量图像生成与编辑,结合LLM和T2I模型技术,无需额外训练即可生成符合描述的图像。
402 47
Mini DALL·E 3:设计师福音!开源AI绘画神器:对话式修图+智能问答,草图秒变商业大作
|
3月前
|
SQL 人工智能 自然语言处理
通义灵码2.5 | 一个更懂开发者的 AI 编程助手
通义灵码2.5版是一款强大的AI编程助手,具备智能体模式,支持自主决策、环境感知与工具使用等功能。通过工程检索、文件编辑和终端操作,可端到端完成编码任务,并深度适配Qwen3模型,大幅提升开发效率。新版新增行间建议预测、上下文分析及记忆功能,更懂开发者需求。智能体结合MCP工具,能实现从代码生成到部署的全流程自动化,如文中实例展示的数独小游戏开发与在线部署。无论是日常开发还是创意实现,通义灵码都能显著提升工作效率与能力边界。
|
4月前
|
人工智能 自然语言处理 安全
💻 Codex 来了:OpenAI 推出多任务软件工程 AI 代理,开发者工作方式将被重塑?
Codex 是 OpenAI 推出的一款云端智能开发代理,基于优化后的 Codex-1 模型,能够执行从代码编写、Bug 修复到 PR 提交的完整工程任务。通过 ChatGPT 的界面,用户可向 Codex 分配任务,它将在独立沙盒中运行并返回结果。Codex 支持多任务异步处理,遵循项目规范(AGENTS.md),并生成日志与测试报告以确保透明性。作为“AI 参与式开发”的里程碑,Codex 不仅提升效率,还可能重塑开发者角色,使他们从具体编码转向指导 AI 完成任务,推动软件工程进入意图驱动的新时代。
331 16
|
5月前
|
人工智能 计算机视觉
漫画师福音!开源AI神器让线稿着色快如闪电!MagicColor:港科大开源多实例线稿着色框架,一键生成动画级彩图
MagicColor是香港科技大学推出的多实例线稿着色框架,基于扩散模型和自监督训练策略,实现单次前向传播完成多实例精准着色,大幅提升动画制作和数字艺术创作效率。
463 20
漫画师福音!开源AI神器让线稿着色快如闪电!MagicColor:港科大开源多实例线稿着色框架,一键生成动画级彩图