同创国芯窦祥峰演讲实录:VR的FPGA应用分析

简介:

FPGA的应用会给VR解决很多问题。

2016年4月21日,在镁客网于上海世博展览馆主办的VR主题论坛上,同创国芯市场总监窦祥峰发表了题为《VR的FPGA应用分析》的主题演讲。窦祥峰认为,将FPGA应用到VR上面去,可以有效地降低成本,加快研发速度、提升系统性能并缩小系统尺寸、提高安全性。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

以下是同创国芯窦祥峰的演讲实录:

首先我想给大家简单的回顾一下国内VR产业的发展趋势,让大家更清楚VR产业趋势技术难点,还有如何去把FPGA应用在VR领域。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

我们看这个表,无论是从市场规模还是同比增长上看,VR在2015年到2017年的发展可谓是爆炸式的,所以说,VR未来的市场是相当庞大的。

VR产品包括内容源还有硬件设备,而我们更关注于硬件设备的制造或者说是设计。

大家都很清楚,虚拟现实有两个重要的方面,一是沉浸感,二是反馈,包括人体视觉和身体感觉方面的反馈。给VR设备做一个简单的解释,从传感器的反馈形成现实世界的3D模型,进而形成整个系统。

我想阐述一下硬件设计在VR设备上可以实现的功能,目前无非是VR、AR设备的识别、定位、运算以及传输等,设计方案需要CPU、GPU或者说传感器这些IC基础器件和FPGA做支撑。

比如说在AR上更关心的是对输入信息的认知和理解,那么我们需要去处理诸如目标的定位、识别、跟踪技术、计算机视觉此类的问题。但是它的计算量对于我们系统的处理器或者是说GPU要求都很高,我们要怎么去有效的提升VR设备的性能呢?我认为需要增加FPGA,用以满足日益增加的运算量所带来的设计复杂度的提升。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

我们看这张表,中间的FPGA可以实现一些输入输出接口(I/O),比如高分辨率的Camera Link,我们可以利用FPGA做一些图像的缓存;再举个例子,DDR存储器或其他一些和上层设备交互的接口,都可以用FPGA做实现和处理。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

这是在VR双目视觉上的FPGA应用。屏幕右边是我们公司的基础开发板,我们看到这两路的视频信号是可以分别用FPGA去做处理的。这个方案其实是将DSP和FPGA配合在一起,这样做的好处第一就是处理的速度非常的快。因为我们都知道FPGA有并行运算的优势,可以把运算的瓶颈从CPU或者GPU上面转移到FPGA里去处理,这样的话就可以降低整个系统的开销,从而提升系统的性能。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

这是复合视频处理平台。可以看到复合视频输入FPGA,可以实现高速数据分析、视频信号检测等,处理之后再输出交到下一级,这也是FPGA和DSP(数字信号处理)配合的,如果FPGA的DSP的资源足够的话我们可以把这两个系统,FPGA和DSP合二为一形成自己的设备。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

这是我们出于自己的安全考虑所做的。由FPGA做成有加密算法或者是系统的方案,满足我们对信息安全考量的需求。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

我想简单回顾一下FPGA给我们设计带来的好处,就是它可以有效降低成本、集成更多功能、实现GPU、CPU所能处理的工作,同时还可以做DSP(数字信号处理)和I/O(输入输出),另外就是它具有的灵活性。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

这个芯片是可以被重复编程的,我们可以利用它去做我们的原形验证甚至是将其产品化。另外非常重要的一点就是它可以被快速的推向市场。现在的产品或者说设计,晚推市场一段时间利润就会减少很多,该怎么去占领市场先机呢?

我们在做产品定义或者系统设计、寻找解决方案的时候,去找通用的CPU或者是专用的芯片,往往时间上都不能得到有效的保证。FPGA可以自主开发提高产品的研发速度,可以缩短产品从研发到产品化的时间。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

这是我们的应用领域。大家可以简单看一下,我们现在提供的有30K和130K还有180K的产品系列,这些完全可以满足我们对于视频处理、高速接口以及通讯传输功能的需求。同时它支持高速外部接口,可以满足很多我们对VR设备设计的需求。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

这是我们的设计软件,是同创拥有自主产权的编程软件,我们称之为PDS。这个软件的界面非常简洁,不会给用户带来设置上的负担。我们提供了丰富的IP资源以及多样化的使用方式。

同创国芯窦祥峰演讲实录:VR的FPGA应用分析

最后一点就是我们为什么要把FPGA用在VR或者AR设备上面?第一就是VR设备需要显示,FPGA在高分辨率图像或者说在图像的格式转换上面是非常灵活的。第二,加快了我们的研发速度。第三,缩小整个系统的尺寸,FPGA可以实现SOC化,整个系统面积可以得到有效的控制。第四,因为FPGA是多合一的,所以它可以有效的降低我们的系统成本。第五,具有安全性。我们的芯片可以加密,所以说如果有加密需求的话我们完全可以得到一个非常完善的安全系统。

我的介绍就是这样,谢谢大家。


原文发布时间: 2016-04-29 15:30
本文作者: 伶轩
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
相关文章
|
存储 算法 数据处理
FPGA:可编程逻辑设备的领军者及其在数字信号处理中的应用
FPGA:可编程逻辑设备的领军者及其在数字信号处理中的应用
404 2
|
10月前
|
传感器 搜索推荐 数据可视化
VR治心病?聊聊如何优化VR在心理治疗中的应用
VR治心病?聊聊如何优化VR在心理治疗中的应用
357 5
|
人工智能 程序员 vr&ar
培训别再“纸上谈兵”了!聊聊虚拟现实(VR)在职业培训里的硬核应用
培训别再“纸上谈兵”了!聊聊虚拟现实(VR)在职业培训里的硬核应用
432 48
培训别再“纸上谈兵”了!聊聊虚拟现实(VR)在职业培训里的硬核应用
|
10月前
|
机器学习/深度学习 人工智能 vr&ar
H4H:面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读
H4H是一种面向AR/VR应用的混合卷积-Transformer架构,基于NPU-CIM异构系统,通过神经架构搜索实现高效模型设计。该架构结合卷积神经网络(CNN)的局部特征提取与视觉Transformer(ViT)的全局信息处理能力,提升模型性能与效率。通过两阶段增量训练策略,缓解混合模型训练中的梯度冲突问题,并利用异构计算资源优化推理延迟与能耗。实验表明,H4H在相同准确率下显著降低延迟和功耗,为AR/VR设备上的边缘AI推理提供了高效解决方案。
1577 0
|
监控 搜索推荐 调度
【内测征集】LarkVR 播控系统上新:VR 应用一站式专业播控与管理工具
Paraverse 平行云专为 VR 应用场景运营方打造的一站式专业播控与管理工具LarkVR播控系统,基于LarkXR实时云渲染平台方案,整合VR空间运营、播控管理、设备运营等场景衍生的VR管理工具,旨在帮助其高效管理设备和运营自己的业务,提升整体运营效率与用户体验。 VR 运营者不再局限于单一终端的串流业务系统,通过 LarkVR播控系统,一键部署前后端业务系统,运营人员使用 pad即可完成快捷操作。支持本地内网部署,支持个性化需求定制接入,兼容市面上主流的各品牌 VR 一体机。
442 12
|
Go vr&ar 图形学
重塑体验:AR/VR技术在游戏与娱乐行业的创新应用
【10月更文挑战第29天】本文探讨了AR/VR技术如何改变游戏与娱乐行业,介绍了AR和VR的基本概念及其在游戏和娱乐中的应用实例,包括《精灵宝可梦GO》的AR开发和VR视频播放器的实现代码,并展望了未来的发展趋势。
1114 2
|
人工智能 自然语言处理 小程序
政务VR导航:跨界融合AI人工智能与大数据分析,打造全方位智能政务服务
政务大厅引入智能导航系统,解决寻路难、指引不足及咨询台压力大的问题。VR导视与AI助手提供在线预览、VR路线指引、智能客服和小程序服务,提高办事效率,减轻咨询台工作,优化群众体验,塑造智慧政务形象。通过线上线下结合,实现政务服务的高效便民。
590 2
政务VR导航:跨界融合AI人工智能与大数据分析,打造全方位智能政务服务
|
搜索推荐 算法 大数据
VR导航的实现原理、技术优势和应用场景
VR导航结合虚拟现实和室内定位,提供沉浸式精准导航服务,已在商场、机场、停车场、展馆和景区等领域应用,展现巨大潜力。通过模拟真实环境、精准定位和交互控制,提升用户体验。未来,VR导航将与AR、大数据融合,优化交互方式,并在更多场所普及。
767 1
VR导航的实现原理、技术优势和应用场景
|
vr&ar 图形学 API
Unity与VR控制器交互全解:从基础配置到力反馈应用,多角度提升虚拟现实游戏的真实感与沉浸体验大揭秘
【8月更文挑战第31天】虚拟现实(VR)技术迅猛发展,Unity作为主流游戏开发引擎,支持多种VR硬件并提供丰富的API,尤其在VR控制器交互设计上具备高度灵活性。本文详细介绍了如何在Unity中配置VR支持、设置控制器、实现按钮交互及力反馈,结合碰撞检测和物理引擎提升真实感,助力开发者创造沉浸式体验。
1245 1
|
vr&ar C# 图形学
WPF与AR/VR的激情碰撞:解锁Windows Presentation Foundation应用新维度,探索增强现实与虚拟现实技术在现代UI设计中的无限可能与实战应用详解
【8月更文挑战第31天】增强现实(AR)与虚拟现实(VR)技术正迅速改变生活和工作方式,在游戏、教育及工业等领域展现出广泛应用前景。本文探讨如何在Windows Presentation Foundation(WPF)环境中实现AR/VR功能,通过具体示例代码展示整合过程。尽管WPF本身不直接支持AR/VR,但借助第三方库如Unity、Vuforia或OpenVR,可实现沉浸式体验。例如,通过Unity和Vuforia在WPF中创建AR应用,或利用OpenVR在WPF中集成VR功能,从而提升用户体验并拓展应用功能边界。
563 1

热门文章

最新文章