取代后视镜,ULSee发布3D全景行车监控影像系统-阿里云开发者社区

开发者社区> 超努力的写代码> 正文

取代后视镜,ULSee发布3D全景行车监控影像系统

简介: 搭载着 ULSee 智能驾驶集成方案的汽车上,4 个摄像头分别安装在车身的前后左右,用于采集车辆在行车过程中四周的影像。
+关注继续查看

搭载着 ULSee 智能驾驶集成方案的汽车上,4 个摄像头分别安装在车身的前后左右,用于采集车辆在行车过程中四周的影像。无论是在高速还是低速行车期间,图像都可以在经过实时图像拼接技术处理后,形成一幅无缝完整的车周全景图,实时直观呈现在车内的显示设备上,使驾驶员可以 360 度地了解行车环境并结合前方安全警示系统做出相应决策判断。与此同时,车内的 3 个摄像头协同工作实现对驾驶员行为的监测分析,进而判断驾驶员是否走神、疲劳、偏离开车焦点并在第一时间发出警报确保行车安全。


2017 上海国际车展期间,ULSee 将其智能驾驶集成方案铺陈在汽车厂商眼前,并首次展示了自主研发的 3D 全景行车监控影像系统。这套系统着重于软件及算法功能的提升,不需要特殊硬件,CPU 占用率小于 8M。据透露,该解决方案已经与德国一线车厂达成合作意向并进入测试阶段。成立于 2014 年的 ULSee,专注于计算机视觉技术与人工智能,目前的研发涵盖图像处理、人脸追踪与识别、手部及肢体的跟踪、3D 重构、AR/VR 内容创建、自然人机交互等,并被广泛应用于国内外的安防、金融、交通、娱乐等行业领域。


汽车年销售量稳步上升,因疲劳和分心导致的交通事故数量不容小觑。维吉尼亚理工大学交通运输研究院的调查显示,车祸发生的原因有 93% 都是人为因素造成的,其中有高达 80% 都是由于事故发生前三秒注意力不集中所导致。自动驾驶被认为能够改善此类事故的高发生率。NHTSA 数据统计预测,到 2040 年,自动驾驶技术将会减少 80% 的交通事故。


盲区是驾驶员的梦魇,主要分为车头盲区、车尾盲区、后视镜盲区以及 AB 柱盲区。(一般轿车车身每侧有三个立柱,前挡风玻璃两侧的斜柱称为 A 柱,前后门之间的立柱称为 B 柱、后挡风玻璃两侧的立柱则被称为 C 柱。)为了避免由于盲区造成事故,全景影像系统应运而生。


市场上现有的 2D AVM 系统虽然可以实现 360 度环景,但 2D 可视距离较短,仅可以在停车的时候使用。传统 3D AVM 系统也存在各种局限性,如富士通提出的 3D AVM 系统可视距离较远,但视角有限;BMW 在去年的 CES 展上提出了无后视镜 Mirrorless 概念,利用摄像头取代真正的后外视镜,利用 6 个摄像头在高速情况下将左中右三个影像缝合在一起,但是由于立体 3D 缝合会出现高速影像信息失真、低速影像重叠频繁等问题,所以在低速情况下转换成三分割模式,驾驶员需要自己来通过所呈现的画面做路况分辨。


而 ULSee 的 3D 全景行车监控影像系统利用 3 个广角鱼眼镜头取代传统后视镜,摄取左右及后方 270 度的图像,可以从一侧 A 柱覆盖到另一侧 A 柱,完成 3D 立体影像的实时缝合,可视距离为 35 米,实现无盲区零死角,具备更加广阔的视野。


微信图片_20211128165953.jpg

ULSee 3D 全景行车监控影像系统测试录像


这套 Mirrorless 全景 3D 解决方案是 ULSee 公司智能驾驶事业部总经理吴易达及其团队的研究成果。吴易达是来自台湾工研院的技术专家,从 2002 年至今拥有长达 15 年在计算机视觉领域的研发经验,并于今年初加入 ULSee 进行智能驾驶产品的落地研发。


微信图片_20211128170026.jpgULSee公司智能驾驶事业部总经理吴易达


吴易达在接受机器之心专访时说:「我们是在和车厂的互动和反馈中注意到了汽车高速行进情况下的死角问题,事实上,那是我们也一直正在做相关的研发工作。去年刚好 BMW 提出 Mirrorless 的概念,日本也推出了未来可以用摄像头取代后视镜的法规,我们就在这样一个环境下推出了目前这套解决方案。虽然看起来这个系统好像也没什么,我本来也以为很简单,就做一下鱼眼矫正和图像缝合,但之后发现这背后其实涉及蛮多的工作,还是要很努力。鱼眼镜头可以看到 180 度的视角,可是会导致车距失真。利用鱼眼矫正可以实时矫正视觉失真,让呈现的图像效果比较贴近真实的距离感。在缝合的过程中,我们就好像做菜一样在里面添加了很多作料,比如针对物体消失,我们会根据不同的画面做不同权重的调整。在这一块,我们有一个比较特殊、比较复杂的模型,可以根据客户所需要呈现的画面做一些客制化的工作。」


整个系统的研发中同样存在很多挑战,吴易达笑称,身为研发出身可能美感并不是很好,在与车厂的讨论过程中,对于缝合图像的呈现方式在美观、人为接受度上是一个很大的问题。另外,不同车型车种的盲区死角并不一致,还需要一个讨论、磨合、改进的过程。「目前我们主要针对小型轿车,把 2D、3D 一起吃进来,但是大车更需要这样的 surround view 系统,因为对于大车的驾驶员来说,看分割的监控镜头他可能没有办法迅速理解镜头真正的方向与车子方位间的关系从而造成困扰。所以我们认为大车这一块是等着我们开垦的蛮荒地,之后会带领我们的业务单元把这个市场先做起来。」他补充道。


除了可以摄取 270 度图像的 3 个鱼眼摄像头,前端还有一个镜头支持前方安全警示系统,从而实现车道线偏离预警、前方碰撞预警功能,即人们所熟知的 ADAS。ADAS 市场上的竞争无疑是非常激烈的。撇开利用单只前置摄像头就可以实现一系列驾驶辅助功能的 Mobileye、依托于双摄像头日本的 Hitachi Automobile Systems 等业内领跑科技公司,一些芯片厂商也看好 ADAS 市场,在朝这个方向行进。


「ULSee 切入 ADAS 市场的契机,靠的就是我们所提出的颠覆传统电脑视觉的理论架构,无需前处理过程。」吴易达介绍道。


传统机器学习最大的问题就是基于影像处理为基础,使得人们会拿影像处理的工具来做电脑视觉,但这个过程会存在一些问题。对于所有的讯号处理,去杂讯是非常必要的第一步。在视觉领域,去杂讯就是把高频的讯号滤掉,这样影像就会变模糊。就像如果一个带有眼镜的人,在把眼镜拿掉以后看到的所有东西都将是模糊的,这种情况下这个人没有办法开车。一般智能图像检测系统需要经过实时影像输入、图像前处理、特征提取、深度学习、识别分析等过程,如果略过图像前处理这一步骤,那么就可以取得最完整的资讯,最丰富的特征。「这是一个环环相扣的过程,这样我们的运算复杂度也会大幅度下降,在一些低阶的平台上也可以执行。相应地在 AI 这一部分,我们也就不需要复杂的模型,利用轻量深度学习模型就可以运作。一般来说 CNN 大概需要 10^6 神经元,我们只需要 10^3 就够了。这样简而言之,我们既要执行效果理想,又不需要很多 CPU 效能。」吴易达解释道。


吴易达认为在 ADAS 市场上,每家公司虽然做法不一样,但是都在努力,不过有一些做法还是比较可惜的。AlphaGo 下赢韩国棋手所获得成功让大家看到深度学习的可行性,可如果研发部门一味看中依赖于数据的深度学习,未来研发人员则将会沦为数据搜集者,无法发挥他们的创造力去探索新的模型。以现实而言,为了避免之前 Microsoft 上架的聊天机器人因为学会脏话而不得不下架的情况发生,ULSee 采用专家系统为基础的深度学习方法,着手以人为的方式进行介入。百度近期发布的「阿波罗计划」自动驾驶开放平台在业内引发一系列效应,未来 ULSee 也会在保留自己技术特色的基础之上,利用这个开源平台进行一些探索尝试。


上述所提到的环景系统以及 ADAS 系统都是相对车外而言,与此同时,在车内对于驾驶者的行为进行监控分析也是非常重要的一个环节。通过了解车内驾驶员的状态来对其进行疲劳或是分心检测,再结合车外所得到的信息构成一个完整的系统。


车内驾驶员疲劳侦测与示警系统利用车内的 3 个镜头采用影像处理技术,对驾驶员的面部、瞳孔和肢体进行检测、追踪以及识别,从而可以实现对驾驶员的疲劳分心检测、司机身份的识别、甚至可以实现属性分析进行一系列个性化设置等功能。ULSee 产品总监 Kevin 在现场演示了这套系统的实时效果:「这里不仅用了我们最擅长的脸部、眼球、头部追踪,其实我们也有用到 skeleton 的定位分析。比如开车讲电话这样危险的动作就通过 skeleton 的分析轻松判定出来。」事实上,去年 ULSee 就已经发布了这套车内驾驶员疲劳侦测与示警系统解决方案,目前已经搭载在阿根廷 450 万辆长途物流货车上。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26793 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10089 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10884 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
11818 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
4660 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
22405 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7365 0
1946
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础HTML入门教程》
立即下载
《零基础CSS入门教程》
立即下载