搭载着 ULSee 智能驾驶集成方案的汽车上，4 个摄像头分别安装在车身的前后左右，用于采集车辆在行车过程中四周的影像。无论是在高速还是低速行车期间，图像都可以在经过实时图像拼接技术处理后，形成一幅无缝完整的车周全景图，实时直观呈现在车内的显示设备上，使驾驶员可以 360 度地了解行车环境并结合前方安全警示系统做出相应决策判断。与此同时，车内的 3 个摄像头协同工作实现对驾驶员行为的监测分析，进而判断驾驶员是否走神、疲劳、偏离开车焦点并在第一时间发出警报确保行车安全。
2017 上海国际车展期间，ULSee 将其智能驾驶集成方案铺陈在汽车厂商眼前，并首次展示了自主研发的 3D 全景行车监控影像系统。这套系统着重于软件及算法功能的提升，不需要特殊硬件，CPU 占用率小于 8M。据透露，该解决方案已经与德国一线车厂达成合作意向并进入测试阶段。成立于 2014 年的 ULSee，专注于计算机视觉技术与人工智能，目前的研发涵盖图像处理、人脸追踪与识别、手部及肢体的跟踪、3D 重构、AR/VR 内容创建、自然人机交互等，并被广泛应用于国内外的安防、金融、交通、娱乐等行业领域。
汽车年销售量稳步上升，因疲劳和分心导致的交通事故数量不容小觑。维吉尼亚理工大学交通运输研究院的调查显示，车祸发生的原因有 93% 都是人为因素造成的，其中有高达 80% 都是由于事故发生前三秒注意力不集中所导致。自动驾驶被认为能够改善此类事故的高发生率。NHTSA 数据统计预测，到 2040 年，自动驾驶技术将会减少 80% 的交通事故。
盲区是驾驶员的梦魇，主要分为车头盲区、车尾盲区、后视镜盲区以及 AB 柱盲区。（一般轿车车身每侧有三个立柱，前挡风玻璃两侧的斜柱称为 A 柱，前后门之间的立柱称为 B 柱、后挡风玻璃两侧的立柱则被称为 C 柱。）为了避免由于盲区造成事故，全景影像系统应运而生。
市场上现有的 2D AVM 系统虽然可以实现 360 度环景，但 2D 可视距离较短，仅可以在停车的时候使用。传统 3D AVM 系统也存在各种局限性，如富士通提出的 3D AVM 系统可视距离较远，但视角有限；BMW 在去年的 CES 展上提出了无后视镜 Mirrorless 概念，利用摄像头取代真正的后外视镜，利用 6 个摄像头在高速情况下将左中右三个影像缝合在一起，但是由于立体 3D 缝合会出现高速影像信息失真、低速影像重叠频繁等问题，所以在低速情况下转换成三分割模式，驾驶员需要自己来通过所呈现的画面做路况分辨。
而 ULSee 的 3D 全景行车监控影像系统利用 3 个广角鱼眼镜头取代传统后视镜，摄取左右及后方 270 度的图像，可以从一侧 A 柱覆盖到另一侧 A 柱，完成 3D 立体影像的实时缝合，可视距离为 35 米，实现无盲区零死角，具备更加广阔的视野。
ULSee 3D 全景行车监控影像系统测试录像
这套 Mirrorless 全景 3D 解决方案是 ULSee 公司智能驾驶事业部总经理吴易达及其团队的研究成果。吴易达是来自台湾工研院的技术专家，从 2002 年至今拥有长达 15 年在计算机视觉领域的研发经验，并于今年初加入 ULSee 进行智能驾驶产品的落地研发。
ULSee公司智能驾驶事业部总经理吴易达
吴易达在接受机器之心专访时说：「我们是在和车厂的互动和反馈中注意到了汽车高速行进情况下的死角问题，事实上，那是我们也一直正在做相关的研发工作。去年刚好 BMW 提出 Mirrorless 的概念，日本也推出了未来可以用摄像头取代后视镜的法规，我们就在这样一个环境下推出了目前这套解决方案。虽然看起来这个系统好像也没什么，我本来也以为很简单，就做一下鱼眼矫正和图像缝合，但之后发现这背后其实涉及蛮多的工作，还是要很努力。鱼眼镜头可以看到 180 度的视角，可是会导致车距失真。利用鱼眼矫正可以实时矫正视觉失真，让呈现的图像效果比较贴近真实的距离感。在缝合的过程中，我们就好像做菜一样在里面添加了很多作料，比如针对物体消失，我们会根据不同的画面做不同权重的调整。在这一块，我们有一个比较特殊、比较复杂的模型，可以根据客户所需要呈现的画面做一些客制化的工作。」
整个系统的研发中同样存在很多挑战，吴易达笑称，身为研发出身可能美感并不是很好，在与车厂的讨论过程中，对于缝合图像的呈现方式在美观、人为接受度上是一个很大的问题。另外，不同车型车种的盲区死角并不一致，还需要一个讨论、磨合、改进的过程。「目前我们主要针对小型轿车，把 2D、3D 一起吃进来，但是大车更需要这样的 surround view 系统，因为对于大车的驾驶员来说，看分割的监控镜头他可能没有办法迅速理解镜头真正的方向与车子方位间的关系从而造成困扰。所以我们认为大车这一块是等着我们开垦的蛮荒地，之后会带领我们的业务单元把这个市场先做起来。」他补充道。
除了可以摄取 270 度图像的 3 个鱼眼摄像头，前端还有一个镜头支持前方安全警示系统，从而实现车道线偏离预警、前方碰撞预警功能，即人们所熟知的 ADAS。ADAS 市场上的竞争无疑是非常激烈的。撇开利用单只前置摄像头就可以实现一系列驾驶辅助功能的 Mobileye、依托于双摄像头日本的 Hitachi Automobile Systems 等业内领跑科技公司，一些芯片厂商也看好 ADAS 市场，在朝这个方向行进。
「ULSee 切入 ADAS 市场的契机，靠的就是我们所提出的颠覆传统电脑视觉的理论架构，无需前处理过程。」吴易达介绍道。
传统机器学习最大的问题就是基于影像处理为基础，使得人们会拿影像处理的工具来做电脑视觉，但这个过程会存在一些问题。对于所有的讯号处理，去杂讯是非常必要的第一步。在视觉领域，去杂讯就是把高频的讯号滤掉，这样影像就会变模糊。就像如果一个带有眼镜的人，在把眼镜拿掉以后看到的所有东西都将是模糊的，这种情况下这个人没有办法开车。一般智能图像检测系统需要经过实时影像输入、图像前处理、特征提取、深度学习、识别分析等过程，如果略过图像前处理这一步骤，那么就可以取得最完整的资讯，最丰富的特征。「这是一个环环相扣的过程，这样我们的运算复杂度也会大幅度下降，在一些低阶的平台上也可以执行。相应地在 AI 这一部分，我们也就不需要复杂的模型，利用轻量深度学习模型就可以运作。一般来说 CNN 大概需要 10^6 神经元，我们只需要 10^3 就够了。这样简而言之，我们既要执行效果理想，又不需要很多 CPU 效能。」吴易达解释道。
吴易达认为在 ADAS 市场上，每家公司虽然做法不一样，但是都在努力，不过有一些做法还是比较可惜的。AlphaGo 下赢韩国棋手所获得成功让大家看到深度学习的可行性，可如果研发部门一味看中依赖于数据的深度学习，未来研发人员则将会沦为数据搜集者，无法发挥他们的创造力去探索新的模型。以现实而言，为了避免之前 Microsoft 上架的聊天机器人因为学会脏话而不得不下架的情况发生，ULSee 采用专家系统为基础的深度学习方法，着手以人为的方式进行介入。百度近期发布的「阿波罗计划」自动驾驶开放平台在业内引发一系列效应，未来 ULSee 也会在保留自己技术特色的基础之上，利用这个开源平台进行一些探索尝试。
上述所提到的环景系统以及 ADAS 系统都是相对车外而言，与此同时，在车内对于驾驶者的行为进行监控分析也是非常重要的一个环节。通过了解车内驾驶员的状态来对其进行疲劳或是分心检测，再结合车外所得到的信息构成一个完整的系统。
车内驾驶员疲劳侦测与示警系统利用车内的 3 个镜头采用影像处理技术，对驾驶员的面部、瞳孔和肢体进行检测、追踪以及识别，从而可以实现对驾驶员的疲劳分心检测、司机身份的识别、甚至可以实现属性分析进行一系列个性化设置等功能。ULSee 产品总监 Kevin 在现场演示了这套系统的实时效果：「这里不仅用了我们最擅长的脸部、眼球、头部追踪，其实我们也有用到 skeleton 的定位分析。比如开车讲电话这样危险的动作就通过 skeleton 的分析轻松判定出来。」事实上，去年 ULSee 就已经发布了这套车内驾驶员疲劳侦测与示警系统解决方案，目前已经搭载在阿根廷 450 万辆长途物流货车上。
