索尼发布全球首款具有AI处理功能的智能视觉传感器

简介: 支持高速边缘人工智能(AI)处理,构建链接云服务的最佳视觉系统

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

图 | MEMS

编者按:本文来自微信公众号“MEMS”(ID:MEMSensor),作者麦姆斯咨询,原文题目《索尼发布全球首款具有AI处理功能的智能视觉传感器》,36氪经授权发布,略有删减。

据麦姆斯咨询报道,近日,索尼(Sony)公司宣布即将发布两款智能视觉传感器:IMX500和IMX501,这是全球首款配备人工智能(AI)处理功能的CMOS图像传感器。该CMOS图像传感器自身集成AI处理功能,可以实现高速边缘AI处理和提取必要的应用数据。当使用云服务时,利用该传感器构建的视觉系统可减少数据传输延迟,解决隐私问题并降低功耗和通信成本。

索尼智能视觉传感器为广大应用开发者提供了研发配备AI功能的摄像头的机会,通过高速数据处理可实时跟踪目标对象,应用领域包括智慧零售、智能安防、智能交通及智慧工业等,并且有助于构建链接云服务的最佳视觉系统。

v2_d52cf914e6d44160a51b0727b9f40519_img_000

智能视觉传感器(左:IMX500;右:IMX501)


v2_059251d1d4e047f9bc6063a2553f49b5_img_000

图 | MEMS

物联网的普及导致各种各样的设备都将连接到“云”,并且从这些设备获取的信息可通过云AI处理,这使得云信息处理系统的使用变得司空见惯。但是,在云中处理的信息量不断增加,带来了各种问题:数据传输延迟增加,阻碍了实时信息处理;将个人身份数据存储在云中,造成用户安全问题;云服务带来的其它问题,如电力消耗和通信成本的增加……

索尼智能视觉传感器由像素阵列芯片(感光功能)和逻辑电路芯片(包括计算和存储功能)进行3D堆叠而成,是全球第一款在逻辑电路芯片上集成AI图像分析和处理功能的CMOS图像传感器。其中,像素阵列芯片获取的信号利用传感器中的AI处理,无需高性能处理器或外部存储器,从而使边缘AI系统得以发展。该传感器输出元数据(属于图像数据的语义信息)而不是图像信息,从而减少数据量并解决隐私问题。此外,边缘AI可以为通用应用提供多种功能,例如具有高速AI处理的实时对象跟踪,也可以根据用户需求或系统使用位置等条件,通过重写内部存储器来选择不同的AI模型。

v2_e503360015fd44a58e9bfedaed310bf7_img_000

图 | MEMS

像素阵列芯片采用背照式(BSI)工艺,有效像素约为1230万,可在宽视角下捕捉图像信息。除了传统的CMOS图像传感器运算电路外,该逻辑电路芯片还集成了索尼专用于AI信号处理的数字信号处理器(DSP),以及用于AI模型的存储器。这种配置消除了对高性能处理器或外部存储器的需求,使其成为边缘AI系统的理想选择。

像素阵列芯片获取的信号先通过ISP(图像信号处理器)处理,然后在逻辑电路芯片上进行AI处理,提取的信息作为元数据输出,从而减少处理的数据量。另外,确保不输出图像信息有助于降低安全风险并解决隐私问题。除了传统CMOS图像传感器记录的图像信息外,用户还可以根据自己的需求和用途选择数据输出格式,包括ISP格式输出图像(YUV/RGB)和ROI(感兴趣区域)特定区域提取图像。

v2_3a622ca80d1d4c9b8d5103b07b4f0ad0_img_000

图 | MEMS

当使用传统CMOS图像传感器拍摄视频时,必须为每个单独的输出图像帧发送数据以进行AI处理,从而导致数据传输量增加,并且难以提供实时处理。索尼智能视觉传感器在逻辑电路芯片上执行ISP处理和高速AI处理(MobileNet V1的处理时间为3.1毫秒),从而在单个视频帧中完成整个过程。这种设计使得“在录制视频的同时提供高精度、实时的目标跟踪功能”成为可能。

v2_af2c129c464a4efa8681ca187f719d0c_img_000

图 | MEMS

用户能够将自己选择的AI模型写入嵌入式存储器中,并可根据用户要求或系统使用位置等条件对其进行重写和更新。例如,当在零售商场安装集成智能视觉传感器的多个摄像头时,应用可以横跨不同的时间、地点(环境)或目的。当安装在商场入口时,它可以用来统计访客数量;当安装在商店货架上时,它可以用来检测库存短缺情况;当安装在商场天花板上时,它可以用于绘制商店访客热图(检测客户聚集的位置)等。同时,用户可以随时改写这些摄像头中的AI模型,比如从“用于检测热图的模型”改成“用于识别消费者行为的模型”。

v2_8898eda8a69f45759ef87f7793d11bcd_img_000

图 | MEMS

索尼智能视觉传感器关键指标:

v2_94e4c5acd451406c99ecf4516de24e8f_img_000

图 | MEMS

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-06-02
本文作者: 恋迦
本文来自:“36kr”,了解相关信息可以关注“36kr

相关文章
|
3月前
|
存储 人工智能
|
25天前
|
人工智能 自动驾驶 搜索推荐
【通义】AI视界|苹果AI本周正式上线,将引入四大功能
本文由【通义】自动生成,涵盖苹果AI上线、特斯拉被华尔街重新评估、谷歌开发控制计算机的AI、Meta与路透社合作及Waymo获56亿美元融资等科技动态。点击链接或扫描二维码获取更多信息。
|
1月前
|
人工智能 IDE 开发工具
给IntelliJ IDEA添加AI功能
这篇文章讲解了如何在IntelliJ IDEA中安装和使用阿里云开发的通义灵码插件,以增强IDE的人工智能辅助编程功能。
294 0
给IntelliJ IDEA添加AI功能
|
2月前
|
人工智能 自动驾驶 云栖大会
何小鹏驾驶“全球首款AI汽车”亮相云栖大会 深化与阿里云AI算力合作
小鹏汽车加速端到端自动驾驶落地 深化与阿里云AI算力合作
391 13
|
2月前
|
人工智能 监控 数据可视化
如何利用 DataV 的 AI 功能进行数据可视化?
如何利用 DataV 的 AI 功能进行数据可视化?
132 1
|
2月前
|
人工智能 自然语言处理 安全
【通义】AI视界|谷歌推出AI搜索功能“问照片”,照片一问即得……
本文汇总了AI领域的最新动态,包括谷歌推出的“问照片”功能,使用户能用自然语言检索Google Photos;OpenAI的商业用户激增及ChatGPT的广泛应用;Anthropic发布的企业级AI助手Claude Enterprise;美英欧盟首个人工智能法律约束条约;OpenAI前首席科学家新公司获巨额融资;以及比尔·盖茨对AI前景的乐观展望与安全建议。
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
如何让你的Uno Platform应用秒变AI大神?从零开始,轻松集成机器学习功能,让应用智能起来,用户惊呼太神奇!
【9月更文挑战第8天】随着技术的发展,人工智能与机器学习已融入日常生活,特别是在移动应用开发中。Uno Platform 是一个强大的框架,支持使用 C# 和 XAML 开发跨平台应用(涵盖 Windows、macOS、iOS、Android 和 Web)。本文探讨如何在 Uno Platform 中集成机器学习功能,通过示例代码展示从模型选择、训练到应用集成的全过程,并介绍如何利用 Onnx Runtime 等库实现在 Uno 平台上的模型运行,最终提升应用智能化水平和用户体验。
55 1
|
2月前
|
人工智能 数据中心
使用光模块Breakout功能减少AI训练中断故障
本文介绍了使用大成鹏通信光模块Breakout功能可以减少AI训练中断故障的问题。通过Breakout功能,单通道故障不会中断其他通道的数据转发,有效解决了传统光模块因单通道故障导致的训练中断问题。同时,还介绍了如何利用Breakout功能进行更灵活的AI基础网络组网。
|
3月前
|
存储 机器学习/深度学习 人工智能
AI工业变革问题之EPAI软件平台的主要功能内容如何解决
AI工业变革问题之EPAI软件平台的主要功能内容如何解决
45 0

热门文章

最新文章