让机器人的触觉感官更灵敏、稳定、高效,腾讯Robotics X在传感器上火力全开(1)

简介: 让机器人的触觉感官更灵敏、稳定、高效,腾讯Robotics X在传感器上火力全开


机器之心编辑部

触觉传感器与执行器综述中,我们已经大致了解腾讯 Robotics X 实验室在这两个领域的探索及成果。本文将对该实验室在触觉传感器领域的成果进行技术剖析,详解实现方式、具体效果、研究意义以及潜在应用。

智能机器人要走进家庭,与人类安全地交互、灵巧操作各种物体,触觉感知是基础。触觉传感器相当于机器人的“电子皮肤”,通过测量传感器与环境的物理交互产生的信息,模仿生物皮肤的触觉感知,是机器人实现智能化的必备条件。


触觉传感器根据信号转换机制的不同主要分为压阻型、电容型、压电型、摩擦电型四大类,它们的原理、优点和应用各有不同。


  • 压阻型触觉传感器:利用电阻的变化实现对外力的传感,具有结构简单、集成和输出数据容易等优点。
  • 电容型触觉传感器:传统的电容型触觉传感器通常由两层电极层及其之间的软弹性体组成,可以将压力刺激转换成电容信号以实现传感功能。这种传感器因其结构简单、动态响应好以及功耗低等优点在可穿戴和医疗保健设备中被广泛应用。
  • 压电型触觉传感器:基于材料在外界机械压力作用下产生电压的能力,具有较高的灵敏度和响应速度,被广泛用于声波振动、脉搏跳动等动态压力的检测。
  • 摩擦电型触觉传感器:主要基于两种物质互相摩擦时接触表面产生电荷引起电信号的变化,主要用于自供电的柔性触觉传感器。


腾讯 Robotics X 实验室与合作高校在压阻型、摩擦电纳米发电机(TENG 型)和电容型触觉传感器领域发表了多篇代表性论文,并被 Science Advances、Nature Communications 和 ACS Nano 期刊收录,接下来一一进行解读。


柔性压阻型触觉传感器阵列:开发智能机器人触控系统


压阻型是柔性触觉传感器的主要类型之一,尤其适合构建具有高空间分辨率的大型触觉传感器网络。导电纳米材料(碳纳米管)与聚合物弹性体(如聚氨酯等)二者合成的压阻薄膜(PRF)是压力传感器的首选材料之一,但在实践中因材料融合问题导致 PRF 灵敏度较低。虽然可以采用表面微结构设计增强灵敏度,但基于模具的微结构往往限制了单个压力传感器的尺寸并阻碍其向大型传感器阵列的集成。同时,构建大型压力传感器阵列还需要具有薄膜晶体管(TFT)阵列的有源矩阵,以实现高空间分辨率并减少相邻传感器像素之间的串扰。


在与清华大学合作的论文《Large-Scale Integrated Flexible Tactile Sensor Array for Sensitive Smart Robotic Touch》中,研究者将基于 PRF 的 64×64 柔性传感器阵列与基于忆阻器的 CIM 芯片集成,开发一个智能机器人触控系统,在硬件中实现高达 98.8% 和 97.3% 的手写数字和汉字识别准确率。其中 PRF 是混合多壁碳纳米管(MWCNTs)与热塑性聚氨酯弹性体(TPU)在低温下合成的,上表面的自形成微结构灵敏度高、压力检测范围广、响应速度快且循环性优秀。论文被 ACS Nano 收录。


论文链接:https://pubs.acs.org/doi/10.1021/acsnano.2c06432

 

设计思路与技术细节


PRF 自形成微结构的表面粗糙度为 8~10 µm,这一规模远远小于以往工作中的典型可控微结构(如金字塔)。对于压力传感器阵列中尺寸为0.9×0.9mm^2 的像素而言,PRF 表明可被认为相对较为平坦的。通过将 PRF 与 4 英寸单壁 CNT TFT 的有源矩阵集成,构建了超高空间分辨率的柔性触觉传感器阵列,可以进一步用于识别仿真蜜蜂的足迹。下图 I-1 展示了智能机器人触控系统。

           

 图 I-1。


如上文所述,MWCNTs 和 TPU 的复合材料被用来合成高性能 PRF,并通过溶液混合方法分别选择 N - 甲基吡咯烷酮(NMP)和二甲基甲酰胺(DMF)作为 MWCNTs 和 TPU 的溶剂,以实现高浓度 MWCNTs(至少 14%)并均匀地混合到 TPU 弹性体中,同时避免了 MWCNTs 团聚问题。


下图 I-2 a 展示了 PRF 的结构,分为两个不同的区域,一是具有粗糙表面形态的上区域(即自形成微结构),随机排列的 MWCNTs 被 TPU 包裹;另一是具有平坦表面形态的下区域,其中被均匀分散在 TPU 中的 MWCNTs 填充。为了确认上表面的自形成微结构,研究者分别检查了 PRF 上下表面的形态和粗糙度,如图 I-2 b、c 所示。图 I-2 d、e 分别展示了分散液中原始 MWCNTs 和 PRF 中 MWCNTs/TPU 复合材料的氦离子束显微镜(HIM)图像。图 I-2 f-h 进一步研究了 PRF 薄膜的横截面,其中清晰可见两个不同的区域。


图 I-2。


PRF 的上区域主要是 TPU 包裹的 MWCNTs,而下区域主要是 MWCNTs 与 TPU 的聚合物,这种特殊结构可以大大增强压力传感性能。为了测量 PRF 的灵敏度,研究者将它夹在两个金属电极之间,然后测量 0~1400 kPa 范围内不同施加压力的电流响应,其中很多机器人应用(如图 I-3 g 的机器狗)需要更大的压力范围。图 I-3 e 展示了 1500 次循环的可循环测试,图 I-3 f 展示了测试中多个循环的放大效果。研究者更是对另一个 PRF 样品进行 3000 次循环的测试,验证 PRF 具有很强的耐用性和稳健性。图 I-3 h 中使用 PRF 压力传感器(6% 浓度的 MWCNTs)进行人体脉搏监测实验,以展示其超高的灵敏度。


图 I-3。


研究者开发的 PRF 具有出色的压力传感特性并成为高性能触觉传感器的绝佳选择。除了常规正向压力检测外,PRF 还可以被组装成一个阵列,并通过计算阵列中每个传感器上施加的压力来检测力的方向。


识别蜜蜂足迹、手写数字和汉字分类


机器人触控通常需要具有高空间分辨率的大型集成式压力传感器阵列,因此研究者将低温处理后的 PRF 与单壁 CNT TFT 制作成 64×64 有源矩阵集成,以构建 4 英寸的大型集成式压力传感器阵列。其中,有源矩阵首先使用涂覆在 4 英寸硅底片上的 PI 薄膜上制作。


下图 I-4 a-c 展示了 CNT TFT 有源矩阵的示意图,图 I-4 d 为晶体管沟道中高密度 CNT 薄膜的扫描电子显微镜(SEM)图像,长 8 μm、宽 100 μm,图 I-4 e 为从底片上剥离后的有源矩阵的示意图。图 I-4 i 展示了传感器阵列上仿真蜜蜂(重量 6.7 克、足宽约 0.55 mm)的足迹识别,它的六只脚在压力传感器阵列上的位置中被正确识别。图 I-4 j 放大左后脚,可以看到阵列中八个传感器像素被施加了不同的压力。


图 I-4。


除了识别与物体形状相关的压力图之外,收集的传感器数据还可以帮助识别数据表示的模式。通过进一步将传感器阵列与 AI 硬件集成,并利用深度学习算法进行高效数据处理,从而在显著降低功耗和延迟的情况下实现未来的边缘或近传感器计算。


如下图 I-5 a 所示,研究者将基于 PRF 的 64×64 传感器阵列与基于忆阻器的 CIM 芯片集成,构建了一个用于智能机器人触控的触觉硬件系统原型,用于采集和识别手写数字或汉字等字符。图 I-5 b 展示了所采用的一款全系统集成的 CIM 芯片,采用 130nm CMOS 工艺制成,图 I-5 c 展示使用约 160k 的忆阻器实现 784×100×10 的多层感知机(MLP)。在写入一个数字期间记录的所有帧被组合生成一幅像素为 64×64 的图像,如图 I-5 d 所示。研究者共收集了 3099 张手写数字图像,随机选择其中的 2598 张作为训练集,其余 501 张作为测试集。结果显示,训练与测试的准确率分别达到了 99.2% 和 98.8%,与软件模拟中实现的数值相当。


除手写数字之外,研究者使用压力传感器阵列以类似的方式收集更复杂的字符图案(例如汉字)并进行分类识别。他们选取九个汉字(清华大学微纳电子系),通过在 64×64 传感器阵列上书写收集了 900 张图像(每个汉字 100 张)的数据集。结果显示,这些汉字的分类准确率达到 97.3±1.0%。


图 I-5。


柔性 TENG 式触觉传感器:自供电无线传感电子贴纸


在实现物联网连通万物的过程中,基于电磁波的无线传感技术面临着挑战。如下图 II-1 所示,当前无线系统包含传感、信号调制、无线传输以及供能与能量管理四个模块,造成刚性和体积庞大的电子元件。虽然可以使用可拉伸柔性电子设备来解决柔体 - 刚体接口问题,但大多数仍由本质上刚性的组件或设备组成,限制了电子皮肤和可植入医疗设备等应用场景。这些电子元器件的总能耗也较大,因此需要电池或电缆提供电力,给实施和维护造成不便,引起可持续性和环境问题。


图 II-1。


这时,新兴的摩擦纳米发电机(TENG)技术进入了视野,它可以通过额外的位移电流项来触发无线信号的产生和传输。TENG 可以同时高效地捕获机械能和运动信号,无需额外的电源和传感模块。电磁波发射的功耗通常小于 1 mW,这可以通过 TENG 收集的典型动能轻松实现,使设备完全自供电。


在与香港中文大学合作的论文《A paradigm shift fully self-powered long-distance wireless sensing solution enabled by discharge-induced displacement current》中,研究者基于 TENG 触发的击穿放电提出一种范式转换策略,研发一种自供电无线传感电子贴纸(SWISE),它可以将上述所有模块的功能集成在一个微型单元中,如下图 II-2 左所示。为了实现放电感应信号的产生,两个具有放电尖端的镜像对称金属电极夹在基底膜和摩擦电荷层膜之间,FEP 薄膜和 PDMS 分别用作摩擦电荷薄膜和基底。该器件的总厚度可降至 95 μm,两个电极之间的间隙距离被控制在 10 到 500 μm。论文被 Science Advances 收录。


论文链接:https://www.science.org/doi/10.1126/sciadv.abi6751


研究者使用非光刻和光刻方法制作不同的 SWISE 器件,具备了薄(低至 95μm)、小(低至 9 mm x 9 mm)、轻(低至 16 mg)、柔软、可变形等特点。与以往各种工作相比,SWISE 通过击穿放电产生了快速变化的极化项,体积尺寸最小,有效传输距离最长,如下图II-2 右所示。


SWISE 避免了中间步骤的额外功耗,完全由捕获的信号作为能源实现自供电,无需任何外部电源输入。同时,通过区分不同设计参数和气体成分产生的信号来实现多点运动传感和气体传感的能力。得益于多点传感能力,SWISE 的量产可用于自供电无线键盘和智能腕带等应用。


图 II-2。


SWISE 的原理、系统评估与气体环境实验


SWISE 的工作原理是这样的:在手指轻轻滑动的驱动下,无需任何外部电源即可通过放电过程将输入的运动信号直接转换为电磁信号,展现完全自供电能力。当被触发时,摩擦起电在摩擦电荷层中产生负电荷。由于静电感应电荷,电极之间产生电场,在尖端周围具有最高值,如下图 II-3 A 中的 COMSOL 模拟结果所示。同时强电场产生击穿放电,幅度和上升时间由 SWISE 中的环境和结构因素决定。击穿放电产生高频位移电流,因而感应到无线电磁信号。


接着生成的无线信号通过连接到示波器(作为接收器)的远程线圈来捕获和测量。典型信号的时间响应如图 II-3 B 所示,使用快速傅里叶变换的频率响应如图 II-3 C 所示,其中信号频谱分布在数百兆赫兹,主要在甚高频(VHF)频带,而接收器中的谐振频率集中在 1 0MHz 左右。


SWISE 生成信号的特性如图 II-3 D 所示。为了方便研究各种因素的影响,研究者在一个独立滑动式 TENG(FS-TENG)上连接两个尖端电极进行放电(即击穿放电器)。FS-TENG 由固定在光学平台上的线性马达驱动,其滑块移动距离、速度、加速度可被精确。而当通过滑动运动部件触发 FS-TENG 时,产生了电场并实现击穿放电。接收器的谐振频率保持在了 10MHz 左右。研究者证明了 SWISE 可以全方向地传输无线信号,并且在每个方向上检测到的信号强度几乎相同,如图 II-3 E 所示。

 

图 II-3。


环境因素对放电行为产生了很大影响,并可能影响无线信号。基于此,研究者系统研究了气体类型的影响,实验平台如下图 II-4 A 所示。为了创建一个纯净的气体环境,击穿放电器被放置在一个由 FS-TENG 驱动的腔室中。研究者测试了下图 II-4 C 中的 4 种纯净气体和 6 种混合气体,它们的典型信号波形如图 II-4 B 所示。过程中,通过重复击穿放电收集这 10 种气体环境的数据,每种收集 100 组数据。每组数据都是电压 - 时间波形,共包含大约 2500 个数据点。


在分析过程中,研究者使用深度学习方法。通过建立双向长短期记忆模型,对不同气体环境的数据进行分析以识别气体。每种气体环境的 100 个数据集随机分为两组,80 个用于训练,20 个用于测试。结果显示对每种气体的识别都获得很高的识别率,总体识别准确率达到 98.5%,如图 II-4 C 所示。在此基础上,研究者预测深度学习方法可以用来区分来自腔内具有不同气体成分的多个 SWISE 的无线信号,这可能实现对 SWISE 传感阵列的气体传感和多点运动传感能力。


图 II-4。


无线运动传感、自供电无线柔性键盘和智能腕带


得益于重量轻、灵敏度高、成本低、柔性和可变形等特点,SWISE 可以广泛应用于信号传感和传输,无需额外供电。研究者展示了一些自供电无线传感应用。


首先 SWISE 制备成电子皮肤,用于检测运动并即时传输放电感应的电磁波信号,具有传输距离远的优点。如下图 II-5 A 所示,无线电磁信号可以被远距离传输超过 10m 的接收器检测到,其中 SWISE 由手指的轻柔运动驱动。图 II-5 B 为基于 SWISE 的电子皮肤和智能手环的整体图解。SWISE 电子皮肤可以服帖的集成在人体不同位置,如手臂、肘部、腿、脚踝和颈部,用以检测身体运动,如图 II-5 C 所示。


在图 II-5 D 中,经过线圈和信号处理电路,手指滑动以驱动 SWISE 产生的无线信号能开启基于 LED 的照明系统,以验证其高灵敏度。最后,图 II-5 E 还展示了基于 SWISE 的柔性键盘和智能腕带系统。


图 II-5。


凭借无线传感技术的完全自供电能力、最小尺寸和最长有效传输距离,柔性、低成本和高可扩展性,这项工作将在机器人、可植入和可穿戴电子设备、医疗保健、智能家居、智慧城市、工业 4.0 等领域展现出巨大的应用潜力。


柔性电容式触觉传感器:实现传感器 - 软机器人无缝集成


机器人、假肢和其他机器在配备电子皮肤或柔性压力传感器时能够获得感官功能,通过引入新的设计(如界面微结构)或者将导电填料掺杂到介电层中,此类器件的性能得到显著改善。电子皮肤设备可以对机械刺激做出响应,并使机器人感知周围环境。不过现有电子皮肤面临一个长期挑战,由于器件各层之间的界面不牢固,导致在恶劣和复杂的机械条件下稳定性较差。


此外,将电子皮肤集成到软机器人或其他机器中会不可避免地引入额外的界面,由此也造成界面粘附性差和机械失配。因此迫切需要在电子皮肤和传感器 - 机器人的不同层以及器件 - 机器人的界面是哪个构建强韧界面。


针对这些挑战,在与南方科技大学合作的论文《Highly stable flexible pressure sensors with a quasi-homogeneous composition and interlinked interfaces》中,研究者开发出一款基于聚二甲基硅氧烷 - 碳纳米管(PDMS-CNTs)准均质复合材料的柔性压力传感器,这种设计有效避免了异质结构之间的力学失配。通过在不同功能层之间引入强拓扑缠结设计以产生坚韧的界面,实现传感器与软体机器人的无缝集成。论文被 Nature Communications 收录。


论文链接:https://www.nature.com/articles/s41467-022-29093-y


解决机械失配、生成坚韧界面


下图 III-1 a 为传统多层、多材结构的电子皮肤示意图,各功能材料层通过简单的堆叠组装而成。这类结构的器件服役于含有剪切等复杂工况时,层间界面因模量、兼容性失配,导致分层,如图 III-1 b 所示,出现传感信号稳定性下降甚至失效风险。归结原因在于其多层、多材结构的机械及兼容失配。


与传统多层电子皮肤不同,本研究中的压力传感器由功能层材料均采用 CNTs/PDMS 同质材料组成,力学模量近似,避免了机械失配问题;同时在各功能层界面引入拓扑交联结构,形成了具有坚韧的粘合界面,具体如图 III-1 c 所示。从上到下依次为平电极层(7 wt% CNTs、50 μm 厚)、平介电层(2 wt% CNTs、120 μm 厚)和微锥电极(7 wt% CNTs、约 100 μm 厚)。



相关文章
|
4月前
|
传感器 机器人 测试技术
Nvidia Isaac Sim组装机器人和添加传感器 入门教程 2024(5)
本文是Nvidia Isaac Sim组装机器人和添加传感器的入门教程,介绍了在Isaac Sim中组装一个简单的两轮差速机器人的步骤,包括创建3D模型部件、组建关节、创建关节树、添加关节驱动,以及如何添加和配置传感器,特别是相机传感器。
174 0
|
7月前
|
传感器 编解码 机器人
Sony BRC-300P 三个1/4英寸7型高级CCD传感器一体式标清机器人紧凑型摄像机
Sony BRC-300P 三个1/4英寸7型高级CCD传感器一体式标清机器人紧凑型摄像机
|
7月前
|
传感器 机器学习/深度学习 算法
植保机器人视觉传感器与图像采集
植保机器人视觉传感器与图像采集
102 3
|
传感器 人工智能 安全
逐鹿人形机器人,百度、腾讯、小米卷起来
长期不温不火的人形机器人产业迎来新风口,技术显著提升、新品层出不穷、资本投资态度也逐渐好转。
261 0
|
传感器 算法 机器人
使用贝叶斯滤波器通过运动模型和嘈杂的墙壁传感器定位机器人研究(Matlab代码实现)
使用贝叶斯滤波器通过运动模型和嘈杂的墙壁传感器定位机器人研究(Matlab代码实现)
117 0
|
传感器 编解码 监控
打造属于机器人的触觉感官,腾讯Robotics X实验室做到了更快、更轻、更准
打造属于机器人的触觉感官,腾讯Robotics X实验室做到了更快、更轻、更准
301 0
|
传感器 机器人 新制造
让机器人的触觉感官更灵敏、稳定、高效,腾讯Robotics X在传感器上火力全开(2)
让机器人的触觉感官更灵敏、稳定、高效,腾讯Robotics X在传感器上火力全开
143 0
|
22天前
|
人工智能 自然语言处理 算法
具身智能高校实训解决方案 ----从AI大模型+机器人到通用具身智能
在具身智能的发展历程中,AI 大模型的出现成为了关键的推动力量。高校作为培养未来科技人才的摇篮,需要紧跟这一前沿趋势,开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合,为学生搭建一个实践平台。
181 64
|
4天前
|
人工智能 自然语言处理 机器人
机器人迈向ChatGPT时刻!清华团队首次发现具身智能Scaling Laws
清华大学研究团队在机器人操作领域发现了数据规模定律,通过大规模数据训练,机器人策略的泛化性能显著提升。研究揭示了环境和对象多样性的重要性,提出了高效的數據收集策略,使机器人在新环境中成功率达到约90%。这一发现有望推动机器人技术的发展,实现更广泛的应用。
45 26
|
1月前
|
算法 机器人 语音技术
由通义千问驱动的人形机器人具身智能Multi-Agent系统
申昊科技人形机器人小昊,集成通义千问多模态大模型的具身智能系统,旨在讲解销售、迎宾表演等场景。机器人通过语音、动作等方式与用户互动,利用云端大语言模型处理自然语言,结合视觉、听觉等多模态感知技术,实现流畅的人机对话、目标追踪、展厅讲解等功能。
200 3
由通义千问驱动的人形机器人具身智能Multi-Agent系统
下一篇
DataWorks