传感器内多任务学习不仅是生物视觉的关键优点，也是人工智能的主要目标。然而，传统的硅视觉芯片存在大量时间以及能量开销。此外，训练传统的深度学习模型在边缘设备上既不可扩展也不可负担。
在这里，中科院和香港大学的研究团队提出了一种材料算法协同设计来模拟人类视网膜的学习范例，并且低开销。基于具有有效激子解离和贯穿空间电荷传输特性的瓶刷形半导体 p-NDI，开发了一种基于可穿戴晶体管的动态传感器储层计算系统，该系统在不同任务上表现出优异的可分离性、衰减记忆和回波状态特性。
与忆阻有机二极管上的「读出功能」相结合，RC 可识别手写字母和数字，并对各种服装进行分类，准确率分别为 98.04%、88.18% 和 91.76%（高于所有已报告的有机半导体）。
除了二维图像，RC 的时空动态自然地提取基于事件的视频的特征，以 98.62% 的准确率对 3 种类型的手势进行分类。此外，计算成本明显低于传统的人工神经网络。这项工作为经济实惠且高效的光子神经形态系统提供了一种有前途的材料算法协同设计。
该研究以「Wearable in-sensor reservoir computing using optoelectronic polymers with through-space charge-transport characteristics for multi-task learning」为题，于 2023 年 1 月 28 日发布在《Nature Communications》。
人类视网膜不仅可以感知，还可以通过收集丰富的动态信号同时处理光信号，从而加速下游视觉皮层中任务相关的学习。视网膜和视觉皮层的协同作用是大脑高效、紧凑和快速学习多任务处理能力的基础，也是通用人工智能 (AGI) 的基本目标。
相比之下，具有物理分离的感测、处理和存储单元的传统硅视觉芯片会因这些单元之间大量和频繁的数据穿梭而产生大量时间和能量开销，以及顺序模数转换，这是潜在能源效率的基本限制。摩尔定律的放缓进一步加剧了这种情况。此外，传统深度学习模型中的学习，例如时间信号的递归神经网络，在非常具体的任务上采用乏味的训练（例如，通过时间反向传播的梯度下降，BPTT），这在电池接入和外形尺寸有限的边缘设备上既不可扩展也负担不起。
人们付出了巨大的努力来模拟人类视网膜和负担得起的学习范式。材料方面，无机光响应二维半导体，例如具有缺陷和杂质位点的 MoS2、具有与 Sn 和 S 相关的双型缺陷态的 SnS、层状含黑磷的氧化相关缺陷、表现出强光控效应的钙钛矿量子点 、能够捕获和释放电子的 h-BN/WSe2 异质结构和表现出价态变化的 MoOx 是人工视网膜应用最广泛的材料。另外，具有内在生物相容性、可穿戴性和可扩展性的有机半导体，如 PDVT-10、掺杂叶绿素的 PDPP4T 和并五苯/丝和 CDs 双层，以更忠实的方式模拟了生物对应物。
在算法方面，储层计算 (RC) 通过收集固定动态系统的衰落记忆将时间信号非线性地投射到特征空间，被认为是一种有前途的边缘学习解决方案。由于 RC 的学习仅限于长期记忆的读出层，因此与传统的深度学习模型相比，训练成本显著降低。然而，它仍然没有设计出一种配对的材料算法来结合高效的人工视网膜和负担得起的基于 RC 的边缘学习，从而释放仿生神经形态视觉的多任务潜力。
图示：传统半导体和 p-NDI 的光电流响应比较，以及传感器内 RC 系统的详细半导体设计原理。（来源：论文）
在这里，中科院和香港大学的研究人员提出了一种材料算法协同设计，一种具有高效激子解离和全空间电荷传输特性的光响应半导体聚合物 (p-NDI)，以构建用于多任务模式分类的传感器内 RC。灵活的神经形态设备基于具有 p-NDI 半导体通道的三端晶体管。由于其出色的光响应行为和非线性衰落记忆，该设备能够同时就地感知、记忆和预处理光学输入（即对比度增强和降噪）。
图示：多任务分类性能。（来源：论文）
此外，聚合物中激子解离/电荷复合动力学、光选通效应和贯穿空间电荷传输特性之间的协同作用使得基于晶体管的动态RC系统在不同任务上表现出优异的可分离性、衰减记忆和回波状态特性。这些基于 RC 的视网膜与在忆阻有机离子凝胶二极管上实现的「读出功能」配对。
所有有机光电材料提供的信号预处理和动态RC的协同功能，在识别手写字母和数字以及对各种服装进行分类方面的准确率，分别达到 98.04%、88.18% 和 91.76%，这意味着服装风格和尺寸的多任务学习。系统的总体准确率为 88.00%，不仅可以正确识别衣服，还可以正确识别衣服的尺码。尽管是 2D 图像，但 RC 的时空动态被用来对左手挥手、右手挥手和拍手手势的基于事件的视频进行分类，准确率为 98.62%。
图示：使用 DVSGesture128 数据集进行基于事件的视频分类。（来源：论文）
不过，这种基于 p-NDI 晶体管的 RC 不含突触有机电化学晶体管中广泛使用的液体电解质，从而增强了可扩展性和可操作性。这项工作为具有多任务学习能力的可穿戴、价格合理且高效的光子神经形态系统提供了一种有前途的材料-算法协同设计策略。
