AI ISP的定义
AI ISP(AI Image Signal Processor,AI图像信号处理器)是将深度学习技术融入传统图像信号处理流水线的新一代图像处理方案。
传统ISP通过固定的算法模块(去噪、白平衡、色彩校正、锐化等)处理传感器原始数据。这些算法的参数是预设的,无法根据场景内容自适应调整。
AI ISP则用训练好的神经网络替代或增强这些传统算法模块,使图像处理具备"理解场景内容"的能力。
在夜视中的角色
夜视场景的核心挑战是:在极暗光条件下,传感器采集的信号极其微弱,噪声占比极高。传统ISP面对这种情况往往束手无策——降噪会丢失细节,不降噪则画面全是噪点。
AI ISP通过深度学习模型学习了大量弱光场景的特征,能够:
- 区分信号与噪声:不是简单地"去掉高频成分",而是识别出哪些是真实的目标信号,哪些是随机噪声
- 重建色彩信息:从严重退化的暗光数据中推断出物体应该呈现的颜色
- 恢复纹理细节:在噪点覆盖的区域重建出真实的表面纹理
PixelClean AI ISP
PixelClean是真与科技自主研发的AI ISP方案,专为夜视场景优化。它基于CSA列共享架构和NMC存算一体芯片运行,将AI处理能力嵌入传感器端,实现端到端延迟<20ms的实时处理。
与传统ISP的关键区别
| 维度 | 传统ISP | AI ISP |
|---|---|---|
| 降噪策略 | 固定阈值滤波 | 基于场景内容的智能降噪 |
| 色彩处理 | 固定矩阵变换 | 深度学习色彩重建 |
| 适应性 | 场景变化时需重新调参 | 自动适应不同场景 |
| 极限暗光表现 | 画面退化严重 | 仍可输出可用图像 |