持最先进（SOTA）精度的同时，前端传感器能耗可以减了53%
（中国AI网 2025年02月28日）在一项研究中，美国威斯康星大学麦迪逊分校和南加利福尼亚大学团队提出了一种定制设计的可重构CMOS图像传感器系统，而它可以通过在传感器读出阶段和随后的模数转换（ADC）阶段选择性跳过帧内的无事件区域来提高能效。一种新的掩模算法可以实时智能地指导跳过过程，优化前端传感器和后端神经网络，并用于AR/VR等应用。
他们评估了基于BDD100K和ImageNetVID的目标检测硬件算法协同设计框架，以及基于OpenEDS的注视估计，在保持最先进（SOTA）精度的同时，前端传感器能耗可以减了53%。
随着CV计算机视觉应用对边缘计算的需求不断增长，能效已成为一个关键挑战。边缘设备中能源效率低下的一个主要原因是重复读取和处理冗余帧和像素，特别是不能为手头任务提供有用信息的帧和像素。
在以高帧率处理的视频应用程序中，这个问题会进一步加剧，因为大量数据会不必要地处理。所以，优化传感器级的输入数据处理对于在边缘有效地实现复杂的CV应用至关重要。
以往的研究通过跳过帧或选择性地处理显著变化的区域，并在解决视频处理中的时间冗余方面取得了长足的进步。然而，相关方法依然需要读取整个帧来决定处理哪个像素或补丁，这意味着依然会对所有区域执行像素读出，导致在模数（ADC）转换过程中持续的能量消耗，而这仍依然能源效率的瓶颈。
另外，目前的方法通常依赖于前一帧任务的输出来预测像素或补丁的重要性，而这在处理当前帧时引入了延迟。例如，HiRISE系统压缩了高分辨率图像，从而减少了处理这些图像所需的能量，但它依赖于下游任务的反馈来生成用于目标检测的高分辨率区域。这种依赖关系会阻碍实时有效性，并且由于来回数据传输而增加复杂性。
同时，跳过大部分像素的方法通常会导致性能下降，而这对于安全关键型应用程序来说是个问题。这就需要一种智能的、轻量级的像素掩码算法，能够在不依赖下游任务反馈的情况下生成实时感兴趣区域掩码。
硬件可重构性对于在传感器的像素读出阶段跳过区域或像素至关重要。所以，美国威斯康星大学麦迪逊分校和南加利福尼亚大学团队提出了一种基于低成本视觉变压器（ViT）的智能掩码生成器网络。
所述网络独立于任务反馈运行，确保与实时约束的兼容性，并优化精度和能源使用。团队同时以最小的开销将硬件可重构性集成到现有的传统图像传感器系统中，包括用于二进制掩码存储和电源门控开关的额外存储器。
这有助于减少由掩码发生器引导的传感器读出阶段所消耗的能量。另外，掩码算法通过关注掩码识别的显著感兴趣区域，提高了后端神经网络处理CV应用的计算效率。
请注意，以前的研究已经探索了通过传感器内计算方法在传感器级压缩输入数据，其中计算机视觉网络的初始层直接在传感器中进行处理。相关方法可以显著节省能源，并可以补充团队的方法，与之集成，以进一步提高能源效率。
相关论文：Energy-Efficient & Real-Time Computer Vision with Intelligent Skipping via Reconfigurable CMOS Image Sensors
总的来说，团队介绍了一种可重构CMOS图像传感器系统，目标是通过在传感器读出阶段选择性跳过行或区域来提高基于视频的复杂CV任务的前端能效，同时与传统架构相比保持最小的开销。
系统采用智能掩码算法，能够生成实时掩码而不依赖于终端任务的反馈，使其特别适用于能源受限环境中的实时应用。
团队在AR应用中评估了系统，而它显示出在保持高精度的同时显著降低了能耗。这为高帧率的低功耗实时计算机视觉技术提供了强大的潜力。通过将智能算法与硬件可重构性相结合，所述方法为推进低功耗、实时计算机视觉技术提供了巨大的潜力。
