传感器端的硬连线分布式处理单元：真正并行的视觉预处理，释放主机 CPU

传统视觉流水线将每个像素都送往主机处理器，主机随后必须等待完整的一帧才能行动，并且要在每个帧周期中分出一部分时间用于常规预处理。我们考察一种替代性的组织方式：将这项工作分散到硬连线分布式处理单元（HDPU）上——这些单元是直接连接在传感器上的小型固定数据通路，每个单元专司一项始终开启的任务，在同一像素流上真正并行运行，并将紧凑的结果交付给主机。基于一个共享相同两时钟延迟的 3x3 算子库，我们构建了三个 HDPU（Canny 边缘、Harris 角点，以及一个给出转向决策的直线跟踪器），并在低成本 Artix-7 FPGA 上让它们并排运行于单路摄像头流，代价为 2,568 个 LUT 和估计 0.318 W 的功耗。每个单元的每个阶段都与其软件模型逐位精确一致。在采用数据手册摄像头模型的全系统仿真中，每个决策在其 HDPU 内于产生该决策的像素之后 11.03 条摄像头行内输出，比主机上基于帧的程序能够响应的最早时刻快 22-67 倍；HDPU 的延迟变化不超过 17 ns，而主机自身的运行时间最高达到其中位数的 12.5 倍。卸载这三项任务后，在 640x480 下每个帧周期可为主机返还 18-30% 的一个核心，在 1080p 下所有线程均被使用时则返还帧周期的 63%。这些单元的成本仅通过其行缓冲随帧宽增长，在循线车辆的闭环模型中，HDPU 将线路保持的最高速度从 4.75 m/s 提升到 10.00 m/s。

中文由 AI 翻译，仅供参考，以原文为准。