了解降低延迟，提升安全：智能驾驶ISP的未来

和茂科技

随着智能驾驶技术的发展，对图像信号处理（ISP）的要求不断提高，尤其是在低延迟和信号保真的需求方面。与传统消费类电子产品相比，智能驾驶对图像质量和时性提出了更高的标准。尽管存在去除ISP的讨论，但目前来说，ISP仍是确保自动驾驶系统安全和有效运作的关键因素。要知道逻辑集成电路的成长也是要经历很多磨难的，但创业者们从不畏惧，大胆向前。壹芯微科技组建了优秀的生产管理团队,通过并严格执行ISO9002质量管理体系,公司从美国台湾等地引进大量先进的封装、测试全自动化设备,为壹芯微的品质奠定了坚实的基础。https://www.szyxwkj.com/article/sxzldlydxz_1.html

在智能手机上，图像传感器的像素和色深越来越高，适合拍摄的视频分辨率和帧数越来越大，需要更强大的ISP来支撑。比如相机取景框的延迟和拍照后的等待时间都与ISP性能有关。
事上，ISP应该解决传感器获得的信息，而不仅仅是手机。在智能驾驶行业，摄像头作为核心传感器之一，需要ISP解决数据，然后将摄像头数据分发给智能驾驶的AI算率芯片进行计算。在智能驾驶技术的速发展过程中，对ISP特性也有了新的要求。
智能驾驶的ISP需求
在智能驾驶应用中，与消费或安全应用相比，比较大的区别是低延迟的硬性规定。在一些低端智能手机上，或者一些家用安全摄像头上，我们经常可以看到画面和具体环境有明显的延迟。
但是，如果摄像头数据在智能驾驶中延迟1秒，那么车辆可能已经行驶了30多米，从摄像头到智能驾驶芯片做出决定，而智能驾驶系统做出的决定是针对30米前的情况，这将是行驶安全的一大隐患。
因此，ISP解决图像数据的延迟必须尽可能小，以确保智能驾驶系统地面环境的速反应和及时沟通，并为后续感知算法和计算率芯片留下足够的处理时间冗余。
ISP除了延迟外，还重点化BA6908F-E2图像传感器的数据，车辆的行驶环境复杂多变。与手机、安全等行业相比，汽车领域对图像质量低、照度低、动态范围和功能安全的要求更高。比如进出隧道、地下室等场景，明暗变化很大，图像传感器的动态范围极高，ISP的RAW数据处理能力24甚至更宽。
智能驾驶系统对色彩还原和细节渲染也有很高的要求，比如识别红绿灯、道路标志、路面划线等。在特殊的光照条件下，这些地面信息的颜色可以给感知算法的识别带来困难，因此ISP必须准确地恢复颜色，以防止算法错误。
然而，智能驾驶使用的ISP的主要目标不是满足人们的视觉体验，而是关注机器的视觉需求。辉羲智能曾表示，目前智能驾驶使用的AI络具有一定的鲁棒性，可能没有迫切需要提高ISP的处理能力。因此，对于智能驾驶来说，我们将更加关注ISP的低延迟和信号保真。
信号保证的目的是确保感知算法能尽可能接近际情况，就像上面提到的颜色还原、高动态范围等等。
黑芝麻还提到了智能驾驶ISP会面临的一个问题，那就是不同传感器的噪音差异。在智能驾驶的具体应用中，不同的图像传感器，如像素、型号等，会在前视、侧视、后视等摄像头中选择。然而，不同的图像传感器在感光敏感性方面存在一定的差异，输出数据的噪声形状和强度也不同。
在处理图像信息时，感知算法对输入图像的信噪比有一定的要求，因此ISP必须对不同的传感器和不同类型的噪声进行相应的处理，使不同的传感器输出图像信息能够满足信噪比感知算法的需要。
智能驾驶系统有可能去除ISP
ISP的目的是解决图像信号，使图像更加现或“美丽”。但是，对于机器视觉来说，是否真的需要处理后的图像，在业内也有一些讨论。特别是处理ISP需要时间，甚至可以减少ISP去除后的延迟。
这里的逻辑是，为了让人们看到更好的场景，在ISP解决过程中，清理了许多对机器视觉有用的数据。如果省略了ISP的处理过程，获得的信息量会增加。
马斯克曾经说过，在自动驾驶系统中，图像信号可以减少13毫秒的延迟，而需ISP解决。这是因为特斯拉全车有8个人驾驶摄像头，每个摄像头通过ISP解决后会延迟15到16毫秒。
但目前智能驾驶系统中的ISP还是需要的，包括特斯拉，ISP还没有完全去除。一些学者认为，现有的图像传感器在去除ISP后，会给算法识别带来很多困难，比如没有色彩还原。
对于延迟问题，辉羲智能认为可以参考智能手机领域的ISP，比如将图像切割成进行处理，将一帧图像切割成四个，比较大延迟可以缩短到一帧的一半。
在智能手机行业，ISP经历了速发展，以便让人们看到更好的图像。对于智能驾驶来说，ISP有很大的提升空间，但需要继续探索应用和具体算法的要求。