开芯课堂是黑芝麻智能打造的一档威廉希尔官方网站 分享类栏目,与大家分享我们的领先威廉希尔官方网站 ,展示我们的产品成果,通过专业威廉希尔官方网站 沙龙、视频直播、深度图文,共同交流探讨,一起进步,一起探索黑科技的世界。
什么是ISP?
ISP是Image Signal Processor 的简称,也就是图像信号处理器,主要用来处理Image Sensor(图像传感器)的输出数据。
由于镜头和sensor在不同的制造商之间差异很大,以及拍摄的光线条件多样,镜头和sensor需要根据环境做适应,就像人眼要通过瞳孔缩放,适应环境明暗一样。
ISP在能够有效纠正和统一这些差异方面发挥着非常重要的作用,并且可以有效地将不同光谱特性的sensor数据按照预期需求统一实现。如果没有ISP模块,我们将很难生成人类预期的图片质量。
常见的RGB的Bayer sensor处理的结果,从图中可以看出,在同样光源下不同sensor做白平衡之后色彩有比较明显的差异,很难用统一的色彩校正矩阵来统一处理,这给当前一些基于RAW图的AI感知算法(不带ISP)的实际应用落地带来挑战。
更进一步,当前有很多sensor的光谱特性并不局限于RGB三色的Bayer模式,RCCB sensor及RGBIr sensor的ISP处理结果与原始图像。在这些更加特别的光谱组合中,原始色彩更是与用户直观感知差别很大,如果缺少ISP的处理,后端感知算法处理这些数据就比较困难。
自动驾驶ISP的特殊性
自动驾驶对ISP提出了更高的设计需求,首先是低延时,手机拍摄可以允许1到2秒的延时,但这对自动驾驶而言是决不允许的,车辆“致盲”2秒在高速上就意味着跑出去50多米,这已经不能用危险来形容了。
因此车端芯片的ISP需要毫秒级的高处理率和高传输率。
此外自动驾驶汽车的ISP要求全时在线,面临的场景也丰富的多,诸如被强光直射、黑夜、强弱光交替等极端场景,车端芯片自动驾驶的ISP需要解决这些挑战。
黑芝麻智能NeuralIQ ISP优势
色彩还原和渲染
自动驾驶场景中很多与颜色相关的重要信息,比如红绿灯、道路地面上的各种标志线等等,都是后端感知算法识别场景的重要目标。在一些特殊光照条件下,这些色彩还原的难度增大,渲染出的色彩准确性降低,会给感知算法带来不少困惑。
一个雨天路面场景,潮湿地面的反光和阴雨天较差的光照条件使得对比厂商的ISP产品整体颜色偏淡,对比度偏低,道路中心的对向车道分隔“双黄线”颜色很浅,就有可能被误识为同向车道分隔白线,从而使得自动驾驶做出错误的选择和判断,而给用户带来危险。经过NeuralIQ ISP处理之后的图像,就准确恢复了原本的色彩。
不同传感器的噪声一致化
不同的sensor在感光灵敏度和光谱方面都有自身的特点,从而在噪声形态和噪声强度方面各不相同。感知算法在处理图像时,对于输入图像的信噪比(signal-to-noise ratio,SNR)有一定的要求,并且可处理的噪声形态取决于训练数据。可想而知当输入图像的噪声形态和噪声强度发生变化时,感知算法的正确性和准确性都会受到很大影响。而黑芝麻智能的NeuralIQ ISP可以使不同sensor采集到的数据具有类似的噪声强度和噪声形态,可以直接输入给已训练好的感知算法使用。
反映了ISP对于不同sensor的不同噪声的处理能力,上下两行分别是两个不同sensor的数据,原始数据的噪声密度和噪声形态不太一致,上排sensor的原始噪声以团状色噪声为主,下排sensor的原始噪声以散在单点噪声为主,经过NeuralIQ ISP去噪模块之后,两种数据的效果很相似,噪声去除的同时,信噪比也得到了比较大的提升,以符合感知算法的要求。
高动态范围融合的画面瑕疵处理
自动驾驶环境下,相机所遇到的场景的亮暗对比变化非常广泛。一般相机单次拍摄所能捕捉到的数据动态范围大约只有60-70dB,而车载环境下的场景往往可以高达140dB以上,单次拍摄很难直接捕捉到如此高动态范围的场景。车载sensor中一般通过多种不同的威廉希尔官方网站 ,例如数字重叠威廉希尔官方网站 (DOL/Stagger)、 双转换增益威廉希尔官方网站 (DCG)、大小像素威廉希尔官方网站 (LPD-SPD),以获取对场景的“多重曝光“,从而合成出整个高动态范围(HDR)场景的数据。通常场景中暗处靠着长曝光来捕捉,而高亮部分需要短曝光来捕捉。如此在不同曝光的重叠区域里,合成算法要保证颜色的准确性和合成过渡的自然性。
一个典型的车载HDR场景,隧道里的亮度很低,隧道外通常是阳光照射下的高亮区域。在隧道口处通常就是典型的不同曝光合成的过渡区域,这个区域里有很多问题需要处理,比如色彩一致性问题,比如信噪比不连续问题等等。图5右图是其他厂商ISP处理结果,地面处出现严重斑驳,可能会被检测为路面的缺陷而影响自动驾驶的决策,隧道外的路牌原本应为蓝色,被合成为了褐色,这样感知算法可能会把普通道路(蓝色路牌)理解为风景区路牌(褐色)。而NerualIQ ISP就能很好处理这些信息。
多帧处理
夜晚或者室内低亮情况下,一般相机会通过延长曝光时间来达到合适的亮度。但是因为自动驾驶时候的车辆通常处于运动甚至高速运动状态,曝光时间的增长会导致图像中的运动模糊的增加;有时候哪怕运动速度不快,但是由于车辆处于转弯状态,远处场景的转弯线速度很大,模糊严重,这些都给感知算法的计算和识别带来困难。
近些年多帧去噪算法(时域去噪)经历了长足的发展。NeuralIQ ISP控制相机的曝光和增益,在曝光量(曝光时间x增益)相同的情况下,使用更短的曝光时间,更高的增益。针对减曝光+高增益图像使用多帧威廉希尔官方网站 ,可以将噪声水平控制在低增益水平上,同时因为基准单帧图像的曝光时间的减少,运动模糊问题得到了很好的改善。
一个典型的示例,传统ISP做法如右图,曝光时间30ms,3倍增益,因为车辆在行驶过程中,可以明显观测到运动模糊,上方指示牌的字体都具有重影,小号字体难以辨认;而NeualIQ ISP控制曝光时间10ms,9倍增益情况下,保持了总曝光量的不变,所以图像亮度与传统ISP类似,同时NeuralIQ ISP对图像采用多帧降噪威廉希尔官方网站 (本示例使用3帧降噪),所以尽管单帧图像的增益高达9倍,处理结果的噪声水平也与低增益图像类似,噪声得到了很好的抑制。由于NeuralIQ ISP的图像基准曝光较短(比如10ms),单帧基准图像的运动模糊就很小,处理结果中的物体和字符清晰可辨,无可见的运动模糊现象。
低延迟处理
如前所述,车载环境下的图像输出不能有太大的延迟,几乎要达到“实时处理”的要求。NeuralIQ ISP从算法设计上就考虑算法的复杂度和算法的流水线结构。支持sensor数据流的在线和离线的混合处理模式。在线模式下,ISP输出的延迟几乎只取决于ISP算法本身所需的行缓存。典型场景下,NeuralIQ ISP数据处理的延迟不超过1毫秒,为后端感知算法实时获取到图像数据提供了有力的保障。
视觉与AI是智能驾驶领域的关键威廉希尔官方网站 和基础能力,而图像质量对于视觉应用和算法识别起着至关重要的作用。黑芝麻智能车规级图像处理器——NeuralIQ ISP,通过其强大的图像处理能力,让汽车洞察秋毫,万事一清二楚,助力实现更安全的智能驾驶。
让汽车“洞察秋毫”,秒懂自动驾驶ISP系列第一期就到此结束啦~让我们相约下期的开芯课堂!
审核编辑:汤梓红
-
图像传感器
+关注
关注
68文章
1897浏览量
129536 -
ISP
+关注
关注
6文章
476浏览量
51817 -
自动驾驶
+关注
关注
784文章
13798浏览量
166420
原文标题:让汽车洞察秋毫——秒懂自动驾驶ISP(一)
文章出处:【微信号:BlackSesameTech,微信公众号:黑芝麻智能】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论