5分钟理解相机ISP(图像信号处理)_相机原理 isp,附详细答案解析

296 阅读3分钟

有时,我们想了解一下ISP里面到底有什么,会拿到一个巨大图,伴随一个名词列表,搞不清重点,搞不清前因后果。

再请教几个图像处理的教授,他会说,你说的都是工程问题,我现在在研究更深奥的课题,比如三维重建,语义分割,人体运动捕捉等算法。What?我就是为了这些AI算法,遇到了ISP的瓶颈。

为什么相机的CMOS传感器(Sensor)输出的原始数据(raw data)不能做好一点,不要让ISP做这么复杂?

现在的ISP通常做了哪些工作,每个工作的原因是什么?处理的原理是什么?哪些处理对于图像效果最明显?哪些处理比较成熟?

接下来我们就来回答。

Sensor输出的原始数据和人类预期的图像有巨大差异


需要ISP模块的原因有2个方面,一个是镜头和Sensor的物理缺陷(不完美),第二是拍摄的光线条件多样,镜头和Sensor需要根据环境做适应(就像人眼要通过瞳孔缩放,适应环境明暗一样)。

由于这2个方面原因,如果没有ISP模块,现在无法让我们生成人类预期的图片质量。如下图,是几幅油画,这就是人类期望的调整ISP成像效果的方向。

 

梦幻田园│法国画家Jean Marc Janiaczyk油画作品

跨越阿尔卑斯山圣伯纳隘口的拿破仑│法国画家雅克-路易·大卫 (1801-1805年)

抱陶女│画家谢楚余油画作品(1997年)

再来一张Sensor输出的Raw Data的效果,可以看到效果很差(注意是正常室内光线下):

 

Sensor的问题以及ISP的处理原理


镜头和Sensor的物理缺陷(不完美)导致以下问题,需要ISP模块去补偿。

 

问题一:Sensor有漏电流。

由于Sensor漏电流存在,刚把镜头放入一个全黑的环境,Sensor输出的原始数据不为0;而我们希望全黑时原始数据为0.

**处理模块名称:**BLC(BlackLevel Correction)------黑电平校正

处理原理:我们需要找到一个矫正值,

收集整理了一份《2024年最新物联网嵌入式全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升的朋友。 img img

如果你需要这些资料,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!