音视频入门(二)色彩空间RGB和YUV

1,279 阅读5分钟

一. RGB

人们发现,白光能够被分解成不同色彩的光,而红绿蓝(RGB)这三色光无法被分解,所以称之为三原色光,而等量的三原色光叠加会构成白光。

计算机中,R、G、B也被称为“基色分量”,单个R或者G或者B都可以用一个8位2进制来表示,因此,单个R的取值是0~255(G、B同理)。任何的颜色都可以用RGB的三个值来表示。例如:(50,150,250),或者也可以用一个十六进制数表示:#3296FA

RGB.png

RGB这一色彩表示方式,对负责UI界面开发的人员来说,显然是不陌生的,(50,150,250)这种格式非常像我们的空间直角坐标。 所以,我们可以将RGB模型抽象成一个空间的单位正方体,任一对应的颜色都可以在RGB空间中找到一个点来进行表示。

原点即:(0,0,0),自然是黑色,而和原点中心对称的顶点则是:(255,255,255)白色。而任一三值相等的位置上,必然是灰色,例如:(50,50,50)(125,125,125)等等,数值越大越偏向白色。在坐标系中,灰色的点落在原点和对应顶点的对角线上。

  1. BGR色彩:和RGB类似,存储时将B和R对调。
  2. RGB与灰度图 我们知道,灰色的RGB通常是三个通道一样的数值,比如(125,125,125),但是如果我们确认一张图本身就是灰度图了,那就不需要存三个通道的数据了,存储一个125即可。渲染时用(125,125,125)即可渲染出一张灰度图片。 但是,如果我们想让一张RGB图像准换成灰度图该怎么做呢? 有一个较为理想的公式:305911,即GRAY = R *0.30 + G 0.59 + B0.11

但是,人眼对于这三种颜色分量的敏感程度是不一样的。通常来说,人眼对红色最不敏感,蓝色最敏感,如果颜色的相似性直接用欧氏距离来度量,其结果与人眼视觉会有较大的偏差。对于某一种颜色,我们很难推测出较为精确的三个分量数值来表示。

二. YUV

人眼的视觉特点对亮度更加敏感,对位置、色彩来说相对敏感度更低。而在视频编码系统中,为了降低带宽,保存更多的亮度信息,减少保存色差信息,所以YUV实际上是一种偏向亮度的色彩空间。主要用在视频、图像处理中。 YUV.png YUV相比于RGB只需要占用极少的频宽(RGB需要三个独立的原色信号同时传播),YUV中,Y代表的是明亮度,也称为:灰阶值,而UV表示的是色度(色调饱和度),也可以记作:YCbCr。如果只有Y数据,那么我们可以得到一张黑白的图像。

YUV分解.png

使用YUV格式才能极大地去除冗余信息,因为前文提到了,人眼对亮度更加敏感,所以,往往压缩算法会将RGB数据转换为YUV数据,对Y少压缩一点(尽可能地保留细节),而对UV多压缩一点(色彩不敏感,难以感知),平衡图像效果和压缩率。

上面的内容,我们知道:GRAY = R *0.30 + G *0.59 + B*0.11这里的Gray由是哪个变量乘上系数构成,我们只知道Gray是没有办法凭空推出R、G、B色彩值的。

但是,我们知道还有两个相关的分量:UV。我们在做RGB转YUV时,同样也计算出了两个相关的分量:U、V,这样一来就得到一个三元三次方程组,我们可以轻松地由YUV得到最终的RGB值。

//RGB转YUV
Y = 0.299R +0.587G + 0.114B
U = -0.147R - 0.289G -0.436B
V = 0.615 - 0.515G - 0.110B

//YUV转RGB
R = Y + 1.140V
G = Y - 0.395U -0.581V
B = Y + 2.032U
  1. 这里的大量的浮点运算可能会导致一些性能问题,我们可以采用一定的方法规避掉这样大量的浮点运算,加快运行效率。
  2. YUV色彩空间即可以兼容黑白电视(只要Y),又可以兼容彩色电视(YUV协同工作)。

YUV只是一种颜色空间的构成方式,具体的实现标准又因为数据排列方式的不同,又分为不同的存储格式,一般的Android摄像头输出为NV21格式,而I420格式则是绝大多数编解码器默认输入输出的格式。

YUV测试.png

两种存储方式中,Y数据是一模一样的,从下图的Y0一直到Y15,而nv21格式中,是进行VU交叉排列的,而I420格式中,则是排列4个U,接着再是4个V。

NV21、I420.png

如果十六像素点的RGB图像,存储需要RGB三个通道,共16 * 3 = 48个单位的空间。 而采用YUV,如上图压缩后的YUV(U、V按四倍压缩)图像,存储仅需要 16 + 4 +4 = 24个单位的空间。我们发现,节省了一半的空间。

如果我们需要将NV21转成通用的I420也很简单,记录下整个图像的widthheight(简称w、h),由于每个像素点都需要一个Y值,所以 h 乘以 w 的值最终就是Y通道占有的值。如上图的Y0-Y15。然后将Nv21格式中交叉的YU数据进行交换即可。

参考来源
  1. bilibili
  2. 知乎-详细介绍 RGB、HSV和HSL颜色空间