CGImageRef的基本概念及方法说明
在IOS开发中,我们时常会用到裁剪图片,重绘图片等方法,CGImageRef(像素位图)便是我们经常会使用到的一个对象.
CGImageRef是什么
CGImageRef是定义在QuartzCore框架中的一个结构体指针,用C语言编写.在CGImage.h文件中,我们可以看到下面的定义:
typedef struct CGImage * CGImageRef;
CGImageRef 和 struct CGImage * 是完全等价的.这个结构用来创建像素位图,可以通过操作存储的像素位来编辑图片.
QuartzCore这个框架是可移植的.
CGImageRef相关的一些方法说明
- 返回标识符
CFTypeID CGImageGetTypeID(void)
//CFTypeID定义如下:
#if __LLP64__
typedef unsigned long long CFTypeID;
typedef unsigned long long CFOptionFlags;
typedef unsigned long long CFHashCode;
typedef signed long long CFIndex;
#else
typedef unsigned long CFTypeID;
typedef unsigned long CFOptionFlags;
typedef unsigned long CFHashCode;
typedef signed long CFIndex;
#endif
123456789101112131415
//这个方法返回的是一个编号,每个Core Foundation框架中得结构都会有一个这样的编号,它没有特殊的意义,只是一个标识符.
- 创建出一个CGImageRef类型的对象的方法
CGImageRef CGImageCreate(size_t width, size_t height,
size_t bitsPerComponent, size_t bitsPerPixel, size_t bytesPerRow,
CGColorSpaceRef space, CGBitmapInfo bitmapInfo, CGDataProviderRef provider,
const CGFloat decode[], bool shouldInterpolate,
CGColorRenderingIntent intent);
参数解释:
参数 | 说明 |
---|---|
sizt_t | 定义的一个可移植性的单位,在64位机器中为8字节,32位位4字节. |
width | 图片宽度像素 |
height | 图片高度像素 |
bitsPerComponent | 每个颜色的比特数,例如在rgba-32模式下为8 |
bitsPerPixel | 每个像素的总比特数 |
bytesPerRow | 每一行占用的字节数,注意这里的单位是字节 |
space | 颜色空间模式,例如const CFStringRef kCGColorSpaceGenericRGB 这个函数可以返回一个颜色空间对象 |
bitmapInfo | 位图像素布局 |
provider | 数据源提供者 |
decode[] | 解码渲染数组 |
shouldInterpolate | 是否抗锯齿 |
intent | 图片相关参数 |
bitmapInfo的枚举:
typedef CF_OPTIONS(uint32_t, CGBitmapInfo) {
kCGBitmapAlphaInfoMask = 0x1F,
kCGBitmapFloatComponents = (1 << 8),
kCGBitmapByteOrderMask = 0x7000,
kCGBitmapByteOrderDefault = (0 << 12),
kCGBitmapByteOrder16Little = (1 << 12),
kCGBitmapByteOrder32Little = (2 << 12),
kCGBitmapByteOrder16Big = (3 << 12),
kCGBitmapByteOrder32Big = (4 << 12)
}
- 用于创建mask图片图层,可以设置其显示部分与不显示部分达到特殊的效果的方法,参数意义同上.
CGImageRef CGImageMaskCreate(size_t width, size_t height,
size_t bitsPerComponent, size_t bitsPerPixel, size_t bytesPerRow,
CGDataProviderRef provider, const CGFloat decode[], bool shouldInterpolate)
- 复制一个CGImageRef对象
CGImageRef CGImageCreateCopy(CGImageRef image)
- 通过JPEG数据源获取图像
CGImageRef CGImageCreateWithJPEGDataProvider(CGDataProviderRef
source, const CGFloat decode[], bool shouldInterpolate,
CGColorRenderingIntent intent)
- 通过PNG数据源获取图像
CGImageRef CGImageCreateWithPNGDataProvider(CGDataProviderRef source,
const CGFloat decode[], bool shouldInterpolate,
CGColorRenderingIntent intent)
- 截取图像的一个区域重绘图像
CGImageRef CGImageCreateWithImageInRect(CGImageRef image, CGRect rect)
- 截取mask图像的某一区域重绘
CGImageRef CGImageCreateWithMask(CGImageRef image, CGImageRef mask)
- 通过颜色分量数组创建位图
CGImageRef CGImageCreateWithMaskingColors(CGImageRef image, const CGFloat components[])
- 通过颜色空间模式复制位图
CGImageRef CGImageCreateCopyWithColorSpace(CGImageRef image, CGColorSpaceRef space)
- 引用+1 -1
CGImageRef CGImageRetain(CGImageRef image)
void CGImageRelease(CGImageRef image)
最后必须要调用CGImageRelease释放位图对象否则会造成内存泄露
- 返回是否为Mask图层
bool CGImageIsMask(CGImageRef image)
- 获取相应属性
size_t CGImageGetWidth(CGImageRef image)
size_t CGImageGetHeight(CGImageRef image)
size_t CGImageGetBitsPerComponent(CGImageRef image)
size_t CGImageGetBitsPerPixel(CGImageRef image)
size_t CGImageGetBytesPerRow(CGImageRef image)
CGColorSpaceRef CGImageGetColorSpace(CGImageRef image)CG_EXTERN CGImageAlphaInfo CGImageGetAlphaInfo(CGImageRef image)
CGDataProviderRef CGImageGetDataProvider(CGImageRef image)
const CGFloat *CGImageGetDecode(CGImageRef image)
bool CGImageGetShouldInterpolate(CGImageRef image)
CGColorRenderingIntent CGImageGetRenderingIntent(CGImageRef image)
CGBitmapInfo CGImageGetBitmapInfo(CGImageRef image)
CGImageRef与UIImage互转
UIImage虽然可以加载、显示各种格式的位图,甚至可以同时加载图片,接下来依次播放多张图片形成动画.但UIImage的功能依然有限,它不能对图片进行缩放、旋转,不能”挖取”源图片的指定区域等,这些功能可借助Quartz 2D的CGImageRef来实现.实际运用中我们就需要UIImage与CGImageRef之间相互转换,方法如下
//CGImageRef 转换成UIImage
CGImageRef cgRef= CGBitmapContextCreateImage(context);
UIImage* image = [UIImage imageWithCGImage: cgRef];
//UIImage转换成CGImageRef
UIImage *uiImage = [UIImage imageNamed:@"abc.png"];
CGImageRef cgRef1 = uiImage.CGImage;
深入理解 CVPixelBufferRef
在iOS里,我们经常能看到 CVPixelBufferRef 这个类型,在Camera 采集返回的数据里得到一个CMSampleBufferRef,而每个CMSampleBufferRef里则包含一个 CVPixelBufferRef,在视频硬解码的返回数据里也是一个 CVPixelBufferRef。
顾名思义,CVPixelBufferRef 是一种像素图片类型,由于CV开头,所以它是属于 CoreVideo 模块的。
它是一个C对象,而不是Objective C对象,所以它不是一个类,而是一个类似Handle的东西。从代码头文件的定义来看
CVPixelBufferRef 就是用 CVBufferRef typedef而来的,而CVBufferRef 本质上就是一个void *,至于这个void *具体指向什么数据只有系统才知道了。
所以我们看到 所有对 CVPixelBufferRef 进行操作的函数都是纯 C 函数,这很符合iOS CoreXXXX系列 API 的风格。
比如 CVPixelBufferGetWidth, CVPixelBufferGetBytesPerRow
通过API可以看出来,CVPixelBufferRef里包含很多图片相关属性,比较重要的有 width,height,PixelFormatType等。
由于可以有不同的PixelFormatType,说明他可以支持多种位图格式,除了常见的 RGB32以外,还可以支持比如 kCVPixelFormatType_420YpCbCr8BiPlanarFullRange,这种YUV多平面的数据格式,这个类型里 BiPlanar 表示双平面,说明它是一个 NV12的YUV,包含一个Y平面和一个UV平面。通过CVPixelBufferGetBaseAddressOfPlane可以得到每个平面的数据指针。在得到 Address之前需要调用CVPixelBufferLockBaseAddress,这说明CVPixelBufferRef的内部存储不仅是内存也可能是其它外部存储,比如现存,所以在访问前要lock下来实现地址映射,同时lock也保证了没有读写冲突。
由于是C对象,它是不受 ARC 管理的,就是说要开发者自己来管理引用计数,控制对象的生命周期,可以用CVPixelBufferRetain,CVPixelBufferRelease函数用来加减引用计数,其实和CFRetain和CFRelease是等效的,所以可以用 CFGetRetainCount来查看当前引用计数。
如果要显示 CVPixelBufferRef 里的内容,通常有以下几个思路。
把 CVPixelBufferRef 转换成 UIImage,就可以直接赋值给UIImageView的image属性,显示在UIImageView上,示例代码\
+ (UIImage*)uiImageFromPixelBuffer:(CVPixelBufferRef)p {
CIImage* ciImage = [CIImage imageWithCVPixelBuffer:p];
CIContext* context = [CIContext contextWithOptions:@{kCIContextUseSoftwareRenderer : @(YES)}];
CGRect rect = CGRectMake(0, 0, CVPixelBufferGetWidth(p), CVPixelBufferGetHeight(p));
CGImageRef videoImage = [context createCGImage:ciImage fromRect:rect];
UIImage* image = [UIImage imageWithCGImage:videoImage];
CGImageRelease(videoImage);
return image;
}
从代码可以看出来,这个转换有点复杂,中间经历了多个步骤,所以性能是很差的,只适合偶尔转换一张图片,用于调试截图等,用于显示视频肯定是不行的。
另一个思路是用OpenGL来渲染,CVPixelBufferRef是可以转换成一个 openGL texture的,方法如下:\
CVOpenGLESTextureRef pixelBufferTexture; CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault,
_textureCache,
pixelBuffer,
NULL,
GL_TEXTURE_2D,
GL_RGBA,
width,
height,
GL_BGRA,
GL_UNSIGNED_BYTE,
0,
&pixelBufferTexture);
其中,_textureCache 代表一个 Texture缓存,每次生产的Texture都是从缓存获取的,这样可以省掉反复创建Texture的开销,_textureCache要实现创建好,创建方法如下
CVOpenGLESTextureCacheCreate(kCFAllocatorDefault, NULL, _context, NULL, &_textureCache);
其中 _context 是 openGL的 context,在iOS里就是 EAGLContext *
pixelBufferTexture还不是openGL的Texture,调用CVOpenGLESTextureGetName才能获得在openGL可以使用的Texture ID。
当获得了 Texture ID后就可以用openGL来绘制了,这里推荐用 GLKView 来做绘制
glUseProgram(_shaderProgram);
glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_2D, textureId);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glDrawArrays(GL_TRIANGLE_FAN, 0, 4);
当然这不是全部代码,完整的绘制openGL代码还有很多,openGL是著名的啰嗦冗长,还有openGL Context创建 shader编译 DataBuffer加载等。
本质上这段代码是为了把 Texture的内容绘制到 openGL的frame buffer里,然后再把frame buffer贴到 CAEAGLayer。
这个从CVPixelBufferRef获取的texture,和原来的CVPixelBufferRef 对象共享同一个存储,就是说如果改变了Texture的内容,那么CVPixelBufferRef的内容也会改变。利用这一点我们就可可以用openGL的绘制方法向CVPixelBufferRef对象输出内容了。比如可以给CVPixelBufferRef的内容加图形特效打水印等。
除了从系统API里获得CVPixelBufferRef外,我们也可以自己创建CVPixelBufferRef
+(CVPixelBufferRef)createPixelBufferWithSize:(CGSize)size {
const void *keys[] = {
kCVPixelBufferOpenGLESCompatibilityKey,
kCVPixelBufferIOSurfacePropertiesKey,
};
const void *values[] = {
(__bridge const void *)([NSNumber numberWithBool:YES]),
(__bridge const void *)([NSDictionary dictionary])
};
OSType bufferPixelFormat = kCVPixelFormatType_32BGRA;
CFDictionaryRef optionsDictionary = CFDictionaryCreate(NULL, keys, values, 2, NULL, NULL);
CVPixelBufferRef pixelBuffer = NULL;
CVPixelBufferCreate(kCFAllocatorDefault,
size.width,
size.height,
bufferPixelFormat,
optionsDictionary,
&pixelBuffer);
CFRelease(optionsDictionary);
return pixelBuffer;
}
创建一个 BGRA 格式的PixelBuffer,注意kCVPixelBufferOpenGLESCompatibilityKey和kCVPixelBufferIOSurfacePropertiesKey这两个属性,这是为了实现和openGL兼容,另外有些地方要求CVPixelBufferRef必须是 IO Surface。
CVPixelBufferRef是iOS视频采集处理编码流程的重要中间数据媒介和纽带,理解CVPixelBufferRef有助于写出高性能可靠的视频处理。
要进一步理解CVPixelBufferRef还需要学习 YUV,color range,openGL等知识。
\